这篇文章只回答一个问题:为什么视觉模型曾经长期依赖卷积,以及卷积到今天仍然是理解 U-Net、扩散模型、视觉编码器和机器人感知的基础。 图像不是一串彼此无关的数字。相邻像素通常属于同一条边缘、同一个纹理或同一个物体部件;同一种局部模式也可能出现在画面的任何位置。卷积正是把这两个假设写进网络结构: 局部连接 让模型先看附
-
基础知识:自动微分与激活显存:训练为什么要保存中间值
这篇文章只回答一个问题:为什么训练一个模型时,显存不只是装下权重就够了。 推理只要把输入一路算到输出。训练不同,它还要知道“每个参数应该往哪边改”。这意味着框架不仅要执行 forward,还要为 backward 留下足够的信息:哪些算子参与了计算、哪些张量在反向公式里会被再次用到、梯度要累积到哪些参数上。自动微分让这
-
具身智能:VLA、WAM 与世界模型系统图:谁负责什么
具身智能不是某一个模型名字,而是一套闭环系统。VLA、world model、WAM、planner、controller、safety filter 和 data engine 各负责一部分;把它们混成“一个大模型”会让系统边界和失败归因都变得模糊。 这页只回答一个问题:这些模块分别负责什么,彼此怎么接。 一条闭环链
-
具身智能:VLA 数据、模型与评测:机器人数据到底该怎么读
VLA 不是“给机器人接一个大 VLM”这么简单。真正难的是把视觉、语言、机器人状态、动作、接触、任务进度和失败原因记录到同一条时间轴上。否则模型看起来在学动作,实际只是在拟合不同数据源之间的噪声。 这页只回答一个问题:机器人 VLA 数据该怎样组织,才足够支撑动作学习、世界模型训练和闭环评测。 图源:Wikimedi
-
具身智能:具身任务谱系与评测
具身智能不是单一任务,而是一整套任务族谱。把机械臂抓取、移动机器人导航、家庭服务、工业装配、人机协作都放在一起时,很容易陷入一种错觉:只要有一个统一模型,问题就算被解决了。实际上,不同任务对感知、记忆、规划、控制、安全与数据的要求差异极大。理解这些差异,是选择 Benchmark、设计训练数据和解释实验结果的前提。 任
-
具身智能:Sim2Real 与具身数据引擎:真实失败怎样变成下一轮能力
Sim2Real 不是把仿真画面调得像照片。真实机器人失败时,问题往往不是“照片不像”,而是夹爪摩擦不对、透明包装反光、相机外参漂了、桌面被遮挡、控制器延迟、物体比仿真更软、或者人突然把目标物挪走。 这篇只回答一个问题: 怎样让仿真、真实日志和评测 hard set 形成闭环,让每轮真实失败都变成下一轮训练资产? 结论
-
具身智能:Rerun:具身智能的多模态时序数据层
这篇回答的问题。 如何理解“Rerun”背后的核心机制、适用边界和下一步阅读路径。 Rerun 不是一个 VLA 模型,也不是仿真器。它更像具身智能系统里的 黑盒飞行记录仪 + 可视化回放器 + 可查询数据层 :把相机、深度、点云、机器人位姿、动作、文本、标量和模型输出放到同一条时间线上,让你能复盘“机器人到底在什么时
-
具身智能:具身规划、控制与安全:高层动作为什么还要过安全层
具身智能最容易被误解成“给机器人一个更聪明的大脑”。现实里,机器人失败常常不是因为它不会理解指令,而是因为它没有及时刹住、没有在几毫米误差内插进孔、没有在遮挡或接触变化时重新规划。 这页只回答一个问题:为什么 VLA/WAM 输出动作后,仍然需要 planner、controller 和 safety filter。
-
具身智能:Isaac Sim 与 RoboTwin 仿真数据链
做具身智能数据引擎时,Isaac Sim、RoboTwin、planner 和 success checker 经常被放在同一个句子里讨论,但它们其实处在不同层级。先把分工摆清楚,后面才不会把“仿真平台”“任务组织”和“轨迹生成”混成一个工具。 它们不是同一层工具,不能横向比较。一个完整数据生成系统通常会把它们接起来。
-
具身智能:人机协作与交互评测
具身智能一旦进入真实环境,就很少是“机器人单独干活”。它往往需要与人共享空间、共享任务,甚至共享决策。于是问题不再只是机器人能否完成动作,而是它能否让人愿意与它一起工作、信任它、理解它,并在必要时安全接管。人机协作与交互评测,正是把具身智能从纯控制问题提升为社会技术系统问题的关键环节。 图源:Physical Inte