训练显存不只要装下权重,还要容纳激活、梯度和优化器状态。 推理只要把输入一路算到输出。训练不同,它还要知道“每个参数应该往哪边改”。这意味着框架不仅要执行 forward,还要为 backward 留下足够的信息:哪些算子参与了计算、哪些张量在反向公式里会被再次用到、梯度要累积到哪些参数上。自动微分让这件事看起来像一句
-
具身智能:VLA、WAM 与世界模型系统图:谁负责什么
具身智能是一套闭环系统。VLA、world model、WAM、planner、controller、safety filter 和 data engine 各负责一部分;把它们混成“一个大模型”会让系统边界和失败归因都变得模糊。 VLA、WAM、planner、controller、safety layer 和数据引
-
具身智能:VLA 数据、模型与评测:机器人数据到底该怎么读
VLA 不是“给机器人接一个大 VLM”这么简单。真正难的是把视觉、语言、机器人状态、动作、接触、任务进度和失败原因记录到同一条时间轴上。否则模型看起来在学动作,实际只是在拟合不同数据源之间的噪声。 机器人 VLA 数据需要支撑动作学习、世界模型训练和闭环评测。 图源:Wikimedia Commons: Franka
-
具身智能:具身任务谱系与评测
具身智能是一整套任务族谱。把机械臂抓取、移动机器人导航、家庭服务、工业装配、人机协作都放在一起时,很容易陷入一种错觉:只要有一个统一模型,问题就算被解决了。实际上,不同任务对感知、记忆、规划、控制、安全与数据的要求差异极大。理解这些差异,是选择 Benchmark、设计训练数据和解释实验结果的前提。 任务谱系的几个主轴
-
具身智能:Sim2Real 与具身数据引擎:真实失败怎样变成下一轮能力
Sim2Real 要让仿真里的任务、资产、传感器和物理参数接近真实部署。真实机器人失败时,问题往往来自夹爪摩擦不对、透明包装反光、相机外参漂移、桌面遮挡、控制器延迟、物体比仿真更软,或者人突然把目标物挪走。 仿真、真实日志和评测 hard set 需要形成闭环,让每轮真实失败都变成下一轮训练资产。 结论先说清楚:Sim
-
具身智能:Rerun:具身智能的多模态时序数据层
Rerun 不是一个 VLA 模型,也不是仿真器。它更像具身智能系统里的 黑盒飞行记录仪 + 可视化回放器 + 可查询数据层 :把相机、深度、点云、机器人位姿、动作、文本、标量和模型输出放到同一条时间线上,让你能复盘“机器人到底在什么时候看到了什么、相信了什么、做了什么”。 Rerun 官方把它定位为面向 Physic
-
具身智能:具身规划、控制与安全:高层动作为什么还要过安全层
具身智能最容易被误解成“给机器人一个更聪明的大脑”。现实里的机器人失败常常来自刹车不及时、几毫米插孔误差、遮挡变化、接触变化或重规划缺失。 VLA/WAM 输出动作后,planner、controller 和 safety filter 仍然负责可执行性、稳定性和安全边界。 图源:Do As I Can, Not As
-
具身智能:Isaac Sim 与 RoboTwin 仿真数据链
做具身智能数据引擎时,Isaac Sim、RoboTwin、planner 和 success checker 经常被放在同一个句子里讨论,但它们其实处在不同层级。先把分工摆清楚,后面才不会把“仿真平台”“任务组织”和“轨迹生成”混成一个工具。 它们不是同一层工具,不能横向比较。一个完整数据生成系统通常会把它们接起来。
-
具身智能:人机协作与交互评测
具身智能一旦进入真实环境,就很少是“机器人单独干活”。它往往需要与人共享空间、共享任务,甚至共享决策。于是问题不再只是机器人能否完成动作,而是它能否让人愿意与它一起工作、信任它、理解它,并在必要时安全接管。人机协作与交互评测,正是把具身智能从纯控制问题提升为社会技术系统问题的关键环节。 图源:Physical Inte
-
具身智能:家庭机器人流程与失败排查
家庭机器人常被视为具身智能最具想象力的落地场景,但它也是最容易被低估的复杂场景。 家庭环境看起来比工厂轻松,实际上却包含更多开放物体、更强分布变化、更多人类打断,以及远高于实验室的长尾。真正理解家庭机器人,不仅要看它能做哪些任务,更要看它在哪些流程上最容易失败。 家庭机器人要放回真实家庭流程中看:任务会被打断,环境会变