Charles's Castle

VLM 从图片开始，世界模型却必须处理时间。对 VLA 和世界模型来说，视频不是很多张图片的拼接，而是状态如何随动作、接触、遮挡和环境变化而演化。 核心问题 视频表征和长时记忆要回答的是： 哪些短时视觉变化应该被压成当前状态，哪些长期事件必须写进记忆，才能让模型在遮挡、接触和长任务里不丢关键变量。 静态 VLM 可以把

这篇回答的问题。 如何理解“多模态评测与失败模式”背后的核心机制、适用边界和下一步阅读路径。 VLM/VLA 的评测不能只看一个总分。静态图文问答、视频理解、动作执行、闭环恢复和世界模型预测，其实对应完全不同的失败方式。一个系统可能看图说得很好，却在坐标、时序、动作和安全上不可靠。 图源：ChartQA。原图表达图表问

图片、视频或多相机观测要先变成语言模型能使用的证据；到了 VLA 和世界模型里，这条链还要保留空间、时间和动作信息。 VLM 不是“给 LLM 加一张图”这么简单。真正的链路是：像素先被视觉 encoder 变成视觉特征，连接器把这些特征压成语言模型可消费的 token 或 memory，LLM 再用这些视觉证据生成文

VLA 训练跑通，只能说明模型在数据分布里学会了某种“看图、读指令、输出动作”的映射。部署要回答的是另一组问题：动作来不来得及，控制器能不能执行，安全层会不会拒绝，人靠近时谁有最高优先级，失败后能不能停、能不能接管、能不能追溯。 机器人错误会进入物理世界。一个回答系统答错了可以撤回；一个机器人多伸出 8 厘米，可能碰倒

想象一个开抽屉策略：离线验证时 action error 很低，演示视频也很顺。真机一跑，第一步夹爪偏了两厘米，第二帧相机看到的就是“手在把手旁边”的新状态；训练集里几乎没有这种偏差状态，模型继续输出演示分布里的动作，于是抖动、卡住、超时。 VLA 策略学习的难点就在这里。它要把“人能说清的任务”变成“机器人能从小错误

一个常见失败是：杯子第一次没被夹爪抓住，机器人却继续执行“移动到托盘上方”。从外面看，它没有意识到前一步已经失败。VLA 的闭环恢复能力，核心是检测偏差、判断偏差属于哪一类、选择合适恢复动作，并把这段失败变成下一轮数据资产。 真实机器人一定会犯错。物体会滑、遮挡会变化、抽屉会卡住、触摸屏会延迟、相机外参会漂、语言指令也

一个仓库拣选 VLA 在离线集上动作误差很低，实验室里也能稳定抓常见纸箱。上线后最先暴露的是透明塑封件反光、货物倾斜堆叠、人工临时挪动托盘、抓起后转运滑脱。这些长尾场景如果没有进入 benchmark 和数据回流，表格分数会继续变好，现场却不会变稳。 VLA 评测与数据引擎必须放在一起看。评测决定团队会发现什么失败；数

VLA 最容易被讲成“把语言、图像和动作都 token 化”。这句话只讲到训练格式，没有讲到执行。真正要追的是：模型输出的东西，怎样变成机器人在某个坐标系、某个频率、某个安全边界内执行的动作。 机器人动作不是文本答案。它可能是末端位姿增量、关节角、速度、夹爪开合、未来一段轨迹、离散 action token，或者高层技

想象一个“打开冰箱、拿酸奶、放到桌上”的机器人任务。若策略以 20Hz 直接输出末端位姿增量，一个 40 秒任务就是 800 个低层动作；中间任意一次抓偏、门没完全打开、酸奶被遮挡，都会改变后续观测。让 VLA 从一句话一路直接回归 800 个微动作，等于把任务理解、阶段切换、接触控制和失败恢复都塞进同一个输出头。 动

Weights & Biases，常写作 W&B，是把训练过程里的 配置、指标、系统状态、数据版本、模型产物、报告和协作记录 组织起来的实验平台。官方站点把它称为 AI developer platform，并把 Experiments、Reports、Artifacts、Tables、Sweeps、Models Re