Charles's Castle

VLM/VLA 的第一道瓶颈不是语言模型多大，而是视觉证据怎样进入后续模型。图片、视频、多相机、深度、点云和机器人 proprioception 都不能原样无限塞进上下文；它们必须先被切成 token、压成 latent，或者通过 query / cross-attention 被抽取成少量证据。 这页只回答一个问题：

VLM 从图片开始，世界模型却必须处理时间。对 VLA 和世界模型来说，视频不是很多张图片的拼接，而是状态如何随动作、接触、遮挡和环境变化而演化。 核心问题 视频表征和长时记忆要回答的是： 哪些短时视觉变化应该被压成当前状态，哪些长期事件必须写进记忆，才能让模型在遮挡、接触和长任务里不丢关键变量。 静态 VLM 可以把

这篇回答的问题。 如何理解“多模态评测与失败模式”背后的核心机制、适用边界和下一步阅读路径。 VLM/VLA 的评测不能只看一个总分。静态图文问答、视频理解、动作执行、闭环恢复和世界模型预测，其实对应完全不同的失败方式。一个系统可能看图说得很好，却在坐标、时序、动作和安全上不可靠。 图源：ChartQA。原图表达图表问

这篇文章只回答一个问题：图片、视频或多相机观测怎样变成语言模型能使用的证据，以及这条链为什么到了 VLA 和世界模型会变得更难。 VLM 不是“给 LLM 加一张图”这么简单。真正的链路是：像素先被视觉 encoder 变成视觉特征，连接器把这些特征压成语言模型可消费的 token 或 memory，LLM 再用这些视

VLA 训练跑通，只能说明模型在数据分布里学会了某种“看图、读指令、输出动作”的映射。部署要回答的是另一组问题：动作来不来得及，控制器能不能执行，安全层会不会拒绝，人靠近时谁有最高优先级，失败后能不能停、能不能接管、能不能追溯。 机器人错误会进入物理世界。一个回答系统答错了可以撤回；一个机器人多伸出 8 厘米，可能碰倒

这篇回答的问题。 如何理解“VLA 数据与策略学习”背后的核心机制、适用边界和下一步阅读路径。 想象一个开抽屉策略：离线验证时 action error 很低，演示视频也很顺。真机一跑，第一步夹爪偏了两厘米，第二帧相机看到的就是“手在把手旁边”的新状态；训练集里几乎没有这种偏差状态，模型继续输出演示分布里的动作，于是抖

这篇回答的问题。 如何理解“VLA 闭环恢复与失败分析”背后的核心机制、适用边界和下一步阅读路径。 一个常见失败是：杯子第一次没被夹爪抓住，机器人却继续执行“移动到托盘上方”。从外面看，它不是不会移动，而是没有意识到前一步已经失败。VLA 的闭环恢复能力，核心不是“动作更准一点”，而是能检测偏差、判断偏差属于哪一类、选

一个仓库拣选 VLA 在离线集上动作误差很低，实验室里也能稳定抓常见纸箱。上线后最先暴露的却不是“不会抓”，而是透明塑封件反光、货物倾斜堆叠、人工临时挪动托盘、抓起后转运滑脱。这些长尾场景如果没有进入 benchmark 和数据回流，表格分数会继续变好，现场却不会变稳。 VLA 评测与数据引擎必须放在一起看。评测决定团

这篇回答的问题。 如何理解“VLA 动作表示与控制接口”背后的核心机制、适用边界和下一步阅读路径。 VLA 最容易被讲成“把语言、图像和动作都 token 化”。这句话只讲到训练格式，没有讲到执行。真正要追的是：模型输出的东西，怎样变成机器人在某个坐标系、某个频率、某个安全边界内执行的动作。 机器人动作不是文本答案。它

想象一个“打开冰箱、拿酸奶、放到桌上”的机器人任务。若策略以 20Hz 直接输出末端位姿增量，一个 40 秒任务就是 800 个低层动作；中间任意一次抓偏、门没完全打开、酸奶被遮挡，都会改变后续观测。让 VLA 从一句话一路直接回归 800 个微动作，等于把任务理解、阶段切换、接触控制和失败恢复都塞进同一个输出头。 动