世界模型:高效训练效率技术覆盖矩阵
这页是全站地图,不替代各专题正文。它只回答一个问题:当你说某项技术让世界模型训练更高效时,它到底省哪类成本,证据在哪里,还不能证明什么。
读法
先按瓶颈找技术,再进入对应专题。不要从头背完整矩阵;它的作用是避免把数据效率、表示效率、训练系统效率、推理效率和验证效率混成一个“更高效”的笼统说法。
数据效率
| 效率技术 | 解决的成本 | 站内入口 | 原始证据 | 缺口 / 不能证明 |
|---|---|---|---|---|
| Dreamer / RSSM latent imagination | 真实环境交互、策略试错 | RSSM、Dreamer 与规划 | DreamerV3, Figure 3(a)/(b), Figure 6 | 不证明高分辨率视频模拟器天然可规划 |
| Masked World Models | 视觉控制样本、像素重建压力 | Masked / JEPA 与潜变量预测 | MWM, Figure 1, Figure 4 | 不证明 masked 表征天然有动作因果 |
| 数据引擎 / hard negatives | 真实失败采集、人工排查 | 世界模型数据引擎 | mini-chain Toy Fixture | Toy fixture 不是生产模型效果 |
| Offline-online hybrid | 在线探索成本、长尾样本覆盖 | 端到端案例 | 站内 schema 与 failure replay | 需要真实重训日志或线上灰度才能证明收益 |
表示效率
| 效率技术 | 解决的成本 | 站内入口 | 原始证据 | 缺口 / 不能证明 |
|---|---|---|---|---|
| V-JEPA / JEPA-style latent prediction | 像素 decoder、视频 token 冗余 | Masked / JEPA 与潜变量预测 | V-JEPA, Figure 3, Table 1/4/5 | 原始 V-JEPA 不含 action、reward、done |
| Visual tokenizer / resampler | 多相机长视频 token | 视觉 Tokenizer 与连接器 | 站内 token 成本账与 VLM/VLA 接口 | 压缩后是否保留接触和小目标要单独验 |
| MWM decoupled representation | 表征学习与 dynamics 相互拖累 | Masked / JEPA 与潜变量预测 | MWM, Figure 1 | 不能替代 closed-loop planning 证据 |
| Depth Anything 3 / geometry state | 几何状态估计、深度/相机底座 | Depth Anything 3 专题 | Depth Anything 3 | 几何估计不等于动力学和策略安全 |
训练系统效率
| 效率技术 | 解决的成本 | 站内入口 | 原始证据 | 缺口 / 不能证明 |
|---|---|---|---|---|
| Activation checkpointing | 长轨迹激活显存 | 训练 | 通用训练系统实践 | 增加重算,需确认 recurrent state 和 mask 一致 |
| Sequence packing | padding、无效 attention | 高效训练路线图 | 站内 4 路相机 token 账 | 不能让不同 episode 互相可见 |
| FSDP / ZeRO | optimizer、gradient、parameter state | 训练 | ZeRO 专题 | 通信和 checkpoint I/O 可能成为新瓶颈 |
| MagiAttention | 异构 mask 长上下文通信和负载不均 | MagiAttention 专题 | MagiAttention docs / benchmark | 只证明系统吞吐,不证明 dynamics 更准 |
| Low-bit training / FP8 | 显存、带宽、通信 payload | 低比特训练 | 站内低比特与技术报告专题 | reward/risk/action head 需要精度保护 |
推理效率
| 效率技术 | 解决的成本 | 站内入口 | 原始证据 | 缺口 / 不能证明 |
|---|---|---|---|---|
| KV cache / GQA | rollout decode 显存和带宽 | 推理成本建模 | 高效训练路线图 KV 账 | KV 变小不保证候选动作排序不变 |
| KVSlimmer | 长上下文 KV 合并和 decoder 开销 | KVSlimmer 专题 | KVSlimmer | 文本长上下文收益不能直接外推到动作分叉 |
| Low-bit KV | KV 显存、HBM 带宽 | 量化 | 站内量化与 KV cache 页面 | risk / action head 仍需回归测试 |
| CausVid / DMD | 少步视频 rollout、streaming latency | CausVid 专题 | CausVid paper result | 视频延迟下降不等于 planning utility |
| SLO / batching | 端到端延迟、并发容量 | 推理成本建模 | 系统日志或压测 | P95/P99 变好不证明模型更安全 |
验证效率
| 效率技术 | 解决的成本 | 站内入口 | 原始证据 | 缺口 / 不能证明 |
|---|---|---|---|---|
| Action sensitivity | 无效视频 demo、动作不敏感模型 | 世界模型评测 | mini-chain 报告样例 | 单一反事实测试不能覆盖所有风险 |
| Closed-loop gain | open-loop 指标和真实决策脱节 | 世界模型评测 | Dreamer / V-JEPA 2-AC 等闭环设置 | 成功率需要配合失败桶和成本账 |
| Risk calibration | near-miss 漏报、安全错判 | 不确定性与风险敏感规划 | mini-chain risk ECE 示例 | 小样本 ECE 不能证明部署安全 |
| Failure replay | 失败不可复盘、数据回流低效 | 端到端案例 | Toy fixture failure replay | 需要真实视频、预测、动作和人工标签 |
| Claim Ledger | 证据混淆、过度外推 | Claim Ledger | 全站证据账 | 证据账本身不替代复现实验 |
读完怎么用
- 如果你在做方案设计,先从“解决的成本”定位路线。
- 如果你在写博客或论文笔记,至少引用“原始证据”和“缺口 / 不能证明”两列。
- 如果你在做实验,进入 完整实验报告样例,按数据、配置、系统账、评测和失败归因写证据链。
- Title: 世界模型:高效训练效率技术覆盖矩阵
- Author: Charles
- Created at : 2026-04-22 09:00:00
- Updated at : 2026-04-22 09:00:00
- Link: https://charles2530.github.io/2026/04/22/ai-files-world-models-efficiency-technique-coverage-matrix/
- License: This work is licensed under CC BY-NC-SA 4.0.
Comments