世界模型:高效训练效率技术覆盖矩阵

世界模型:高效训练效率技术覆盖矩阵

Charles Lv8

这页是全站地图,不替代各专题正文。它只回答一个问题:当你说某项技术让世界模型训练更高效时,它到底省哪类成本,证据在哪里,还不能证明什么。

读法

先按瓶颈找技术,再进入对应专题。不要从头背完整矩阵;它的作用是避免把数据效率、表示效率、训练系统效率、推理效率和验证效率混成一个“更高效”的笼统说法。

数据效率

效率技术 解决的成本 站内入口 原始证据 缺口 / 不能证明
Dreamer / RSSM latent imagination 真实环境交互、策略试错 RSSM、Dreamer 与规划 DreamerV3, Figure 3(a)/(b), Figure 6 不证明高分辨率视频模拟器天然可规划
Masked World Models 视觉控制样本、像素重建压力 Masked / JEPA 与潜变量预测 MWM, Figure 1, Figure 4 不证明 masked 表征天然有动作因果
数据引擎 / hard negatives 真实失败采集、人工排查 世界模型数据引擎 mini-chain Toy Fixture Toy fixture 不是生产模型效果
Offline-online hybrid 在线探索成本、长尾样本覆盖 端到端案例 站内 schema 与 failure replay 需要真实重训日志或线上灰度才能证明收益

表示效率

效率技术 解决的成本 站内入口 原始证据 缺口 / 不能证明
V-JEPA / JEPA-style latent prediction 像素 decoder、视频 token 冗余 Masked / JEPA 与潜变量预测 V-JEPA, Figure 3, Table 1/4/5 原始 V-JEPA 不含 action、reward、done
Visual tokenizer / resampler 多相机长视频 token 视觉 Tokenizer 与连接器 站内 token 成本账与 VLM/VLA 接口 压缩后是否保留接触和小目标要单独验
MWM decoupled representation 表征学习与 dynamics 相互拖累 Masked / JEPA 与潜变量预测 MWM, Figure 1 不能替代 closed-loop planning 证据
Depth Anything 3 / geometry state 几何状态估计、深度/相机底座 Depth Anything 3 专题 Depth Anything 3 几何估计不等于动力学和策略安全

训练系统效率

效率技术 解决的成本 站内入口 原始证据 缺口 / 不能证明
Activation checkpointing 长轨迹激活显存 训练 通用训练系统实践 增加重算,需确认 recurrent state 和 mask 一致
Sequence packing padding、无效 attention 高效训练路线图 站内 4 路相机 token 账 不能让不同 episode 互相可见
FSDP / ZeRO optimizer、gradient、parameter state 训练 ZeRO 专题 通信和 checkpoint I/O 可能成为新瓶颈
MagiAttention 异构 mask 长上下文通信和负载不均 MagiAttention 专题 MagiAttention docs / benchmark 只证明系统吞吐,不证明 dynamics 更准
Low-bit training / FP8 显存、带宽、通信 payload 低比特训练 站内低比特与技术报告专题 reward/risk/action head 需要精度保护

推理效率

效率技术 解决的成本 站内入口 原始证据 缺口 / 不能证明
KV cache / GQA rollout decode 显存和带宽 推理成本建模 高效训练路线图 KV 账 KV 变小不保证候选动作排序不变
KVSlimmer 长上下文 KV 合并和 decoder 开销 KVSlimmer 专题 KVSlimmer 文本长上下文收益不能直接外推到动作分叉
Low-bit KV KV 显存、HBM 带宽 量化 站内量化与 KV cache 页面 risk / action head 仍需回归测试
CausVid / DMD 少步视频 rollout、streaming latency CausVid 专题 CausVid paper result 视频延迟下降不等于 planning utility
SLO / batching 端到端延迟、并发容量 推理成本建模 系统日志或压测 P95/P99 变好不证明模型更安全

验证效率

效率技术 解决的成本 站内入口 原始证据 缺口 / 不能证明
Action sensitivity 无效视频 demo、动作不敏感模型 世界模型评测 mini-chain 报告样例 单一反事实测试不能覆盖所有风险
Closed-loop gain open-loop 指标和真实决策脱节 世界模型评测 Dreamer / V-JEPA 2-AC 等闭环设置 成功率需要配合失败桶和成本账
Risk calibration near-miss 漏报、安全错判 不确定性与风险敏感规划 mini-chain risk ECE 示例 小样本 ECE 不能证明部署安全
Failure replay 失败不可复盘、数据回流低效 端到端案例 Toy fixture failure replay 需要真实视频、预测、动作和人工标签
Claim Ledger 证据混淆、过度外推 Claim Ledger 全站证据账 证据账本身不替代复现实验

读完怎么用

  1. 如果你在做方案设计,先从“解决的成本”定位路线。
  2. 如果你在写博客或论文笔记,至少引用“原始证据”和“缺口 / 不能证明”两列。
  3. 如果你在做实验,进入 完整实验报告样例,按数据、配置、系统账、评测和失败归因写证据链。
  • Title: 世界模型:高效训练效率技术覆盖矩阵
  • Author: Charles
  • Created at : 2026-04-22 09:00:00
  • Updated at : 2026-04-22 09:00:00
  • Link: https://charles2530.github.io/2026/04/22/ai-files-world-models-efficiency-technique-coverage-matrix/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments
On this page
世界模型:高效训练效率技术覆盖矩阵