Charles's Castle

低比特训练最容易被讲错的地方，是把它讲成“训练版量化”。推理量化的误差大多停在一次前向里；训练里的低精度会进入 loss、反向传播、梯度规约和 optimizer update，最后写回参数。下一步训练看到的，已经是被上一轮舍入、截断、scale 失配改过的模型。 所以这页不急着比较 FP8、MXFP8、FP4、NVF

很多训练团队把精力放在模型、优化器、并行和混合精度上，最后却发现 GPU 利用率仍然不高。原因常常在输入管线：数据切片太碎、tokenizer 太慢、packing 太差、shuffle buffer 不合理、长样本让 padding 放大、恢复训练后数据游标错位。输入系统不是后台搬运工，而是训练统计分布、吞吐和可复现

本页记录 files/assets/images/training/ 中图片的来源链接。 这些图片均来自 Wikimedia Commons，具体授权条款以各文件页面为准。 训练专题曾经有一批概括图；现在不再在网页中使用。训练页里的方法图统一改为论文原图、论文项目图或明确来源的公共图。 文件清单 1. gradient

训练系统做大之后，最容易出现一种表面繁荣：实验很多、曲线很多、表格很多，但结论并不可靠。模型变好了，是因为目标函数有效，还是因为数据更多、batch 更大、训练更久、judge 偏好改变？训练评测与消融设计的目标，就是把“看起来变了”和“确实因这个改动变了”尽量区分开。 这页建议和 在线评测、训练稳定性与故障排查、数据

分布式训练不是“多放几张 GPU”。它要同时满足四件事：模型和激活放得下，GPU 不长期等通信或数据，checkpoint 不把训练主链拖死，中断后还能从同一条训练轨迹继续。前两件决定训练能不能跑快，后两件决定训练能不能跑完。 这页只回答一个问题： 一次大模型训练长跑里，并行拓扑、通信、checkpoint 和恢复状态

很多人把训练问题理解成“调优化器”。这只对了一小部分。在大模型训练里，优化器当然重要，但真正决定结果的往往是整套训练系统：数据如何清洗和混合，batch 如何组织，序列如何 packing，学习率如何调度，dataloader 能否持续喂满 GPU，checkpoint 与容错是否可靠。 这页把“优化”和“数据系统”放

大模型训练里最贵的资源往往不是显卡，而是高质量数据。训练数据不是“越多越好”的简单堆积；重复、污染、版权风险、低信息密度、标签漂移和分布失衡，都会让看似庞大的语料库变成效率低下甚至带偏模型的负担。数据质量、去重与治理，是现代训练系统中最容易被低估、但对最终能力和合规性影响极大的部分。 图源：Data Cards。原图表

当训练规模足够大之后，很多失败已经不再是“模型没学会”，而是“系统没组织好”。节点临时故障、对象存储抖动、sampler 状态丢失、实验配置漂移、checkpoint 写爆带宽、多个团队抢同一批 GPU，这些问题最后都会反映到训练效率、复现能力和研究迭代速度上。 这页关注训练系统里经常被低估的一层：如何把昂贵训练作业组

这篇回答的问题。 如何理解“世界模型现状”背后的核心机制、适用边界和下一步阅读路径。 世界模型这几年变成了一个很热的词，但它正在同时指向两件并不完全相同的东西： 1. 会生成可交互世界的外部模拟器 ，例如从文本生成一个能走进去探索的环境； 2. 能帮助智能体做决策的内部预测器 ，例如在机器人执行前预测动作后果、风险和成

先不谈指标，先想一个动作：你戴上 Meta Quest 3，打开彩色透视，低头看桌面，抬手点一个悬浮按钮。这个动作不到一秒，但头显要同时接收多路相机画面、估计头和手的位置、把真实世界和虚拟画面叠在一起、给左右眼渲染高分辨率画面、维持无线连接，还可能并发运行语音识别、场景理解或应用侧视觉模型。 图源：用户提供图片。原图表