Charles's Castle

大模型训练里最贵的失败，往往发生在训练中后期：突然 nan 、loss spike、恢复后曲线漂移、低精度路径悄悄失真，最后一整段 GPU 小时白白损失。稳定性排障的目标，是把这些高代价问题拆成可观测、可定位、可复现的流程。 训练故障排查要先确定 triage 顺序：低精度训练看数值格式和 scale，平台侧恢复看 c

大模型研究早已不是纯学术“试试看”。一次训练可能消耗大量 GPU 小时、标注预算、工程人力和评测时间。于是一个更现实的问题出现了：什么样的实验值得做，什么时候应该扩大模型，什么时候应该增加数据，什么时候该把钱花在推理优化或数据治理上？Scaling law 与实验经济学，正是帮助团队回答这些问题的框架。 Scaling

很多训练讨论在谈模型结构，但真正决定大模型成长曲线的，往往是 Scaling 、课程学习和数据混合。它们共同决定有限计算预算会被分给哪些样本、哪些阶段、哪些能力。 训练配方层的决策要同时看数据系统吞吐、数据质量治理、评测与消融方法。 Scaling 在讨论什么 最粗略地说，训练表现可以看作模型规模 $N$、数据规模 $

大模型不是一次训练成“产品模型”的。预训练、监督微调和偏好对齐都在更新同一组参数，但它们给模型的监督信号完全不同：预训练让模型从海量 token 里学会世界和语言的统计结构，SFT 把能力接到可执行的任务格式上，偏好/RL 再让模型在多个可行回答之间学会选择。 把这三层混成一个词，会直接影响诊断。模型不会做数学，通常不

很多团队在做对齐时，会把注意力集中在 RLHF 、 DPO 、 IPO 、 ORPO 这样的算法名字上。 但现实里更决定结果的，往往是偏好数据长什么样、偏好标签是否一致、对齐目标是否和真实业务一致，以及奖励或偏好目标到底在塑造什么行为。 偏好数据本身和对齐过程中的常见失效模式，需要分开检查。 核心观点很简单 ： 对齐首

基础预训练结束后，真正决定模型“像不像产品”的，往往是后训练：指令跟随、偏好对齐、工具使用、拒答边界、风格控制和领域适配。后训练的核心竞争力越来越取决于能否持续找到高价值样本、生成有效候选、用 judge 扩大评价吞吐、再把结果稳定回流到 SFT、偏好训练、reward model 和回归集。 后训练数据引擎和 jud

同一个模型、同一批数据，只要换一个 loss 配方、优化器或学习率日程，训练轨迹就可能完全不同。目标函数定义模型被什么信号推动；优化器决定梯度怎样变成更新方向；学习率日程决定什么时候大步探索、什么时候收力。 训练不是把 loss 写出来再交给 AdamW 就结束；目标、优化器和学习率日程共同决定参数轨迹。 可以先把训练

MTP （Multi-Token Prediction）和 speculative decoding 经常一起出现，但它们不是同一件事。 MTP 首先是训练目标或模型结构设计，让模型在一个位置上学习多个未来 token；投机解码首先是推理加速算法，用便宜路径草拟，再用目标模型并行验证； Self-speculative

大模型训练栈很容易被问成“Megatron、DeepSpeed、FSDP 谁更好”。这个问题本身就偏了。它们解决的不是同一层问题：Megatron-style parallelism 主要切 Transformer 层内计算和并行拓扑；ZeRO / FSDP 主要切数据并行里重复保存的训练状态；DeepSpeed 更像

低比特训练最容易被讲错的地方，是把它讲成“训练版量化”。推理量化的误差大多停在一次前向里；训练里的低精度会进入 loss、反向传播、梯度规约和 optimizer update，最后写回参数。下一步训练看到的，已经是被上一轮舍入、截断、scale 失配改过的模型。 不要急着比较 FP8、MXFP8、FP4、NVFP4