Charles's Castle

Transformer 里的 token 需要同时知道自己在哪里、能看见谁。 Attention 本身只会比较 token 向量之间的匹配分数。它不会天然知道第一个 token 在前、第二个 token 在后，也不会自动知道 padding、未来 token、另一个 packed sample 或未来动作标签不该被看见

模型训练时，loss 通过梯度、学习率和优化器变成参数更新；“loss 下降”仍可能不代表模型真的更好。 训练不是把模型多跑几轮。一次训练 step 至少包含四个动作：从数据分布采样一个 batch，计算当前参数下的 loss，用反向传播估计梯度，再让 optimizer 把梯度变成参数更新。任何一环错位，曲线都可能看

模型从“公式上能算”到“线上能跑快、跑稳、跑得起”，中间会被数值、显存、带宽和运行时成本卡住。 很多模型报告会同时出现 BF16、FP8、INT4、KV cache、FLOPs、bandwidth、kernel、runtime、TTFT、TPOT。它们是同一条执行链上的不同账本：数值格式决定每个值怎么表示，显存决定哪些

网络堆到几十层、几百层甚至上千层时，归一化、残差和激活函数共同维持信号尺度与梯度流动。 答案不是某一个模块单独立功。归一化控制每层看到的数值尺度，残差连接保留一条可传播的信息路径，激活函数让线性投影之间产生非线性选择。三者一起决定深层模型是否“可优化”：如果尺度漂移，后面的线性层和 softmax 会被极值支配；如果没

模型同时看到文字、图片、视频、音频和工具结果时，需要把这些输入变成可靠判断，不能把“看起来会描述”误读成“真的会推理”。 多模态推理的核心链路可以拆成五步：感知证据、模态对齐、连接到语言/策略空间、在 token 预算内组织中间状态、用工具或验证器校验输出。任何一步错了，后面的 CoT 写得再漂亮也可能只是围绕错误证据

读 DeepSeek、Qwen、Kimi、Gemini、Nemotron 这类技术报告时，最容易被一张模型规模表带偏： Total Params 、 Activated Params 、 Experts 、 Top-k 、 MLA/GQA 、 MTP 、 FP8/FP4 全部挤在一起。真正要读懂它，要先分清： MoE

Mamba 是近几年最重要的 Transformer 替代/补充路线之一。它让序列沿时间方向维护一个紧凑状态，用线性复杂度处理长序列。混合 Mamba-Transformer 架构则更务实：保留一部分 attention 做精确检索和复杂 token 交互，把大量层换成 Mamba / SSM 来降低推理成本。 图源：

大模型系统优化经常绕不开 Linear、MLP 和 GEMM。 最短答案是：Transformer 里大量参数、FLOPs、量化收益、张量并行切分和低精度 kernel，都集中在线性层。Linear 在模型语义上是“把每个 token 的表示投影到新通道空间”；在数学上是矩阵乘；在硬件上通常会落到 GEMM 或 fus

评测要建立一条证据链：这个模型在什么数据上、按什么指标、相对哪个基线、在哪些分桶里变好或变差、结果有多大不确定性、失败能不能复现、能不能支撑发布决策。 当论文或实验报告说“模型提升了 2 分”时，要判断这 2 分是真的、有用的、可泛化的，还是来自数据污染、指标错配或平均分幻觉。 需要用到采样、置信区间与校准判断分数是否

卷积长期支撑视觉模型，也仍然是理解 U-Net、扩散模型、视觉编码器和机器人感知的基础。 图像不是一串彼此无关的数字。相邻像素通常属于同一条边缘、同一个纹理或同一个物体部件；同一种局部模式也可能出现在画面的任何位置。卷积正是把这两个假设写进网络结构： 局部连接 让模型先看附近区域， 权重共享 让同一个检测器在全图复用，