Charles's Castle

生成模型不是把训练样本背下来，也不是“随机画一个像样的东西”。它要学的是一个分布：哪些样本可能出现，哪些条件会改变样本，哪些隐藏因素可以解释观测到的数据。VAE、扩散模型、RSSM / Dreamer、JEPA、视频世界模型都会反复使用这套语言。 这页只回答一个核心问题： 当论文写 $p theta x $、$p th

这篇文章只回答一个问题：Transformer 里的 token 为什么需要知道“我在哪里”和“我能看谁”。 Attention 本身只会比较 token 向量之间的匹配分数。它不会天然知道第一个 token 在前、第二个 token 在后，也不会自动知道 padding、未来 token、另一个 packed sam

这篇文章只回答一个问题：模型训练时，loss 是怎样通过梯度、学习率和优化器变成参数更新的，以及为什么“loss 下降”仍然可能不代表模型真的更好。 训练不是把模型多跑几轮。一次训练 step 至少包含四个动作：从数据分布采样一个 batch，计算当前参数下的 loss，用反向传播估计梯度，再让 optimizer 把

这篇文章只回答一个问题：一个模型从“公式上能算”到“线上能跑快、跑稳、跑得起”，中间到底会被哪些系统成本卡住。 很多模型报告会同时出现 BF16、FP8、INT4、KV cache、FLOPs、bandwidth、kernel、runtime、TTFT、TPOT。它们不是一堆独立术语，而是同一条执行链上的不同账本：数值

这篇文章只回答一个问题：一个网络堆到几十层、几百层甚至上千层时，为什么还能把信号传下去、把梯度传回来，并且不被中间张量的尺度拖垮。 答案不是某一个模块单独立功。归一化控制每层看到的数值尺度，残差连接保留一条可传播的信息路径，激活函数让线性投影之间产生非线性选择。三者一起决定深层模型是否“可优化”：如果尺度漂移，后面的线

这篇文章只回答一个问题：一个模型同时看到文字、图片、视频、音频和工具结果时，怎样把这些输入变成可靠判断，而不是把“看起来会描述”误读成“真的会推理”。 多模态推理的核心链路可以拆成五步：感知证据、模态对齐、连接到语言/策略空间、在 token 预算内组织中间状态、用工具或验证器校验输出。任何一步错了，后面的 CoT 写

读 DeepSeek、Qwen、Kimi、Gemini、Nemotron 这类技术报告时，最容易被一张模型规模表带偏： Total Params 、 Activated Params 、 Experts 、 Top-k 、 MLA/GQA 、 MTP 、 FP8/FP4 全部挤在一起。真正要读懂它，不是背模型名字，而是

Mamba 是近几年最重要的 Transformer 替代/补充路线之一。它的目标不是把 token 之间两两做 attention，而是让序列沿时间方向维护一个紧凑状态，用线性复杂度处理长序列。混合 Mamba-Transformer 架构则更务实：保留一部分 attention 做精确检索和复杂 token 交互，

这篇文章只回答一个问题：为什么大模型系统优化经常绕不开 Linear、MLP 和 GEMM。 最短答案是：Transformer 里大量参数、FLOPs、量化收益、张量并行切分和低精度 kernel，都集中在线性层。Linear 在模型语义上是“把每个 token 的表示投影到新通道空间”；在数学上是矩阵乘；在硬件上通

评测不是给模型贴一个排行榜分数，而是建立一条证据链：这个模型在什么数据上、按什么指标、相对哪个基线、在哪些分桶里变好或变差、结果有多大不确定性、失败能不能复现、能不能支撑发布决策。 这页只回答一个核心问题： 当论文或实验报告说“模型提升了 2 分”时，怎样判断这 2 分是真的、有用的、可泛化的，而不是数据污染、指标错配