基础知识
2026
36
- 基础知识：价值函数、策略梯度与强化学习目标
- 基础知识：随机过程与马尔可夫性
- 基础知识：谱分解、二阶近似与低秩结构
- 基础知识：序列、位置编码与注意力掩码
- 基础知识：缩放律、幂律与实验曲线
- 基础知识：采样、估计与校准
- 基础知识：概率论、分布与期望
- 基础知识：优化、梯度与约束
- 基础知识：数值计算、复杂度与估算
- 基础知识：线性代数与几何直觉
- 基础知识：潜变量、似然与生成模型目标
- 基础知识：信息论、熵与分布距离
- 基础知识：几何、视觉与三维空间
- 基础知识：动态系统、控制与状态空间
- 基础知识：离散选择、Top-k 与稀疏路由
- 基础知识：微分、Jacobian 与梯度传播
- 基础知识：卷积、频域与多尺度表示
- 基础知识：因果、反事实与分布偏移
- 基础知识：微积分与牛顿-莱布尼茨公式
- 基础知识：梯度估计、离散变量与训练信号
- 知识问答：具身智能与 VLA QA
- 知识问答：世界模型 QA
- 知识问答：多模态与生成模型 QA
- 知识问答：训练与对齐 QA
- 知识问答：RAG、Agent 与评估 QA
- 知识问答：算子与性能 QA
- 知识问答：推理服务与量化 QA
- 知识问答：基础与 Transformer QA
- 论文专题讲解：GPU Utilization：为什么 100％ 不等于训练跑满
- 基础知识：模型压缩、剪枝与 NAS：先问省的是哪张账
- 基础知识：预训练目标与表示学习：模型到底被要求学什么
- 基础知识：生成与解码：模型给出概率后，系统怎样选 token
- 基础知识：泛化、正则化与分布偏移：训练 loss 下降为什么不等于模型可用
- 基础知识：数据与数据集基础：模型真正吃下去的不是“文件夹”
- 基础知识：模型蒸馏入门
- 基础知识：读懂公式的最小数学：接口、概率、loss 和梯度
2025
21
- 论文专题讲解：ZeRO：数据并行真正浪费的是训练状态副本
- 论文专题讲解：SLA / SLA2：DiT 稀疏线性 Attention
- 论文专题讲解：Muon：LLM 预训练优化器
- 论文专题讲解：Megatron-LM：Tensor Model Parallel 的大模型训练栈
- 论文专题讲解：MagiAttention：超长上下文分布式 Attention
- 论文专题讲解：Attn-QAT：4-bit Attention 量化感知训练
- 基础知识：Transformer、Tokenization 与注意力
- 基础知识：张量、Shape 与计算图：为什么很多模型问题先是接口问题
- 基础知识：Prompt、CoT 与 RAG：把模型输入做成可验证的信息流
- 基础知识：概率与潜变量模型：生成模型到底在学什么
- 基础知识：位置编码与 Mask：顺序、可见性和长上下文边界
- 基础知识：优化与训练：loss 怎样变成一次可靠更新
- 基础知识：数值、显存与运行时：模型为什么数学可行但系统跑不动
- 基础知识：归一化、残差与激活：深层网络为什么能稳住
- 基础知识：多模态推理：先看见证据，再组织推理
- 基础知识：MoE 与大模型架构：总参数、激活参数和路由成本
- 基础知识：Mamba 与混合 SSM 架构
- 基础知识：线性层、MLP 与 GEMM：模型里的矩阵乘为什么这么重要
- 基础知识：数据划分与评测指标：一个分数为什么不够
- 基础知识：卷积与视觉特征：局部窗口如何变成多尺度表示
- 基础知识：自动微分与激活显存：训练为什么要保存中间值
1