Charles's Castle

本章回答什么 动作来自随机采样，尤其是离散 action 时，梯度从哪里来？Policy Gradient 不对采出的 action id 求导，而是用 score-function estimator 提高高回报动作的 log probability。REINFORCE 是这条思路最直接的 Monte Carlo 实

Offline Reinforcement Learning（Offline RL）只使用已经记录好的固定数据集训练策略，不在训练期间向环境请求新 transition。它适合机器人、医疗流程和推荐系统这类真实探索昂贵或危险的场景，但也把一个问题放到中心：策略一旦选择数据集没有覆盖的动作，价值估计还能不能相信？ 本章回

本章回答什么 当每次只能从多个选项里试一个，而每个选项的平均收益未知时，怎样在“利用当前最优选项”和“探索尚未了解的选项”之间分配机会？本章用同一个固定 seed 的 10 臂任务比较 epsilon-greedy 与 UCB，并把估计、动作选择和指标串成最小实验。 Bandit 没有随动作变化的 state tran

LLM 强化学习把一段 response 看成由 token action 组成的 trajectory：模型从 prompt 开始逐 token 采样，reward model、规则或 verifier 在结尾打分，再把结果变成 policy update。RLHF、RLVR、PPO 和 GRPO 的差异主要在 re

本章回答什么 已经有了 Bellman 方程，怎样真正算出 value？本章用同一个 2×3 GridWorld 比较三条路径：Dynamic Programming（DP）枚举已知模型，Monte Carlo（MC）等待完整 episode，Temporal-Difference（TD）从单步样本 bootstrap

本章回答什么 DQN 能对有限 action 取 $ max a Q s,a $，但电机力矩是连续值，无法逐个枚举。Soft Actor-Critic（SAC）用 reparameterized squashed Gaussian actor 产生连续动作，以 twin Q、replay buffer、target n

return、value、Q 函数、advantage、policy gradient、PPO、GRPO 和 KL penalty 都在描述策略如何在随机轨迹里最大化长期收益。强化学习的难点在于奖励可能延迟，轨迹有随机性，策略一改，后面的数据分布也会跟着改。 Return：一条轨迹最后值多少钱 从时间 $t$ 开始的折

马尔可夫、转移概率、trajectory、MDP 和 rollout 描述随机过程如何随时间推进。语言模型生成 token、机器人执行动作、世界模型预测未来、扩散模型逐步去噪，都可以先看成按时间展开的随机变量序列。 随机过程：一串随时间变化的随机变量 一个离散时间随机过程可以写成： $$ X 0,X 1,X 2, do

特征值、SVD、谱能量、Hessian、Taylor 近似和低秩结构用来分析方向结构和扰动敏感度。谱分解看矩阵能量集中在哪些方向，二阶近似看 loss 或模型分布对小扰动有多敏感。 特征值：一个方向被放大多少 如果一个方阵 $A$ 满足： $$ Av= lambda v $$ 那么 $v$ 是特征向量，$ lambda

token 序列、位置编码、causal mask、attention mask、temperature 和 KV cache 共同定义序列模型的信息流、位置感和生成概率。语言、视频和机器人轨迹都可以按顺序展开，只是元素分别是 token、帧或 patch、状态和动作；序列数学关心第 $t$ 个元素能看见谁、怎样知道自