从 GSM8K 和 verl 实验出发，理解 PPO 中的 Actor、Critic、奖励对齐、GAE、概率比与反向传播。

按 Transformer、SFT、参数高效微调、后训练与推理五条线，展开大模型面试常见公式，并给出对应的 PyTorch 手写实现。

从 KL 约束的 RLHF 目标出发，推导 DPO 的闭式策略映射、偏好损失、训练流程、实验边界与复现要点。