从 Attention、RoPE 和 SFT 到 LoRA、PPO、DPO、GRPO，逐步展开公式并给出可运行的 PyTorch 实现，补充 KV Cache、采样和训练循环的边界情况。

从 KL 约束的 RLHF 目标出发，推导 DPO 的闭式策略映射、偏好损失、训练流程、实验边界与复现要点。