从 Attention、RoPE 和 SFT 到 LoRA、PPO、DPO、GRPO，逐步展开公式并给出可运行的 PyTorch 实现，补充 KV Cache、采样和训练循环的边界情况。

按 Transformer、SFT、参数高效微调、后训练与推理五条线，展开大模型面试常见公式，并给出对应的 PyTorch 手写实现。

以三篇代表论文为主线，串起 Transformer、Vision Transformer 与 CLIP 的结构、目标和面试高频题。