从 Attention、RoPE 和 SFT 到 LoRA、PPO、DPO、GRPO，逐步展开公式并给出可运行的 PyTorch 实现，补充 KV Cache、采样和训练循环的边界情况。

按 Transformer、SFT、参数高效微调、后训练与推理五条线，展开大模型面试常见公式，并给出对应的 PyTorch 手写实现。

从零实现 PyTorch CUDA 扩展，拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。

从 3D 并行、ZeRO、Pipeline Schedule 和 Checkpoint 拆解 Hugging Face 大模型预训练框架。

从计算图和链式法则出发，实现一个支持反向传播的 mini autograd，并讨论显存优化。