从 3D 并行、ZeRO、Pipeline Schedule 和 Checkpoint 拆解 Hugging Face 大模型预训练框架。

从计算图和链式法则出发，实现一个支持反向传播的 mini autograd，并讨论显存优化。