从 KL 约束的 RLHF 目标出发，推导 DPO 的闭式策略映射、偏好损失、训练流程、实验边界与复现要点。