从 Actor、Critic 到 PPO Loss：用 GSM8K 理解语言模型强化学习 2026-10-07 2026-10-07 AI LLM / PPO / 强化学习 / GSM8K / verl / 模型后训练 从 GSM8K 和 verl 实验出发，理解 PPO 中的 Actor、Critic、奖励对齐、GAE、概率比与反向传播。 3 | 0
