本文梳理大模型后训练演进史，详解SFT、RFT、PPO、GRPO等六大技术流派的核心逻辑与优劣，帮助开发者理解从监督微调到强化学习的技术选择。
在工业级大模型训练中，单一算法已无法包打天下。本文将带你穿越从监督微调到强化学习的技术演进史，解析SFT、PPO、GRPO等六大流派的核心机制与应用场景。
一、纯监督派：SFT与RFT机制
在大模型后训练的演进脉络中，纯监督方法构成了最基础的基石。SFT（监督微调）的逻辑直白且高效：它通过大量的标准问答对，让模型进行精确的模仿训练。这如同语言学习中的背诵阶段，模型通过反复接触“标准答案”，建立起输入与输出之间的直接映射。
SFT的优势在于极高的训练稳定性，收敛速度快，是大多数模型获得基础对话能力的必经之路。然而，这种“死记硬背”式的训练也带来了明显的局限：模型往往仅学会了表面关联，其创造力和推理深度严格受限于训练数据的覆盖范围，容易陷入模式化的回复。
为了解决数据质量对上限的制约，RFT（拒绝采样微调）应运而生。其核心机制是从模型生成的多个候选回答中，利用奖励模型或人工筛选出最优样本，再将这些高质量样本用于后续训练。这好比考试解题时，先尝试多种解法，再保留最优方案进行强化记忆。RFT能显著提升模型在复杂任务上的表现，但其计算资源消耗巨大，且由于只使用“最优”样本，模型难以感知答案之间的质量梯度差异，无法学会区分“好”与“更好”之间的细微差别。
尽管SFT和RFT在提升模型基线能力上表现卓越，但当任务涉及多步推理或复杂策略优化时，仅靠监督信号已不足以挖掘模型潜力。此时，引入强化学习机制成为必然选择。
二、同策略强化：PPO与GRPO对比
既然监督信号已触及天花板，强化学习便成了突破多步推理与策略优化瓶颈的关键。在这一领域中，PPO（近端策略优化）与GRPO（组相对策略优化）代表了两种截然不同的工程思路。
PPO构建了一套完整的四组件体系：模型主体负责生成，评分预测器评估中间步骤，奖励模型判定最终结果，参考模型则约束分布偏移。这种“重装备”策略使得PPO能精准挖掘深层推理潜力，优化效果极其稳定。然而，高昂的算力成本与复杂的参数调优难度，让许多团队望而却步。
相比之下，GRPO采取了极简主义路线。它大胆去掉了独立的评分预测器，转而利用同一提示词下的多个生成回答进行组内相对比较，以平均值为基线确定优化方向。这种机制大幅降低了资源占用，计算效率显著提升。但GRPO对实时生成数据依赖极强，历史数据难以复用，适合资源受限但追求快速迭代的场景。在后续章节中，我们将探讨如何结合蒸馏技术进一步压缩这种算力开销。
三、异策略与蒸馏：知识迁移技术
前文提到GRPO虽高效却依赖实时生成，这在实际工程中往往成为算力瓶颈。为了解决这一问题，异策略学习与蒸馏技术提供了两条不同的优化路径。
AsymRE（非对称强化学习）的核心思路并非抛弃历史数据，而是建立经验库来复用过往的高价值样本。它不再要求每一步都实时采样，而是从历史交互中筛选出模型表现优异的“高光时刻”进行重点强化。这种机制大幅降低了实时计算需求，使得大规模强化学习在工程落地时更加经济可控。
另一方面，OD（On-policy Distillation）则聚焦于能力迁移中的分布差异。传统蒸馏往往让学生模型简单模仿教师，而OD强调基于学生当前的实际表现提供针对性指导。这种“因材施教”的方式有效缓解了因数据分布不一致导致的性能衰减。作为前沿技术，OD正处于快速发展阶段，特别适合解决复杂场景下的知识对齐问题。在实际选型中，若追求极致成本效益，AsymRE是稳健选择；若需精细调控模型行为，OD则更具潜力。这些技术并非孤立存在，后续我们将探讨如何将它们融合进统一的后训练框架中。
四、技术融合与实践智慧
回顾前文提到的AsymRE与OD，我们不难发现，大模型后训练并非单一算法的独角戏，而是一场多技术协同的“交响乐”。从基础的SFT奠定语言能力，到GRPO提升推理效率，再到PPO实现精细对齐，直至OD完成知识迁移，这条演进路径清晰地勾勒出技术融合的脉络。在实际工程中，没有任何一种技术能包打天下，真正的智慧在于根据场景组合使用不同流派的技术。
例如，在数据准备阶段，SFT依然是构建基座模型的最佳选择；而在追求极致性价比的场景下，AsymRE能显著降低算力成本。这种组合策略的背后，折射出的是人工智能理念的根本性转变：从过去单纯的标准答案灌输，转向对模型个性化发展能力的精准指导。这不仅是对算法效率的优化，更是对人类学习本质的一种数学诠释。理解这一融合趋势，比单纯追逐某个SOTA模型更具长远价值。
