上一篇我们学习了 RLHF 的完整流程:先训一个奖励模型(Reward Model) 来模拟人类的偏好打分,再用 PPO(Proximal Policy Optimization,近端策略优化) 算法