发布于 2025-02-15
摘要
已经用了两篇文章讲解了PPO的源码解读： 训练整体过程 经验数据采集过程 最后我们在来看看模型训练过程的一些细节。 1.PPO训练 …
RLHF
发布于 2025-02-15
摘要
0. 引语 上一篇文章中『基于OpenRLHF源码理解PPO单机训练』已经介绍了PPO训练的完整过程，训练过程如图1所示 图1、P …
发布于 2025-02-15
摘要
0.OpenRLHF简介 本人对PPO一直停留在“理论”和“实践”层面， 看过PPO的原理，训过PPO的模型，但一直没有从源码角度 …