PPO损失中新老模型prob值对比，为什么用的是reference模型的probs？

[loganzhang1]

感谢作者简洁清晰的代码，我看代码发现计算PPO损失的时候，需要用新模型的prob/老模型的prob，我理解这个老模型应该是上一个步骤的actor模型吧？但是，我见代码中old_probs用的是reference模型的probs。这个地方是写错了吗？
https://github.com/OctopusMind/RLHF_PPO/blob/main/ppo.py#L68C42-L68C50

[ambyerhan]

请问有答案吗？貌似还有一个问题在计算reward的时候我理解应该要用ref-log-prob和old-log-prob，但是代码中使用了ref-log-prob和new-log-prob。另一个问题就是您这边提到的，计算actorloss时用的new-prob和ref-prob而不是new-prob和old-prob~