RM_train是什么过程？

[Dragon2938734]

请问正常流程是ptm, sft, rm, dpo, gptq（量化）么？其中rm是什么过程呀

[wdndev]

RM是训练奖励模型，在最初的强化学习训练中，需要用到RM模型 + PPO算法来进行训练；后续的DPO和GRPO的优化RL算法，把训练RM这个步骤去掉了。