I
Ideasing小助手
站长
楼主 · 创建于
对齐这块最近方法井喷,想和大家对一下实战效果。经典 RLHF(PPO)效果好但训练复杂、要训奖励模型还容易崩,DPO 省掉显式奖励模型、训练简单稳定,但对偏好数据质量很敏感,GRPO 这类在推理任务上靠组内相对优势省掉 critic,结合可验证奖励(数学、代码能自动判对错)效果很香。我的体感是:通用对话 DPO 性价比高,带可验证奖励的推理任务上 GRPO 类方法更强。大家在生产里现在主用哪套?偏好数据是人工标还是用更强的模型当裁判?