在LLM-as-a-Judge的全盛时期，为什么我们还在训练“奖励模型”？
分析
这篇文章讨论了在LLM-as-a-Judge技术取得进展的情况下，在基于人类反馈的强化学习（RLHF）中，训练独立的奖励模型（RM）的持续相关性，使用了如Gemini Pro和GPT-4等模型。文章强调了在考虑到强大LLM的评估能力的情况下，训练RM是否仍然必要的问题。文章暗示，在实际的RL训练中，独立的奖励模型仍然很重要。
要点
引用
““既然Gemini Pro的评估能力很高，是否需要通过繁琐的数据清洗和参数调整来训练独立的奖励模型（RM）？直接让LLM决定奖励不是更好吗？””