ResponseRank：選好の強さを学習するRLHF

この論文は、人間からのフィードバックによる強化学習（RLHF）の効率性と堅牢性を向上させる新しい手法であるResponseRankを紹介しています。二元的な選好フィードバックの限界に対処し、応答時間やアノテーターの一致などのノイズの多い信号から選好の強さを推測します。主な貢献は、これらの信号の相対的な差を利用して応答をランク付けする手法であり、より効果的な報酬モデリングとさまざまなタスクでのパフォーマンスの向上につながります。データ効率と堅牢性に焦点を当てていることは、大規模言語モデルのトレーニングにおいて特に重要です。

• •RLHFにおけるノイズの多い信号から選好の強さを学習するための手法、ResponseRankを提案。
• •プロキシ信号（応答時間、アノテーターの一致）の相対的な差を使用して応答をランク付け。
• •合成タスク、言語モデリング、RL制御タスク全体で、サンプル効率と堅牢性の向上を実証。
• •ユーティリティ学習を評価するためのPearson Distance Correlation（PDC）メトリックを導入。