SWE-RM：ソフトウェアエンジニアリングエージェントのための実行不要なフィードバック

この論文は、ソフトウェアエンジニアリングエージェントのトレーニングにおける実行ベースのフィードバック（ユニットテストなど）の限界に対処しています。特に強化学習（RL）において、よりきめ細かいフィードバックの必要性を強調し、実行不要な報酬モデルであるSWE-RMを紹介しています。この論文の重要性は、分類精度やキャリブレーションなど、堅牢な報酬モデルのトレーニングに不可欠な要因を探求し、テスト時間スケーリング（TTS）とRLタスクの両方で改善されたパフォーマンスを実証している点にあります。これは、ソフトウェアエンジニアリングタスクをより効果的に解決できるエージェントをトレーニングするための新しいアプローチを提供するため、重要です。

• •報酬モデルによる実行不要なフィードバックは、SWEエージェントのトレーニングにおいて、実行ベースのフィードバックに代わる有望な代替手段です。
• •この論文は、RLにおける堅牢な報酬モデルのトレーニングにとって、分類精度とキャリブレーションが不可欠な側面であることを特定しています。
• •混合エキスパートモデルであるSWE-RMは、SWE-Bench Verifiedで最先端のパフォーマンスを達成しています。
• •この研究は、効果的な報酬モデルをトレーニングするための、トレーニングデータの規模、ポリシーの混合、データソースの構成などの要因に関する洞察を提供します。