SWE-RM：面向软件工程代理的无执行反馈

本文探讨了基于执行的反馈（如单元测试）在训练软件工程代理方面的局限性，尤其是在强化学习（RL）中。它强调了对更细粒度反馈的需求，并介绍了SWE-RM，一个无需执行的奖励模型。本文的重要性在于它探索了对稳健奖励模型训练至关重要的因素，例如分类准确性和校准，并展示了在测试时缩放（TTS）和RL任务上的改进性能。这很重要，因为它提供了一种新的方法来训练能够更有效地解决软件工程任务的代理。

• •通过奖励模型实现的无执行反馈是训练SWE代理的执行反馈的很有前景的替代方案。
• •本文确定了分类准确性和校准是RL中稳健奖励模型训练的关键方面。
• •SWE-RM，一个混合专家模型，在SWE-Bench Verified上实现了最先进的性能。
• •这项研究提供了关于训练有效奖励模型的因素的见解，如训练数据规模、策略混合和数据源构成。