MUSIC：增强多轮奖励模型

本文解决了评估LLM多轮对话的难题，这是LLM开发的关键方面。它强调了现有评估方法的局限性，并提出了一种新的无监督数据增强策略MUSIC，以提高多轮奖励模型的性能。核心贡献在于结合了跨多轮的对比，从而构建了更稳健、更准确的奖励模型。结果表明，与高级LLM评判者的对齐度有所提高，这表明在多轮对话评估方面取得了重大进展。

• •解决了现有多轮对话评估方法的局限性。
• •提出了MUSIC，一种无监督数据增强策略。
• •MUSIC结合了跨多轮的对比。
• •证明了与高级LLM评判者的对齐度有所提高。
• •该方法不会损害单轮基准测试的性能。