重新思考微调语言模型在自动漏洞修复中的能力

本文研究了微调语言模型在自动漏洞修复（AVR）中的局限性。它强调了过拟合、非互斥的数据集划分以及基于匹配的评估指标的不足。这项研究的重要性在于它对当前 AVR 技术的批判性评估，以及提出一个新的基准（L-AVRBench）以改进评估和对模型能力的理解。

• •当前的 AVR 模型可能过度拟合训练数据。
• •由于数据集重叠，现有的评估方法可能具有误导性。
• •基于匹配的指标可能无法准确反映修复能力。
• •本文引入了一个新的基准（L-AVRBench）以改进评估。