ファインチューニングされた言語モデルによる脆弱性修復の再考

本論文は、ファインチューニングされた言語モデルを用いた自動脆弱性修復（AVR）の限界を調査しています。過学習、相互に排他的でないデータセット分割、およびマッチベースの評価指標の不適切さを指摘しています。この研究の重要性は、現在のAVR技術に対する批判的な評価と、評価とモデルの能力の理解を深めるための新しいベンチマーク（L-AVRBench）の提案にあります。

• •現在のAVRモデルは、トレーニングデータに過学習する可能性があります。
• •既存の評価方法は、データセットの重複により誤解を招く可能性があります。
• •マッチベースの指標は、修復能力を正確に反映していない可能性があります。
• •本論文は、改善された評価のための新しいベンチマーク（L-AVRBench）を導入しています。