CoHalLo:代码幻觉的细粒度定位
分析
本文解决了AI生成代码中代码幻觉的关键问题,从粗粒度检测转向行级定位。提出的CoHalLo方法利用隐藏层探测和句法分析来精确定位产生幻觉的代码行。使用探测网络和比较预测抽象语法树(AST)与原始AST是一种新颖的方法。在手动收集的数据集上的评估以及报告的性能指标(Top-1、Top-3等精度、IFA、Recall@1%、Effort@20%)证明了该方法相对于基线的有效性。这项工作意义重大,因为它为开发人员提供了一个更精确的工具来识别和纠正AI生成代码中的错误,从而提高了AI辅助软件开发的可靠性。
引用
“CoHalLo实现了Top-1精度0.4253,Top-3精度0.6149,Top-5精度0.7356,Top-10精度0.8333,IFA 5.73,Recall@1% Effort 0.052721,Effort@20% Recall 0.155269,优于基线方法。”