代码LLM中的局部校准不确定性

本文解决了代码生成中LLM输出可靠性的关键问题。通过提供识别潜在问题代码段的方法，它直接支持了LLM在软件开发中的实际应用。 关注校准的不确定性对于使开发人员能够信任和有效地编辑LLM生成的代码至关重要。 对白盒和黑盒方法的比较为实现此目标的不同策略提供了宝贵的见解。 本文的贡献在于其改进LLM在代码生成方面的可用性和可信度的实用方法，这是迈向更可靠的AI辅助软件开发的重要一步。

• •提出了定位LLM生成的潜在不一致代码的技术。
• •介绍了用于评估的“最小意图对齐补丁”数据集。
• •比较了用于不确定性校准的白盒和黑盒方法。
• •证明了一个小的监督模型可以有效地估计编辑过的行。
• •讨论了泛化性和与AI监督和控制的联系。