LLM 生成代码可复现性研究

本文探讨了关于 AI 生成代码可靠性的关键问题。它研究了由 LLM 生成的代码的可复现性，这是软件开发的关键因素。该研究侧重于依赖管理，并引入了三层框架，为评估 LLM 生成代码的实际可用性提供了有价值的方法。研究结果突出了在实现可复现结果方面存在的重大挑战，强调了改进 LLM 编码代理和依赖处理的必要性。

• •由于依赖问题，LLM 生成的代码通常无法可复现地执行。
• •不同编程语言的可复现性存在显着差异。
• •LLM 经常遗漏或错误管理依赖关系，导致隐藏的依赖关系。
• •该研究提供了一个用于评估 LLM 生成代码可复现性的框架。