M2G-Eval: 用于代码生成评估的多粒度基准

本文介绍了 M2G-Eval，这是一个新的基准，旨在评估 LLM 在多个粒度（类、函数、块、行）和 18 种编程语言中的代码生成能力。 这解决了现有基准中的一个重大差距，现有基准通常侧重于单一粒度和有限的语言。 多粒度方法可以更细致地了解模型的优缺点。 包含人工注释的测试实例和污染控制进一步增强了评估的可靠性。 本文的发现突出了不同粒度之间的性能差异、特定于语言的差异以及跨语言的相关性，为未来的研究和模型开发提供了宝贵的见解。

• •M2G-Eval 是一个用于评估 LLM 在多个粒度和语言中的代码生成的新的基准。
• •该基准揭示了不同代码范围之间的性能差异。
• •该研究突出了生成复杂、长篇代码的挑战。
• •研究结果表明，模型学习可转移的编程概念。