M2G-Eval: マルチ粒度コード生成評価のためのベンチマーク

この論文は、LLMのコード生成能力を評価するための新しいベンチマークであるM2G-Evalを紹介しています。M2G-Evalは、クラス、関数、ブロック、行の4つの粒度と18のプログラミング言語にわたって評価を行います。これは、単一の粒度と限られた言語に焦点を当てることが多い既存のベンチマークにおける大きなギャップに対処しています。マルチ粒度のアプローチにより、モデルの強みと弱みをより詳細に理解できます。人間が注釈を付けたテストインスタンスと汚染制御の組み込みは、評価の信頼性をさらに高めます。この論文の発見は、粒度間のパフォーマンスの違い、言語固有のバリエーション、および言語間の相関関係を浮き彫りにし、今後の研究とモデル開発に貴重な洞察を提供します。

• •M2G-Evalは、複数の粒度と言語にわたるLLMのコード生成を評価するための新しいベンチマークです。
• •このベンチマークは、さまざまなコードスコープ間のパフォーマンスの違いを明らかにします。
• •この研究は、複雑で長形式のコードを生成することの課題を浮き彫りにしています。
• •この発見は、モデルが転送可能なプログラミング概念を学習することを示唆しています。