ChiEngMixBench: 生成AIにおけるコードミキシングの理解を深める新たなフロンティア

本研究では、大規模言語モデル (LLM) が人間とLLMのインタラクションにおいてますます一般的になっているコードミキシングをどの程度うまく処理できるかを評価するために設計された画期的なベンチマーク、ChiEngMixBenchが紹介されています。これは、コードミキシングを認知的なアライメント問題としてとらえ、多言語シナリオにおける言語モデルのコンテキストの適切性を評価するための新しい視点を提供しています。

• •ChiEngMixBenchは、中国語と英語のコードミキシングシナリオにおける大規模言語モデル (LLM) のパフォーマンスを評価するためのベンチマークを提供します。
• •このベンチマークは、コードミキシングの2つの重要な側面、つまり自発性と自然さに焦点を当てています。
• •この研究では、Matrix Language Frame (MLF) 理論に沿った「暗黙的に出現する用語レイヤリング戦略」が明らかになりました。