ChiEngMixBench: 解读生成式人工智能中代码混合的新前沿

这项研究介绍了 ChiEngMixBench，这是一个开创性的基准，旨在评估大型语言模型 (LLM) 如何处理在人与 LLM 交互中日益普遍的代码混合实践。它将代码混合定义为一个认知对齐问题，为评估语言模型在多语言场景中的上下文适当性提供了新颖的视角。

• •ChiEngMixBench 提供了一个基准，用于评估大型语言模型 (LLM) 在中英代码混合场景中的表现。
• •该基准侧重于代码混合的两个关键方面：自发性和自然性。
• •这项研究揭示了一种与矩阵语言框架 (MLF) 理论相符的“隐式出现的术语分层策略”。