Encyclo-K：LLM評価のための新しいベンチマーク

この論文は、大規模言語モデル（LLM）を評価するための新しいベンチマークであるEncyclo-Kを紹介しています。既存のベンチマークの限界に対処するため、知識ステートメントをコアユニットとして使用し、そこから動的に質問を構成します。このアプローチは、データ汚染に対する堅牢性の向上、複数知識の理解の評価、および注釈コストの削減を目的としています。結果は、高度なLLMでさえベンチマークに苦戦しており、モデルのパフォーマンスを挑戦し、区別する上での有効性を強調しています。

• •Encyclo-Kは、LLM向けのステートメントベースのベンチマークです。
• •既存の質問ベースのベンチマークの限界に対処します。
• •質問は知識ステートメントから動的に構成されます。
• •データ汚染と注釈コストに対する脆弱性を軽減します。
• •LLMの挑戦的で差別的な評価を提供します。