大規模言語モデルとそのベンチマークにおける能力ギャップの発見

本論文では、大規模言語モデル（LLM）の能力ギャップとベンチマークの不均衡を特定するために、スパースオートエンコーダ（SAE）を用いた新しい手法を紹介しています。このアプローチは、SAEの概念活性化を抽出し、顕著性で重み付けされたパフォーマンススコアを計算し、モデルの内部表現に基づいて評価を行います。この研究により、LLMはしばしば追従性とは対照的な概念や安全性に関連する概念においてパフォーマンスが低いことが明らかになり、既存の研究と一致しています。さらに、服従に関連する概念が過剰に表現され、他の関連する概念が欠落しているベンチマークギャップを強調しています。この自動化された教師なし手法は、モデルとベンチマークの両方で改善が必要な領域を特定することにより、LLMの評価と開発を改善するための貴重なツールを提供し、最終的にはより堅牢で信頼性の高いAIシステムにつながります。

• •スパースオートエンコーダは、LLMの能力ギャップを効果的に特定できる。
• •LLMは、安全性や追従に抵抗する概念に苦労することが多い。
• •ベンチマークは、特定の概念を過剰に表現し、カバレッジが不均衡である可能性がある。