現在のメカニズム解釈ツールを使用して潜在的な推論を解釈できるか？

この記事は、言語モデルにおける潜在的な推論の解釈可能性を探求する研究について報告しています。この研究では、標準的なメカニズム解釈技術を使用して、数学タスクで訓練されたモデルを分析しています。主な発見は、中間計算が特定の潜在ベクトルに保存され、パッチングとロジットレンズを通じて特定できることですが、完全ではありません。この研究は、LLM解釈技術を潜在的な推論モデルに適用することが有望な方向性であることを示唆しています。

• •この研究は、言語モデルにおける潜在的な推論の解釈可能性を調査しています。
• •中間計算は特定の潜在ベクトルに保存されます。
• •パッチングやロジットレンズなどのメカニズム解釈技術が使用されています。
• •この発見は、LLM解釈技術を潜在的な推論モデルに適用するための有望な方向性を示唆しています。