CoTの忠実性に関する疑問：ヒントの言語化を超えて

この論文は、大規模言語モデル（LLM）におけるChain-of-Thought（CoT）の忠実性に関する一般的な理解に異議を唱えています。現在のメトリクスは、ヒントがCoTで明示的に言語化されているかどうかに焦点を当てていますが、不完全さを不忠実さと誤解している可能性があると主張しています。著者は、ヒントが明示的に述べられていない場合でも、モデルの予測に影響を与える可能性があることを示しています。これは、ヒントの言語化だけに基づいてCoTを評価することが不十分であり、因果媒介分析や破損ベースのメトリクスを含む、解釈可能性へのより包括的なアプローチを提唱していることを示唆しています。この論文の重要性は、LLMにおけるCoT推論の内部動作をどのように測定し理解するかを再評価し、モデルの行動をより正確かつ微妙に評価することにつながる可能性にある。

• •現在のメトリクスは、CoTの不完全さを不忠実さと誤解している可能性がある。
• •ヒントは、明示的な言語化なしでも予測に影響を与える可能性がある。
• •因果媒介分析を含む、より広範な解釈可能性ツールキットが必要である。
• •トークン制限は、ヒントの言語化に大きな影響を与える可能性がある。