COCONUTの擬似推論：因果的および敵対的分析

本論文は、大規模言語モデル（LLM）におけるChain-of-Continuous-Thought（COCONUT）手法を批判的に検証し、真の推論ではなく、ショートカットとデータセットのアーティファクトに依存していることを明らかにしています。この研究では、ステアリング実験とショートカット実験を用いてCOCONUTの弱点を実証し、COCONUTを、ショートカットへの依存を隠すためのもっともらしいトレースを生成するメカニズムとして位置付けています。これは、明示的なChain-of-Thought（CoT）と比較して、パフォーマンスを維持しながら、効率性と安定性が向上するという主張に異議を唱えています。

• •COCONUTのトークンは、忠実な推論をエンコードするのではなく、解釈不能なプレースホルダーとして機能します。
• •COCONUTはデータセットのアーティファクトを利用し、ベンチマークのパフォーマンスを膨らませます。
• •COCONUTは、ショートカットへの依存を隠す擬似推論メカニズムです。