セマンティックな欺瞞：推論モデルが新しい記号を使った単純な足し算に失敗

この研究論文は、新しい記号と誤解を招くようなセマンティックな手がかりが提示された場合に、大規模言語モデル（LLM）が記号推論を実行する際の限界を探求しています。この研究は、LLMが記号の抽象化を維持するのに苦労し、単純な算術タスクであっても、学習されたセマンティックな関連付けに依存することが多いことを明らかにしています。これはLLMにおける重大な脆弱性を浮き彫りにしており、LLMが記号操作を真に「理解」しているのではなく、統計的な相関関係を利用している可能性を示唆しています。この発見は、抽象的な推論とセマンティックなバイアスへの抵抗が重要な意思決定シナリオにおけるLLMの信頼性について懸念を引き起こします。この論文は、推論を改善することを目的としたchain-of-thoughtプロンプトが、意図せずにこれらの統計的相関関係への依存を増幅させ、問題をさらに悪化させる可能性があることを示唆しています。

• •LLMは、誤解を招くセマンティックな手がかりに直面すると、記号の抽象化に苦労する。
• •LLMは、真の記号操作よりも、学習されたセマンティックな関連付けに依存する傾向がある。
• •Chain-of-thoughtプロンプトは、統計的な相関関係への依存を増幅させ、真の推論を妨げる可能性がある。