言語モデルによる数学的推論のシェーンフェルド解剖学

本論文では、シェーンフェルドのエピソード理論に基づいたフレームワークであるThinkARMを紹介し、大規模言語モデル（LLM）の数学的問題解決における推論プロセスを分析します。推論の痕跡を、分析、探索、実装、検証などの機能的なステップに抽象化することにより、表面的な分析を超えています。この研究は、推論モデルと非推論モデルの間の明確な思考ダイナミクスを明らかにし、正しさへの分岐ステップとしての探索の重要性を強調しています。さらに、LLMにおける効率重視の方法は、評価的フィードバックを選択的に抑制し、推論の質に影響を与える可能性があることを示しています。このエピソードレベルの表現は、LLMの推論能力を理解し、改善するための体系的な方法を提供します。