LLMにおけるベイズ推論のための幾何学的構造
Research Paper#LLMs, Bayesian Inference, Geometry🔬 Research|分析: 2026年1月3日 16:27•
公開: 2025年12月27日 05:29
•1分で読める
•ArXiv分析
本論文は、最新のLLM（Pythia、Phi-2、Llama-3、Mistral）の幾何学的特性を調査し、正確なベイズ推論を実行するより小さな制御されたモデルで観察されたものと同様の幾何学的基盤の証拠を発見しました。これは、複雑なLLMでさえ、不確実性の表現と近似ベイズ更新に幾何学的構造を利用していることを示唆しています。エントロピーに関連する特定の軸に対する研究の介入は、この幾何学の役割に関する洞察を提供し、それが単一の計算上のボトルネックではなく、不確実性の特権的な読み出しであることを明らかにしています。