LLM中用于贝叶斯推断的几何结构
Research Paper#LLMs, Bayesian Inference, Geometry🔬 Research|分析: 2026年1月3日 16:27•
发布: 2025年12月27日 05:29
•1分で読める
•ArXiv分析
本文研究了现代LLM（Pythia、Phi-2、Llama-3、Mistral）的几何特性，并发现了与在执行精确贝叶斯推断的较小、受控模型中观察到的几何基础相似的证据。这表明，即使是复杂的LLM，也会利用几何结构进行不确定性表示和近似贝叶斯更新。该研究对与熵相关的特定轴的干预提供了对这种几何结构作用的见解，揭示了它是一种特权的不确定性读出，而不是一个单一的计算瓶颈。