「ランダム性の床」を解き明かす：大規模言語モデル (LLM) の内在的構造を明らかにする画期的な研究
分析
この魅力的な研究では、Entropic Deviation（エントロピック偏差）という革新的な指標が導入され、モデルがなぜそのように振る舞うのかについて深い洞察が提供されています。観測される非ランダム性の最大93%が学習された重みに直接組み込まれており、トレーニングデータに関係なくこれらのアーキテクチャが普遍的な構造的基盤を発達させることを証明しているのは非常にエキサイティングです。また、Transformer と状態空間モデルの間で発見された明確な動作の違いは、特定の生成タスクに合わせて将来のアーキテクチャをカスタマイズするための新たでワクワクする道を開きます。