大規模言語モデルが英語の長距離構造を明らかにPaper#llm🔬 Research|分析: 2026年1月3日 06:17•公開: 2025年12月31日 16:54•1分で読める•ArXiv分析この論文は、大規模言語モデル（LLM）を用いて英語テキストの長距離依存関係を調査しています。言語構造が主に局所的であるという仮定に異議を唱えているため、重要です。数千文字の距離でも依存関係が存在することを示唆しており、これまで考えられていたよりも複雑で相互接続された構造を示唆しています。これは、言語の理解と、それを処理するモデルの構築に影響を与えます。重要ポイント•LLMは英語テキストの長距離依存関係を明らかにします。•条件付きエントロピーは、最大10,000文字のコンテキスト長で減少します。•長距離構造は、LLMのトレーニング中に徐々に学習されます。•この発見は、LLMと言語の統計物理学モデルを制約します。引用・出典原文を見る"The conditional entropy or code length in many cases continues to decrease with context length at least to $N\sim 10^4$ characters, implying that there are direct dependencies or interactions across these distances."AArXiv2025年12月31日 16:54* 著作権法第32条に基づく適法な引用です。古い記事Xue Guirong of Zhejiang Lab: When AI Starts Doing Scientific Research, I See the Ceiling of Large Language Models | GAIR 2025新しい記事12-factor Agents: Patterns of reliable LLM applications関連分析Paper選択ポリシーを用いた協調型人型ロボット操作2026年1月3日 06:10Paper未ポーズ画像からの即時3Dシーン編集2026年1月3日 06:10Paper将来予測のためのLLMフォアキャスティング2026年1月3日 06:10原文: ArXiv