大型语言模型揭示英语中的长程结构Paper#llm🔬 Research|分析: 2026年1月3日 06:17•发布: 2025年12月31日 16:54•1分で読める•ArXiv分析本文使用大型语言模型（LLM）研究英语文本中的长程依赖关系。这很重要，因为它挑战了语言结构主要为局部的假设。研究结果表明，即使在数千个字符的距离上，仍然存在依赖关系，这意味着比以前认为的结构更复杂、更相互关联。这对我们理解语言以及构建处理语言的模型具有影响。要点•大型语言模型揭示了英语文本中的长程依赖关系。•条件熵随着上下文长度的增加而减少，最多可达10,000个字符。•长程结构在大型语言模型训练过程中逐渐学习。•研究结果限制了大型语言模型和语言的统计物理学模型。引用 / 来源查看原文"The conditional entropy or code length in many cases continues to decrease with context length at least to $N\sim 10^4$ characters, implying that there are direct dependencies or interactions across these distances."AArXiv2025年12月31日 16:54* 根据版权法第32条进行合法引用。较旧Xue Guirong of Zhejiang Lab: When AI Starts Doing Scientific Research, I See the Ceiling of Large Language Models | GAIR 2025较新12-factor Agents: Patterns of reliable LLM applications相关分析Paper基于选择策略的协调人形机器人操作2026年1月3日 06:10Paper从未对齐图像即时进行3D场景编辑2026年1月3日 06:10Paper用于未来预测的LLM预测2026年1月3日 06:10来源: ArXiv