递归语言模型处理长上下文

Research Paper#Large Language Models (LLMs), Long Context, Recursive Processing🔬 Research|分析: 2026年1月3日 08:53
发布: 2025年12月31日 03:43
1分で読める
ArXiv

分析

本文介绍了递归语言模型(RLMs)作为一种新的推理策略,以克服LLM处理长提示的局限性。核心思想是使LLM能够递归地处理和分解长输入,从而有效地扩展其上下文窗口。其意义在于,有可能在不需要更大模型或显着增加成本的情况下,显着提高长上下文任务的性能。结果表明,RLMs在性能上优于基础LLM和现有的长上下文方法。
引用 / 来源
查看原文
"RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds."
A
ArXiv2025年12月31日 03:43
* 根据版权法第32条进行合法引用。