再帰的言語モデルによる長文コンテキスト処理

Research Paper#Large Language Models (LLMs), Long Context, Recursive Processing🔬 Research|分析: 2026年1月3日 08:53
公開: 2025年12月31日 03:43
1分で読める
ArXiv

分析

この論文は、長文プロンプトを処理するLLMの限界を克服するための新しい推論戦略として、再帰的言語モデル(RLM)を紹介しています。その核心は、LLMが長い入力を再帰的に処理し、分解できるようにすることで、コンテキストウィンドウを効果的に拡張することです。その重要性は、より大きなモデルや大幅なコスト増なしに、長文コンテキストタスクのパフォーマンスを劇的に向上させる可能性にあります。結果は、ベースLLMおよび既存の長文コンテキスト手法を大幅に上回る改善を示しています。
引用・出典
原文を見る
"RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds."
A
ArXiv2025年12月31日 03:43
* 著作権法第32条に基づく適法な引用です。