再帰的言語モデルによる長文コンテキスト処理

この論文は、長文プロンプトを処理するLLMの限界を克服するための新しい推論戦略として、再帰的言語モデル（RLM）を紹介しています。その核心は、LLMが長い入力を再帰的に処理し、分解できるようにすることで、コンテキストウィンドウを効果的に拡張することです。その重要性は、より大きなモデルや大幅なコスト増なしに、長文コンテキストタスクのパフォーマンスを劇的に向上させる可能性にあります。結果は、ベースLLMおよび既存の長文コンテキスト手法を大幅に上回る改善を示しています。

• •RLMは、LLMにおける長いプロンプトを処理するための新しい推論戦略です。
• •RLMは、LLMが長い入力を再帰的に処理し、分解することを可能にします。
• •RLMは、さまざまなタスクにおいて、ベースLLMおよび既存の長文コンテキスト手法を大幅に上回ります。
• •RLMは、モデルのコンテキストウィンドウをはるかに超える入力を処理できます。
• •RLMは、クエリあたりのコストが同等または安価です。