長文コンテキストのためのエンドツーエンドテスト時学習

本論文は、長文コンテキストの言語モデリングを継続学習問題として捉える新しいアプローチを提案しています。中核となるアイデアは、スライディングウィンドウアテンションを備えた標準的なTransformerアーキテクチャを使用し、次のトークン予測を通じてテスト時にモデルが学習できるようにすることです。このエンドツーエンドテスト時学習（TTT-E2E）アプローチは、初期化を改善するためのメタ学習と組み合わせることで、フルアテンションと同等の性能を維持しながら、一定の推論レイテンシを維持するという印象的なスケーリング特性を示しています。これは、効果的にスケーリングできないMambaやGated DeltaNetなどの既存の長文コンテキストモデルの限界に対処する上で重要な進歩です。一定の推論レイテンシは重要な利点であり、長いコンテキストに対してフルアテンションよりも高速です。