Nvidia、'テスト時トレーニング'で長文コンテキストLLMに革命：リアルタイムな重み更新

Nvidiaの研究は、アーキテクチャの革新から継続的な学習パラダイムへの移行によって、長文コンテキスト言語モデリングへの新しいアプローチを提案しています。メタ学習とリアルタイムの重み更新を活用したこの方法は、Transformerモデルの性能とスケーラビリティを大幅に向上させ、大規模なコンテキストウィンドウのより効果的な処理を可能にする可能性があります。これが成功すれば、コンテキスト取得の計算負荷を軽減し、モデルの適応性を向上させる可能性があります。

• •Nvidiaのアプローチは、コンテキストウィンドウをトレーニングデータセットとして扱い、リアルタイムのモデル更新を可能にします。
• •この方法は、内部ループのミニ勾配降下と外部ループのメタ学習を組み合わせて使用します。
• •この研究は、長文コンテキスト言語モデルのスケーリング特性の向上に焦点を当てています。