Trellis: 注意モデルにおけるKey-Valueメモリの圧縮学習

本論文は、Transformerにおける二次的な計算量とメモリ制約という重要な問題、特に長文コンテキストのアプリケーションにおける問題を解決しています。Trellisという、Key-Valueキャッシュを動的に圧縮する新しいアーキテクチャを導入することにより、著者は効率性とスケーラビリティを向上させるための実用的な解決策を提案しています。2パス再帰的圧縮メカニズムと、忘れゲートを用いたオンライン勾配降下法の使用は、重要な革新です。シーケンス長が長くなるにつれて性能が向上することは、長文コンテキストタスクにおける大きな可能性を示唆しています。