PackKV: 長いコンテキストLLMのための効率的なKVキャッシュ圧縮

この論文は、PackKVというKVキャッシュ管理フレームワークを導入することにより、大規模言語モデル（LLM）における長いコンテキスト推論のメモリボトルネックに対処しています。主な貢献は、KVキャッシュデータ向けに特別に設計された新しい可逆圧縮技術にあり、高い計算効率と精度を維持しながら、大幅なメモリ削減を実現しています。レイテンシとスループットの両方の最適化に焦点を当て、経験的な検証を行っているため、この論文は分野への貴重な貢献となっています。