SWAN: 圧縮不要なKVキャッシュ圧縮によるLLM推論メモリ削減

本研究は、KVキャッシュを圧縮することにより、推論中の大規模言語モデルのメモリフットプリントを削減する新しい方法であるSWANを検討しています。非圧縮アプローチは、特にリソースが限られたデバイスでのLLMのより効率的な展開を可能にするための重要な一歩です。

• •SWANはLLM推論中のメモリ使用量を最適化します。
• •この方法は、解凍不要なKVキャッシュ圧縮戦略を採用しています。
• •これにより、LLMのより効率的な展開が可能になる可能性があります。