SWAN: 圧縮不要なKVキャッシュ圧縮によるLLM推論メモリ削減

本研究は、KVキャッシュを圧縮することにより、推論中の大規模言語モデルのメモリフットプリントを削減する新しい方法であるSWANを検討しています。非圧縮アプローチは、特にリソースが限られたデバイスでのLLMのより効率的な展開を可能にするための重要な一歩です。