SWAN：用于减少推理内存的稀疏筛选注意力机制，无需解压缩KV缓存

这项研究探索了一种名为SWAN的新方法，通过压缩KV缓存来减少大型语言模型在推理过程中的内存占用。这种无需解压缩的方法是实现更有效部署 LLM 的重要一步，尤其是在资源受限的设备上。

• •SWAN优化了LLM推理期间的内存使用。
• •该方法采用了无需解压缩的KV缓存压缩策略。
• •这可能使LLM能够更有效地部署。