SWAN：用于减少推理内存的稀疏筛选注意力机制，无需解压缩KV缓存

这项研究探索了一种名为SWAN的新方法，通过压缩KV缓存来减少大型语言模型在推理过程中的内存占用。这种无需解压缩的方法是实现更有效部署 LLM 的重要一步，尤其是在资源受限的设备上。