英伟达 KVzap 开源：突破 AI 内存瓶颈，实现惊人压缩！
分析
英伟达发布了 KVzap，这是一种用于修剪 Transformer 模型中 key-value 缓存的全新方法！这项创新技术实现了近乎无损的压缩，大大减少了内存使用，为更大、更强大的 AI 模型铺平了道路。 这是一个令人兴奋的进展，将对 AI 部署的性能和效率产生重大影响！
引用 / 来源
查看原文"As context lengths move into tens and hundreds of thousands of tokens, the key value cache in transformer decoders becomes a primary deployment bottleneck."