KVReviver：基于草图的Token重建的可逆KV缓存压缩

这篇文章介绍了KVReviver，这是一种用于压缩大型语言模型（LLM）中KV缓存的方法。其核心思想是使用基于草图的token重建来实现可逆压缩。这种方法可能旨在减少内存占用并在LLM推理期间提高效率。“基于草图”的使用表明压缩率和重建精度之间存在权衡。“可逆”方面至关重要，允许无损或接近无损地恢复原始数据。

• •KVReviver是一种用于压缩LLM中KV缓存的方法。
• •它使用基于草图的token重建进行可逆压缩。
• •目标是减少内存占用并提高推理效率。