XQuant: 通过重新计算KV缓存，突破LLM推理的内存瓶颈

XQuant提出了一种真正创新的方法来解决大型语言模型 (LLM) 推理中的内存限制！通过战略性地重新计算 Key-Value (KV) 缓存，它承诺实现显着的内存节省，从而有可能为更高效和可访问的 LLM 部署打开大门。 这项巧妙的技术可能会彻底改变我们运行这些强大模型的方式。

• •XQuant 旨在通过重新计算 KV 缓存而不是直接存储它们来减少内存使用。
• •这种方法利用层的输入激活 (X)，与传统的 KV 存储相比，可能会将内存需求减半。
• •该方法还促进了低比特量化，进一步提高了效率。