EVICPRESS: 用于高效LLM服务的联合KV缓存压缩和驱逐

这篇文章可能讨论了一种新的方法（EVICPRESS），用于提高服务大型语言模型（LLM）的效率。它侧重于通过结合压缩和驱逐技术来优化KV缓存，KV缓存是LLM性能的关键组成部分。来源是ArXiv表明这是一篇研究论文，表明了技术重点以及在LLM服务领域做出新贡献的潜力。