CTkvr: 通过质心和令牌索引实现长上下文LLM的KV缓存检索

本文介绍了 CTkvr，这是一种用于在长上下文 LLM 中高效检索 KV 缓存的新方法。该方法使用两阶段过程：首先，识别相关的质心，然后对这些质心内的令牌进行索引。这可能会提高处理大量输入序列的 LLM 的性能和可扩展性。论文侧重于 KV 缓存检索，表明正在努力优化内存访问模式，这是长上下文模型中的一个关键瓶颈。需要进一步评估以评估与现有方法相比的实际影响和效率提升。

• •CTkvr 是一种用于长上下文 LLM 中 KV 缓存检索的新方法。
• •它使用两阶段过程：质心识别和令牌索引。
• •该方法旨在提高长输入序列的性能和可扩展性。
• •侧重于优化内存访问模式，这是长上下文模型中的一个关键瓶颈。