CXL-SpecKV：用于数据中心LLM服务的解聚合FPGA推测性KV缓存

本文介绍了CXL-SpecKV，一个旨在提高数据中心大型语言模型（LLM）服务性能的系统。它利用了现场可编程门阵列（FPGA）和推测性KV缓存，可能旨在减少延迟并提高吞吐量。CXL（Compute Express Link）的使用表明了尝试在不同组件之间高效连接和共享资源。对解聚合的关注意味着分布式架构，可能提供可扩展性和资源利用方面的优势。这项研究可能侧重于优化LLM工作负载特有的内存访问模式和缓存策略。