TraCT: 基于 CXL 共享内存 KV 缓存的机架规模 LLM 服务

ArXiv 论文 'TraCT' 探讨了使用 CXL 共享内存，在机架规模上对 LLM 服务进行分解和优化的创新方法。这项工作可能解决了部署大型语言模型时固有的可扩展性和成本挑战。

• •利用 CXL 共享内存实现机架规模的 KV 缓存。
• •旨在提高 LLM 服务的效率。
• •解决 LLM 部署中的可扩展性和成本问题。