Trellis: 在注意力模型中学习压缩Key-Value内存
Research Paper#Transformer Architecture, Memory Compression, Long-Context LLMs🔬 Research|分析: 2026年1月3日 16:00•
发布: 2025年12月29日 20:32
•1分で読める
•ArXiv分析
本文解决了Transformer中二次复杂度以及内存限制的关键问题，尤其是在长上下文应用中。通过引入Trellis，一种动态压缩Key-Value缓存的新型架构，作者提出了一个提高效率和可扩展性的实用解决方案。使用两遍循环压缩机制和带有遗忘门的在线梯度下降是关键的创新。实验结果表明，性能增益随着序列长度的增加而增加，这表明其在长上下文任务中具有巨大的潜力。