学习LLM中的动态全局注意力

本文介绍了All-or-Here Attention (AHA)，这是一种大型语言模型 (LLM) 动态决定何时关注全局上下文的方法。这很重要，因为它解决了全注意力计算成本的问题，而全注意力是LLM推理的主要瓶颈。通过使用二元路由器，AHA有效地在局部滑动窗口注意力和全注意力之间切换，减少了对全局上下文的访问需求。研究结果表明，全注意力通常是多余的，并且可以通过按需访问全局上下文来实现高效的推理。这对提高LLM的效率和可扩展性具有重要意义。