学习LLM中的动态全局注意力

本文介绍了All-or-Here Attention (AHA)，这是一种大型语言模型 (LLM) 动态决定何时关注全局上下文的方法。这很重要，因为它解决了全注意力计算成本的问题，而全注意力是LLM推理的主要瓶颈。通过使用二元路由器，AHA有效地在局部滑动窗口注意力和全注意力之间切换，减少了对全局上下文的访问需求。研究结果表明，全注意力通常是多余的，并且可以通过按需访问全局上下文来实现高效的推理。这对提高LLM的效率和可扩展性具有重要意义。

• •提出了All-or-Here Attention (AHA) 来动态控制LLM中的全局注意力。
• •AHA使用二元路由器在全注意力和局部注意力之间切换。
• •证明了在不降低性能的情况下，全注意力操作可以显著减少。
• •强调了全注意力的冗余性以及按需访问全局上下文对于高效推理的重要性。