注意機構の混合（MoAS）：Transformerの効率向上のためにMHA、GQA、MQA間を動的にルーティング

この論文では、Transformerモデルにおいて、各トークンに対して最適な注意機構（MHA、GQA、またはMQA）を動的に選択する新しいアプローチである注意機構の混合（MoAS）を紹介しています。これは、モデルの品質と推論効率の間のトレードオフに対処するもので、MHAは高品質を提供するものの、大きなKVキャッシュ要件に悩まされ、GQAとMQAはより効率的ですが、パフォーマンスが低下する可能性があります。主な革新は、最適なスキームを動的に選択する学習されたルーターであり、静的な平均化よりも優れています。WikiText-2での実験結果は、動的ルーティングの有効性を検証しています。コードの可用性は、再現性とこの分野でのさらなる研究を促進します。この研究は、リソースが制約された環境向けにTransformerモデルを最適化し、パフォーマンスを犠牲にすることなく全体的な効率を向上させるために重要です。

• •MoASは、各トークンに最適な注意機構（MHA、GQA、MQA）を動的に選択します。
• •動的ルーティングは、注意機構の静的平均化よりも優れています。
• •MoASは、条件付き計算効率の可能性を備えたMHAに匹敵するパフォーマンスを実現します。