ネイティブTop-kスパースアテンションの可能性と課題に関する予備研究

この記事は、スパースアテンションに焦点を当て、効率的なTransformerアーキテクチャの調査を示唆しています。予備研究は、パフォーマンスと計算効率のトレードオフをまだ探求中であることを示しています。