RainFusion2.0：ビデオと画像生成のためのハードウェア効率の高いスパースアテンション

この論文は、ビデオと画像生成におけるDiffusion Transformer (DiT)モデルの計算上のボトルネック、特にアテンションメカニズムのコストの高さに対処しています。 RainFusion2.0という、効率性とハードウェアの汎用性を目的とした新しいスパースアテンションメカニズムを提案しています。主な革新は、オンライン適応型アプローチ、低オーバーヘッド、および時空間認識にあり、GPU以外のさまざまなハードウェアプラットフォームに適しています。この論文の重要性は、生成モデルを加速し、さまざまなデバイスへの適用範囲を広げる可能性にあります。

• •ビデオと画像生成を高速化するためのスパースアテンションメカニズムであるRainFusion2.0を提案。
• •オーバーヘッドとハードウェアの汎用性の欠如を含む、既存のスパースアテンション方法の制限に対処。
• •ブロックごとの平均値、時空間認識トークン置換、および最初のフレームシンクメカニズムを採用。
• •ビデオ品質を犠牲にすることなく、高いスパース性（80％）で大幅な高速化（1.5〜1.8倍）を達成。
• •さまざまな生成モデルとハードウェアプラットフォームで有効性を実証。