RainFusion2.0：用于视频和图像生成的硬件高效稀疏注意力

本文解决了视频和图像生成中扩散Transformer (DiT) 模型的计算瓶颈问题，特别是注意力机制的高成本问题。它提出了 RainFusion2.0，一种为效率和硬件通用性而设计的新型稀疏注意力机制。关键创新在于其在线自适应方法、低开销和时空感知，使其适用于 GPU 之外的各种硬件平台。本文的重要性在于其加速生成模型并扩大其在不同设备上的适用性的潜力。

• •提出了 RainFusion2.0，一种用于加速视频和图像生成的稀疏注意力机制。
• •解决了现有稀疏注意力方法的局限性，包括开销和缺乏硬件通用性。
• •采用基于块的均值、时空感知令牌置换和第一帧汇聚机制。
• •在不牺牲视频质量的情况下，实现了显着的加速（1.5-1.8 倍）和高稀疏性（80%）。
• •证明了其在各种生成模型和硬件平台上的有效性。