DPAR：効率的な自己回帰型画像生成のための動的パッチ化

この論文は、自己回帰型画像生成の効率を向上させる新しいアプローチであるDPARを紹介しています。固定長トークン化の計算量とメモリの制限に対処するため、画像トークンを可変サイズのパッチに動的に集約します。中核的な革新は、次のトークン予測エントロピーを使用してトークンのマージをガイドすることにあり、これにより、トークン数の削減、FLOPsの削減、収束の高速化、およびベースラインモデルと比較してFIDスコアの改善が実現します。これは、自己回帰モデルをより高い解像度にスケーリングし、生成された画像の品質を向上させる可能性を提供する点で重要です。

• •DPARは、効率的な自己回帰型画像生成のために、画像トークンを可変サイズのパッチに動的に集約します。
• •次のトークン予測エントロピーを使用してトークンのマージをガイドします。
• •DPARは、トークン数を削減し、FLOPsを削減し、ベースラインと比較してFIDスコアを向上させます。
• •この方法は、マルチモーダル生成フレームワークと互換性があります。