強化学習を用いた高速拡散モデル

本論文は、強化学習（RL）を蒸留に利用することで、生成AIの一種である拡散モデルを高速化する新しいアプローチを提案しています。固定損失に依存する従来の蒸留方法の代わりに、著者は学生モデルのトレーニングをポリシー最適化問題として捉えています。これにより、学生はより大きく最適化されたノイズ除去ステップを実行できるようになり、より少ないステップと計算リソースで高速な生成が可能になります。このフレームワークのモデルに依存しない性質も大きな利点であり、さまざまな拡散モデルアーキテクチャに適用できます。

• •拡散モデルの強化学習ベースの蒸留フレームワークを提案。
• •蒸留をポリシー最適化問題として扱う。
• •学生モデルがより大きく最適化されたノイズ除去ステップを実行できるようにする。
• •より少ない推論ステップと計算リソースで優れたパフォーマンスを実現。
• •モデルに依存せず、適切な報酬関数を持つ任意の拡散モデルに適用可能。