拡散強化学習における嗜好モード崩壊の抑制

この論文は、テキストから画像への拡散モデルを人間の嗜好に合わせる際の重要な問題、すなわち嗜好モード崩壊（PMC）に対処しています。PMCは生成的な多様性の損失につながり、高い報酬スコアにもかかわらず、狭く反復的な出力を生成するモデルをもたらします。著者は、PMCを定量化するための新しいベンチマーク、DivGenBenchを導入し、それを軽減するための新しい方法、Directional Decoupling Alignment (D^2-Align)を提案しています。この研究は、これらのモデルの有用性を制限する実際的な問題に取り組み、有望な解決策を提供しているため、重要です。

• •テキストから画像への拡散モデルにおける嗜好モード崩壊（PMC）を特定し、定量化。
• •PMCを測定するための新しいベンチマーク、DivGenBenchを導入。
• •PMCを軽減するために、Directional Decoupling Alignment (D^2-Align)を提案。
• •D^2-Alignは、多様性を維持しながら、人間の嗜好との整合性を向上させる。