GARDO：拡散モデルにおける報酬ハッキングの防止

この論文は、拡散モデルにおける強化学習における重要な問題である報酬ハッキングに対処しています。GARDOという新しいフレームワークを提案し、不確実なサンプルを選択的に正規化し、参照モデルを適応的に更新し、多様性を促進することでこの問題に取り組みます。この論文の重要性は、テキストから画像へのモデルで生成された画像の品質と多様性を向上させる可能性にあり、これはAI開発の主要分野です。提案された解決策は、既存の方法と比較して、より効率的で効果的なアプローチを提供します。

• •GARDOは、強化学習で訓練された拡散モデルにおける報酬ハッキングを軽減するために設計されたフレームワークです。
• •選択的正規化、適応的な参照モデルの更新、および多様性認識最適化を使用します。
• •このアプローチは、画像の品質、生成の多様性、およびサンプル効率を向上させることを目的としています。
• •実験により、さまざまなプロキシ報酬と評価指標におけるGARDOの有効性が示されています。