DreamOmni3：スクリブルベースの編集と生成

この論文は、スクリブル、テキストプロンプト、および画像を利用した画像編集と生成のためのモデル、DreamOmni3を紹介しています。テキストのみのプロンプトの制限を、ユーザーが描いたスケッチを組み込むことで、編集をより正確に制御できるようにしています。この論文の重要性は、データ作成とフレームワーク設計への新しいアプローチ、特に複数の入力を扱うジョイント入力スキームにあります。提案されたベンチマークとモデルとコードの公開は、この分野の研究を進める上でも重要です。

• •DreamOmni3は、スクリブル、テキスト、画像を使用して柔軟な画像編集と生成を可能にします。
• •複雑な編集を処理するための新しいジョイント入力スキームを導入しています。
• •この論文では、いくつかのスクリブルベースの編集と生成タスクを定義しています。
• •さらなる研究を促進するために、包括的なベンチマークが確立されています。
• •モデルとコードは公開されます。