DreamOmni3：基于涂鸦的编辑和生成

本文介绍了 DreamOmni3，一个利用涂鸦、文本提示和图像进行图像编辑和生成的模型。它通过结合用户绘制的草图来解决仅文本提示的局限性，从而更精确地控制编辑。本文的重要性在于其数据创建和框架设计的新颖方法，特别是处理涉及多个输入的联合输入方案。提出的基准测试以及模型和代码的公开也对推进该领域的研究至关重要。

• •DreamOmni3 使用涂鸦、文本和图像实现灵活的图像编辑和生成。
• •它引入了一种新的联合输入方案来处理复杂的编辑。
• •本文定义了几个基于涂鸦的编辑和生成任务。
• •建立了全面的基准测试以促进进一步的研究。
• •模型和代码将公开发布。