缓解扩散模型中的偏好模式崩溃

本文解决了将文本到图像的扩散模型与人类偏好对齐的关键问题：偏好模式崩溃（PMC）。PMC 导致生成多样性的损失，导致模型产生狭窄、重复的输出，尽管奖励分数很高。作者引入了一个新的基准 DivGenBench 来量化 PMC，并提出了一种新方法 Directional Decoupling Alignment (D^2-Align) 来缓解它。这项工作意义重大，因为它解决了限制这些模型实用性的实际问题，并提供了一个有前景的解决方案。

• •识别并量化文本到图像扩散模型中的偏好模式崩溃 (PMC)。
• •引入 DivGenBench，这是一个用于衡量 PMC 的新基准。
• •提出 Directional Decoupling Alignment (D^2-Align) 来缓解 PMC。
• •D^2-Align 在保持多样性的同时，改善了与人类偏好的对齐。