通过保真度优化的扩散Transformer加速

本文解决了图像和视频生成中扩散Transformer (DiT) 推理速度慢的问题。它引入了一个名为 CEM (累积误差最小化) 的新颖的保真度优化插件，以提高现有加速方法的性能。CEM 旨在最小化去噪过程中的累积误差，从而提高生成保真度。该方法与模型无关，易于集成，并且在各种模型和任务中表现出强大的泛化能力。结果表明，生成质量得到了显着提高，在某些情况下甚至优于原始模型。

• •提出了 CEM，一种用于加速扩散 Transformer 的新颖的保真度优化插件。
• •CEM 在去噪过程中最小化累积误差以提高生成保真度。
• •与模型无关，易于集成到现有的加速方法中。
• •在各种模型和任务中展示了生成质量的显着提高。
• •在某些情况下，优于原始模型。