SyncAnyone：通过渐进式自修正改进唇同步

本文解决了基于掩模的唇同步方法的局限性，这些方法通常难以处理动态的面部动作、面部结构稳定性和背景一致性。SyncAnyone 提出了一个两阶段的学习框架来克服这些问题。第一阶段侧重于使用基于扩散的视频转换器生成准确的唇部动作。第二阶段通过解决第一阶段引入的伪影来改进模型，从而提高视觉质量、时间连贯性和身份保持。这是人工智能驱动的视频配音领域的一项重大进步。