基于流式扩散模型的实时交互式人类化身

本文解决了创建实时交互式人类化身的挑战，这是数字人类研究中的一个关键领域。它解决了现有基于扩散的方法的局限性，这些方法计算成本高昂且不适合流式传输，以及当前交互式方法的范围受限的问题。所提出的两阶段框架，结合了自回归适应和加速，以及诸如 Reference Sink 和 Consistency-Aware Discriminator 等新组件，旨在实时生成具有自然手势和行为的高保真度化身。本文的重要性在于它有可能实现更具吸引力和更逼真的数字人类交互。

• •解决了现有基于扩散的化身生成方法在实时应用中的局限性。
• •提出了一个用于高效和高质量化身生成的新型两阶段框架。
• •引入了 Reference Sink 和 Consistency-Aware Discriminator 等关键组件以确保稳定性和一致性。
• •在生成质量、实时效率和交互自然度方面实现了最先进的性能。