SoulX-LiveTalk: 实时音频驱动的虚拟化身

本文介绍了SoulX-LiveTalk，一个用于生成高保真、实时、音频驱动的虚拟化身的140亿参数框架。关键创新是自校正双向蒸馏策略，该策略保持双向注意力以改善运动一致性和视觉细节，以及多步回顾性自校正机制，以防止无限生成期间的错误累积。本文解决了实时虚拟化身生成中计算负载和延迟之间的平衡问题，这是该领域的一个重要问题。实现亚秒级启动延迟和实时吞吐量是一项值得注意的进步。

• •解决了实时、高保真音频驱动的虚拟化身生成的挑战。
• •引入自校正双向蒸馏以改善视觉质量和运动一致性。
• •采用多步回顾性自校正机制以防止错误累积。
• •使用140亿参数模型实现了亚秒级启动延迟和实时吞吐量（32 FPS）。