LiveTalk：通过改进的在线策略蒸馏实现实时交互式视频生成

本文解决了实时交互式视频生成的挑战，这是构建通用多模态AI系统的关键。它侧重于改进在线策略蒸馏技术，以克服现有方法的局限性，特别是在处理多模态条件（文本、图像、音频）时。这项研究意义重大，因为它旨在弥合计算成本高的扩散模型与对实时交互的需求之间的差距，从而实现更自然、更有效的人工智能交互。本文侧重于提高条件输入质量和优化计划，是关键贡献。

• •提出了LiveTalk，一个实时的多模态交互式虚拟化身系统。
• •改进了在线策略蒸馏，以在多模态条件下获得更好的性能。
• •与基线模型相比，显著降低了推理成本和延迟。
• •在多轮视频连贯性和内容质量方面优于最先进的模型。