ByteLoom: 生成逼真的人-物交互视频

这篇论文解决了生成逼真的人-物交互（HOI）视频的挑战，这是数字人类和机器人等应用的关键领域。主要贡献是用于保持物体几何一致性的RCM缓存机制，以及用于处理数据稀缺性和减少对手部详细注释依赖的渐进式课程学习方法。 专注于几何一致性和简化的条件设置是迈向更实用和稳健的HOI视频生成的重要一步。

• •提出了ByteLoom，一个基于DiT的HOI视频生成框架。
• •引入了RCM缓存机制以保持物体几何一致性。
• •采用渐进式课程学习方法来解决数据稀缺性并减少对手部网格注释的依赖。
• •专注于生成具有几何一致性物体插图和流畅运动的视频。