用于音视频生成的统一AI导演

本文介绍了UniMAGE，一个用于AI驱动视频创作的全新框架，它统一了剧本草拟和关键镜头设计。它通过在单个模型中整合逻辑推理和想象力来解决现有系统的局限性。“先交错，后解耦”的训练范式和Mixture-of-Transformers架构是关键创新。本文的重要性在于它有可能使非专家能够创作长上下文、多镜头电影，并展示了最先进的性能。

• •提出了UniMAGE，一个用于脚本和关键帧生成的统一模型。
• •采用了Mixture-of-Transformers架构。
• •引入了“先交错，后解耦”的训练范式。
• •旨在赋能非专家创作视频。
• •实现了最先进的性能。