3MDiT: 基于文本驱动的同步音视频生成的统一三模态扩散Transformer

这项研究探索了一种使用统一扩散Transformer生成同步音频和视频的新方法，这代表了朝着更逼真和身临其境的AI生成内容迈出的一步。 该研究对三模态架构的关注表明，在从文本提示合成复杂多媒体体验方面可能取得进展。

• •核心技术是统一的三模态扩散Transformer。
• •系统以文本作为输入来生成音频和视频。
• •该论文托管在ArXiv上，表明是早期研究。