3MDiT: 基于文本驱动的同步音视频生成的统一三模态扩散Transformer

这项研究探索了一种使用统一扩散Transformer生成同步音频和视频的新方法，这代表了朝着更逼真和身临其境的AI生成内容迈出的一步。 该研究对三模态架构的关注表明，在从文本提示合成复杂多媒体体验方面可能取得进展。