基于上下文的音频控制视频扩散Transformer

这篇文章来自ArXiv，很可能提出了一种使用音频线索在扩散Transformer框架内控制视频生成的新方法。“上下文”方面表明该模型无需大量再训练即可适应音频输入，这可能使基于声音的实时或动态视频操作成为可能。