EchoFoley：基于事件的视频声音生成

本文解决了视频到音频生成中的局限性，引入了一个新任务EchoFoley，专注于对视频中的音效进行细粒度控制。它提出了一个新框架EchoVidia和一个新数据集EchoFoley-6k，以提高可控性和感知质量，与现有方法相比。 关注事件级控制和分层语义是该领域的重要贡献。

• •引入 EchoFoley，这是一个新的任务，用于具有事件级和分层控制的视频声音生成。
• •提出了一个以声音事件为中心的生成框架 EchoVidia。
• •创建了 EchoFoley-6k，一个大规模的基准数据集。
• •与现有的 VT2A 模型相比，展示了改进的可控性和感知质量。