EchoFoley：動画向けイベント中心型サウンド生成

本論文は、動画から音声生成における課題に取り組み、EchoFoleyという新しいタスクを導入し、動画内の効果音を細かく制御することに焦点を当てています。新しいフレームワークEchoVidiaと新しいデータセットEchoFoley-6kを提案し、既存の手法と比較して制御性と知覚品質を向上させています。イベントレベルの制御と階層的なセマンティクスの重視は、この分野への重要な貢献です。

• •イベントレベルと階層的な制御を備えた、動画ベースのサウンド生成のための新しいタスク、EchoFoleyを導入。
• •サウンドイベント中心の生成フレームワーク、EchoVidiaを提案。
• •大規模なベンチマークデータセット、EchoFoley-6kを作成。
• •既存のVT2Aモデルと比較して、制御性と知覚品質の向上を実証。