PhyAVBench：物理に基づいたオーディオビデオ生成のためのベンチマーク

この論文は、テキストからオーディオビデオ（T2AV）モデルが物理的に妥当な音を生成する能力を評価するために設計された新しいベンチマーク、PhyAVBenchを紹介しています。これは、音の生成の背後にある物理的原理を理解できないことが多い既存のモデルの重要な制限に対処しています。さまざまな次元とシナリオをカバーする、オーディオ物理感度へのベンチマークの焦点は、重要な貢献です。実世界のビデオの使用と厳格な品質管理は、ベンチマークの価値をさらに高めます。この研究は、より挑戦的で現実的な評価フレームワークを提供することにより、T2AVモデルの進歩を促進する可能性があります。

• •PhyAVBenchは、テキストからオーディオビデオ（T2AV）モデルのオーディオ物理グラウンディング能力を評価するための新しいベンチマークです。
• •これは、基礎となる音響条件の変化に対するモデルの感度を評価する、オーディオ物理感度テスト（APST）に焦点を当てています。
• •このベンチマークは、6つのオーディオ物理次元、4つのシナリオ、および50のテストポイントをカバーしています。
• •データ漏洩を最小限に抑え、高品質を確保するために、実世界のビデオと厳格な品質管理を利用しています。