反実仮想動画生成による動画理解における幻覚の抑制

本論文は、マルチモーダル大規模言語モデル（MLLM）における重要な問題、特に反事実シナリオにおける動画理解における視覚的幻覚に対処しています。著者は、反事実動画データを合成するための新しいフレームワークDualityForgeと、これらの幻覚を軽減するためのトレーニングレジームDNA-Trainを提案しています。このアプローチは、データ不均衡の問題に対処し、高品質なトレーニングデータを生成する方法を提供し、幻覚と汎用ベンチマークの両方でパフォーマンスを向上させるため、重要です。データセットとコードのオープンソース化は、この研究の影響をさらに高めます。

• •動画理解のためのMLLMにおける視覚的幻覚の問題に対処。
• •反事実動画データを合成するためのフレームワークDualityForgeを紹介。
• •幻覚を軽減するためのトレーニングレジームDNA-Trainを提案。
• •幻覚と汎用ベンチマークの両方で大幅な改善を実証。
• •より広いアクセスを可能にするために、データセットとコードをオープンソース化。