通过反事实视频生成驯服视频理解中的幻觉

本文解决了多模态大型语言模型（MLLMs）中的一个关键问题：视频理解中的视觉幻觉，尤其是在反事实场景中。作者提出了一个新颖的框架DualityForge，用于合成反事实视频数据，以及一个训练方案DNA-Train，以减轻这些幻觉。该方法意义重大，因为它解决了数据不平衡问题，并提供了一种生成高质量训练数据的方法，从而提高了在幻觉和通用基准测试中的性能。数据集和代码的开源进一步增强了这项工作的影响。

• •解决了MLLMs在视频理解中出现视觉幻觉的问题。
• •介绍了DualityForge，一个用于合成反事实视频数据的框架。
• •提出了DNA-Train，一种减少幻觉的训练方案。
• •在幻觉和通用基准测试中表现出显著的改进。
• •开源数据集和代码，以实现更广泛的访问。