Scene-VLM：基于视觉语言模型的视频场景分割

本文介绍了Scene-VLM，一种使用微调视觉语言模型进行视频场景分割的新方法。它通过结合多模态线索（帧、转录、元数据）、实现顺序推理和提供可解释性，解决了现有方法的局限性。该模型生成自然语言推理的能力以及在基准测试中达到最先进的性能，突显了其重要性。

• •Scene-VLM是第一个用于视频场景分割的微调视觉语言模型。
• •它利用多模态线索（帧、转录、元数据）来改进场景理解。
• •该模型通过自然语言推理实现顺序推理并提供可解释性。
• •Scene-VLM在标准的场景分割基准测试中取得了最先进的性能。