Scene-VLM：ビジョン言語モデルによるビデオシーンセグメンテーション

本論文は、ファインチューニングされたビジョン言語モデルを用いたビデオシーンセグメンテーションの新しいアプローチであるScene-VLMを紹介しています。既存の手法の限界を、マルチモーダルキュー（フレーム、トランスクリプション、メタデータ）の組み込み、シーケンシャル推論の実現、説明可能性の提供によって克服しています。自然言語による根拠生成能力と、ベンチマークにおける最先端の性能達成は、その重要性を示しています。

• •Scene-VLMは、ビデオシーンセグメンテーションのための最初のファインチューニングされたビジョン言語モデルです。
• •マルチモーダルキュー（フレーム、トランスクリプション、メタデータ）を活用して、シーン理解を向上させています。
• •このモデルは、シーケンシャル推論を可能にし、自然言語による根拠を通じて説明可能性を提供します。
• •Scene-VLMは、標準的なシーンセグメンテーションベンチマークで最先端の性能を達成しています。