TWINデータセットによる視覚言語モデルの視覚的知覚能力の向上

この論文は、視覚言語モデル（VLM）の微細な視覚的知覚能力を向上させるために設計された新しいトレーニングデータセットとタスク（TWIN）を紹介しています。その核心は、VLMを、同じオブジェクトの視覚的に類似した画像を区別するように訓練し、微妙な視覚的詳細に注意を払わせることです。この論文は、微細な認識タスクで大幅な改善を示し、これらの改善を定量化するための新しいベンチマーク（FGVQA）を導入しています。この研究は、現在のVLMの主要な制限に対処し、新しいデータセットとトレーニング方法という形で実用的な貢献をしています。

• •VLMの微細な視覚的知覚を改善するための新しいデータセットとタスクであるTWINを紹介。
• •TWINは、同じオブジェクトの視覚的に類似した画像を区別することに焦点を当てています。
• •微細な認識タスクで大幅なパフォーマンス向上を実証。
• •微細な視覚理解を評価するための新しいベンチマークであるFGVQAを紹介。
• •TWINは、既存のVLMトレーニングコーパスに追加できるように設計されています。