双方向知覚シェーピングによるVLM推論の改善

この論文は、現在のVision-Language Models (VLMs)が、細粒度の視覚情報を利用し、ドメイン間で一般化することの限界に取り組んでいます。提案された双方向知覚シェーピング（BiPS）法は、質問条件付きマスクビューを通じてモデルの知覚を形成することにより、VLMの性能を向上させることを目的としています。このアプローチは、VLMがテキストのみのショートカットに依存するという問題を解決し、視覚的証拠のより堅牢な理解を促進するため、重要です。また、この論文がドメイン外の一般化に焦点を当てていることも、現実世界での適用可能性にとって重要です。

• •VLM推論を改善するために、双方向知覚シェーピング（BiPS）を提案。
• •質問条件付きマスクビューを使用して知覚を形成。
• •VLMにおけるテキストのみのショートカットの問題に対処。
• •パフォーマンスの向上とドメイン外一般化を実証。