MLLMにおけるクロスモーダルな不整合

この研究は、マルチモーダル大規模言語モデル（MLLM）の重要な脆弱性を明らかにし、異なる入力モダリティ間での回答の不整合を明らかにしています。この研究は、MLLMの堅牢で信頼性の高いパフォーマンスを確保するための、改善されたトレーニングと評価戦略の必要性を強調しています。