MLLMにおけるクロスモーダルな不整合

この研究は、マルチモーダル大規模言語モデル（MLLM）の重要な脆弱性を明らかにし、異なる入力モダリティ間での回答の不整合を明らかにしています。この研究は、MLLMの堅牢で信頼性の高いパフォーマンスを確保するための、改善されたトレーニングと評価戦略の必要性を強調しています。

• •MLLMは、異なる入力タイプに対して不整合な出力を示します。
• •この調査結果は、現在のMLLMのアーキテクチャとトレーニングの限界を示唆しています。
• •クロスモーダルな不一致に対処し、軽減するためのさらなる研究が必要です。