大規模データにおける生成が視覚言語理解を向上させる

本論文は、大規模な視覚言語モデルにおける生成タスクの影響を調査しています。生成を追加することが常に理解を向上させるという一般的な仮定に異議を唱え、ピクセルレベルの生成よりもセマンティックレベルの生成の重要性を強調しています。統一された生成理解モデルは、優れたデータスケーリングと利用を示し、入力埋め込みの自己回帰が視覚的な詳細を捉える効果的な方法であることを示唆しています。

• •大規模な視覚言語モデルでは、ピクセルレベルではなく、セマンティックレベルの生成が理解を向上させる。
• •統一された生成理解モデルは、より優れたデータスケーリングと利用を示す。
• •入力埋め込みの自己回帰は、視覚的な詳細を捉えるのに効果的である。