分析
本文研究了生成任务对视觉语言模型的影响，特别是在大规模数据下。它挑战了添加生成总能提高理解的常见假设，强调了语义级生成优于像素级生成的重要性。研究结果表明，统一的生成-理解模型表现出优越的数据缩放和利用，并且输入嵌入的自回归是捕获视觉细节的有效方法。
引用
“生成仅在语义级别操作时才能提高理解，即当模型学习在LLM内部自回归高级视觉表示时。”
本文研究了生成任务对视觉语言模型的影响，特别是在大规模数据下。它挑战了添加生成总能提高理解的常见假设，强调了语义级生成优于像素级生成的重要性。研究结果表明，统一的生成-理解模型表现出优越的数据缩放和利用，并且输入嵌入的自回归是捕获视觉细节的有效方法。
“生成仅在语义级别操作时才能提高理解，即当模型学习在LLM内部自回归高级视觉表示时。”