大型视觉语言模型在微调后难以遵循指令

本文探讨了大型视觉语言模型（LVLM）开发中的一个关键问题：微调后指令遵循能力的下降。它强调了一个重要问题，即模型失去了遵守指令的能力，而这是底层大型语言模型（LLM）的核心功能。这项研究的重要性在于它量化地证明了这种下降，并调查了其原因，特别是微调期间输出格式规范的影响。这项研究为改进LVLM的训练方法提供了宝贵的见解。

• •LVLM 在使用常见数据集进行微调后，通常会失去指令遵循能力。
• •在微调期间指定输出格式可以提高指令遵循能力。
• •在训练数据中包含输出格式指令可以减轻指令遵循能力的下降。