LVLM辅助对齐特定任务视觉模型

本文解决了在部署特定任务视觉模型时的一个关键问题：它们倾向于依赖虚假相关性并表现出脆弱的行为。所提出的LVLM-VA方法通过利用LVLM的泛化能力，提供了一个实用的解决方案，以使这些模型与人类领域知识对齐。这在模型可解释性和鲁棒性至关重要的高风险领域尤为重要。双向界面允许领域专家与模型进行有效交互，从而改善对齐并减少对偏差的依赖。

• •解决了特定任务视觉模型中虚假相关性的问题。
• •提出了LVLM-VA，一种将模型与人类领域知识对齐的方法。
• •利用双向界面进行专家与模型之间的交互。
• •在合成数据集和真实世界数据集上展示了改进的对齐和减少的偏差。