双向感知塑造，提升VLM推理能力

本文解决了当前视觉语言模型（VLMs）在利用细粒度视觉信息和跨领域泛化方面的局限性。提出的双向感知塑造（BiPS）方法旨在通过问题条件下的掩码视图来塑造模型的感知，从而提高VLM的性能。这种方法意义重大，因为它解决了VLMs依赖于纯文本捷径的问题，并促进了对视觉证据更稳健的理解。本文对域外泛化的关注对于实际应用也至关重要。

• •提出双向感知塑造（BiPS）以改善VLM推理。
• •使用问题条件下的掩码视图来塑造感知。
• •解决VLM中纯文本捷径的问题。
• •展示了改进的性能和域外泛化能力。