基于动态分辨率输入策略和多尺度视觉-语言对齐机制的遥感图像多模态解释

本文解决了多模态遥感图像分析中效率和语义理解的挑战。它引入了一个新颖的视觉-语言模型（VLM）框架，具有两个关键创新：用于自适应资源分配的动态分辨率输入策略（DRIS）和用于改进语义一致性的多尺度视觉-语言对齐机制（MS-VLAM）。所提出的方法旨在提高图像字幕和跨模态检索等任务的准确性和效率，为智能遥感提供了有希望的方向。

• •提出了一个用于多模态遥感的新的VLM框架。
• •引入DRIS进行自适应资源分配，平衡效率和细节。
• •采用MS-VLAM来捕获跨模态语义一致性，涵盖多个尺度。
• •在图像字幕和跨模态检索中展示了改进的性能。
• •提供了一种构建高效且稳健的多模态遥感系统的新方法。