LVLDrive：利用3D空间理解增强自动驾驶

本文解决了自动驾驶中视觉语言模型（VLMs）的一个关键限制：它们对2D图像线索进行空间推理的依赖。 通过整合LiDAR数据，提出的LVLDrive框架旨在提高驾驶决策的准确性和可靠性。 使用Gradual Fusion Q-Former来减轻对预训练VLMs的干扰，以及开发空间感知问答数据集是关键贡献。 本文对3D度量数据的关注突出了构建值得信赖的基于VLM的自主系统的重要方向。

• •LVLDrive将LiDAR数据与视觉语言模型相结合，以改善自动驾驶的3D空间理解。
• •使用Gradual Fusion Q-Former来集成LiDAR特征，而不会干扰预训练的VLMs。
• •开发了一个空间感知问答数据集，以增强3D感知和推理能力。
• •该框架在驾驶基准测试中表现出优于仅视觉方法的效果。