MLLM作为导航代理：诊断框架

本文介绍了VLN-MME，一个用于评估多模态大型语言模型（MLLMs）作为视觉语言导航（VLN）任务中的具身智能体的框架。这项工作意义重大，因为它提供了一个标准化的基准，用于评估MLLMs在多轮对话、空间推理和序列动作预测方面的能力，而这些是其性能尚未充分探索的领域。模块化设计允许轻松比较和消融研究，涵盖不同的MLLM架构和智能体设计。研究发现，Chain-of-Thought推理和自我反思可能会降低性能，这突出了MLLMs在具身导航中上下文感知和3D空间推理方面的关键局限性。

• •VLN-MME为评估MLLMs在具身导航中的表现提供了标准化的基准。
• •该框架允许模块化设计，并易于比较不同的MLLM架构。
• •CoT和自我反思可能会对MLLM在导航中的性能产生负面影响，突出了上下文感知和空间推理的局限性。