CubeBench: 使用魔方诊断 LLM 空间推理能力

本文探讨了大型语言模型 (LLM) 代理在物理世界应用中面临的一个关键限制：空间推理和长期规划的困难。作者引入了 CubeBench，这是一个使用魔方的新型基准，用于隔离和评估这些认知能力。该基准的三层诊断框架允许对代理能力进行逐步评估，从状态跟踪到部分观察下的主动探索。研究结果突出了现有 LLM 的重大弱点，尤其是在长期规划方面，并提供了一个用于诊断和解决这些限制的框架。这项工作很重要，因为它提供了具体的基准和诊断工具，以改善 LLM 的物理基础。

• •CubeBench 是一个用于评估 LLM 空间推理和长期规划的新型基准。
• •该基准使用魔方来创建一个用于测试的受控环境。
• •实验揭示了现有 LLM 的重大局限性，尤其是在长期规划方面。
• •本文提出了一个诊断框架来识别认知瓶颈。