STEMVerse: 彻底改变 LLM 在 STEM 推理中的评估

STEMVerse 提出了一个创新的方法来评估大语言模型 (LLM) 在 STEM 领域的熟练程度！ 通过分析模型在学术专业化和认知复杂性方面的表现，这个框架有望更细致地理解 LLM 的能力。 这可能会在评估和改进生成式人工智能的推理技能方面带来重大进展。

• •STEMVerse 引入了一种新的“学科 × 认知”能力空间，用于 LLM 评估。
• •该框架重新聚合了来自现有基准的 20,000 多个 STEM 问题。
• •实证结果揭示了 STEM 推理中的结构性失败模式，这可以为未来的研究提供参考。