语言模型数学推理的Schoenfeld解剖学
分析
本文介绍了一个名为ThinkARM的框架，该框架基于Schoenfeld的情节理论，用于分析大型语言模型（LLM）在数学问题解决中的推理过程。它通过将推理轨迹抽象为诸如分析、探索、实施和验证等功能步骤，从而超越了表面层次的分析。该研究揭示了推理模型和非推理模型之间截然不同的思维动态，突出了探索作为通往正确性的分支步骤的重要性。此外，它表明LLM中以效率为导向的方法可以选择性地抑制评估性反馈，从而影响推理的质量。这种情节级别的表示提供了一种系统的方法来理解和提高LLM的推理能力。