揭示“意图崩溃”：理解语言模型推理的新方法

本文介绍了一个新颖的概念“意图崩溃”，并提出了量化语言生成过程中信息损失的指标。初步实验虽然规模较小，但为分析语言模型的内部推理过程提供了一个有希望的方向，可能有助于提高模型的可解释性和性能。然而，实验范围的局限性以及指标的模型无关性需要跨多种模型和任务进行进一步验证。

• •介绍了语言模型中“意图崩溃”的概念。
• •提出了三个模型无关的意图指标：Hint、dimeff和Recov。
• •初步实验表明，CoT降低了意图熵并增加了有效维度。