我们能否使用当前的机械解释工具来解释潜在推理？

本文报道了一项研究，该研究探讨了语言模型中潜在推理的可解释性。该研究使用标准的机械可解释性技术来分析一个经过数学任务训练的模型。主要发现是中间计算存储在特定的潜在向量中，并且可以通过修补和logit lens来识别，尽管并非完美。这项研究表明，将LLM可解释性技术应用于潜在推理模型是一个有前景的方向。

• •该研究调查了语言模型中潜在推理的可解释性。
• •中间计算存储在特定的潜在向量中。
• •使用了修补和logit lens等机械可解释性技术。
• •这些发现表明，将LLM可解释性技术应用于潜在推理模型是一个有前景的方向。