我们能否使用当前的机械解释工具来解释潜在推理？
分析
本文报道了一项研究，该研究探讨了语言模型中潜在推理的可解释性。该研究使用标准的机械可解释性技术来分析一个经过数学任务训练的模型。主要发现是中间计算存储在特定的潜在向量中，并且可以通过修补和logit lens来识别，尽管并非完美。这项研究表明，将LLM可解释性技术应用于潜在推理模型是一个有前景的方向。
要点
引用 / 来源
查看原文"The study uses standard mechanistic interpretability techniques to analyze a model trained on math tasks. The key findings are that intermediate calculations are stored in specific latent vectors and can be identified through patching and the logit lens, although not perfectly."