大型语言模型中推理行为的无监督发现

本文介绍了一种无监督方法 (RISE)，用于分析和控制大型语言模型 (LLM) 中的推理行为。它超越了人类定义的概念，通过使用稀疏自编码器来发现激活空间内可解释的推理向量。识别和操纵这些向量的能力允许在不重新训练模型的情况下控制特定的推理行为，例如反思和置信度。这非常重要，因为它提供了一种理解和影响 LLM 内部推理过程的新方法，可能导致更可控和可靠的 AI 系统。

• •提出了一个无监督框架 (RISE)，用于发现 LLM 中的推理向量。
• •RISE 使用稀疏自编码器来识别可解释的推理行为。
• •无需重新训练即可控制特定的推理行为（例如，反思、置信度）。
• •发现了超越人类监督的新型推理行为。