LLMにおける推論行動の教師なし発見

この論文は、大規模言語モデル（LLM）における推論行動を分析し制御するための教師なし手法（RISE）を紹介しています。人間の定義した概念を超え、スパースオートエンコーダを使用して、活性化空間内の解釈可能な推論ベクトルを発見します。これらのベクトルを特定し操作できることで、モデルを再訓練することなく、反省や自信などの特定の推論行動を制御できます。これは、LLMの内部推論プロセスを理解し、影響を与えるための新しいアプローチを提供し、より制御可能で信頼性の高いAIシステムにつながる可能性があるため、重要です。

• •LLMにおける推論ベクトルを発見するための教師なしフレームワーク（RISE）を提案。
• •RISEは、解釈可能な推論行動を特定するためにスパースオートエンコーダを使用。
• •再訓練なしに、特定の推論行動（例：反省、自信）を制御可能にする。
• •人間の監督を超えた新しい推論行動を発見。