マスク拡散言語モデルのアクティベーション・ステアリング

この論文は、推論時にマスク拡散言語モデル（MDLM）の出力を制御および誘導する新しい方法を紹介しています。重要な革新は、単一のフォワードパスから計算されたアクティベーション・ステアリング・ベクトルを使用することであり、効率的です。これは、有望性を示しているものの、効果的な制御メカニズムを欠いているMDLMの現在の理解におけるギャップに対処しています。この研究は属性変調に焦点を当て、LLaDA-8B-Instructでの実験的検証を提供し、提案されたフレームワークの実用的な適用可能性を示しています。

• •MDLMのアクティベーション・ステアリング・フレームワークを提案。
• •単一のフォワードパスから効率的にステアリングベクトルを計算。
• •推論時の制御と属性変調を可能にする。
• •LLaDA-8B-Instructで検証済み。