Llama-3における幅剪定：事実知識の削減による指示追従の強化

この論文は、最大絶対重み（MAW）基準によってガイドされる幅剪定が、事実知識を必要とするタスクのパフォーマンスを低下させながら、指示追従能力を選択的に向上させることを実証することにより、モデル剪定の一般的な理解に異議を唱えています。これは、剪定が知識をトレードオフして、改善されたアライメントと真実性を実現するために使用できることを示唆しており、モデルの最適化とアライメントに関する新しい視点を提供しています。

• •MAWによってガイドされる幅剪定は、知識が低下し、指示追従が向上するという二分法を明らかにします。
• •拡張率は、認知能力を調整する重要なアーキテクチャパラメータです。
• •事実知識と真実性の間の逆相関が観察されます。
• •剪定された構成はエネルギー効率の向上を提供しますが、単一リクエストのシナリオではレイテンシに影響を与える可能性があります。