大規模言語モデルにおける忘却のためのモデル編集の調査
分析
この論文では、モデルの挙動を修正するために通常使用されるモデル編集技術を、大規模言語モデルにおける機械学習の忘却という問題に適用することを検討しています。既存の編集アルゴリズムであるROME、IKE、WISEが、LLMから不要な情報を削除する際に、全体的なパフォーマンスに大きな影響を与えずにどの程度効果的であるかを調査しています。この研究は、モデル編集が特定のシナリオではベースラインの忘却手法を上回る可能性があることを強調していますが、モデルの知識ベースに意図しない損害を与えることなく、忘却する必要がある範囲を正確に定義することの難しさも認めています。この研究は、モデル編集技術を使用した新しいアプローチを提供することにより、機械学習の忘却という成長分野に貢献しています。