トレーニングデータ内の警告は言語モデルに逆効果

この論文は、現在の言語モデルにおける重要な脆弱性を浮き彫りにしています。警告形式で提示された負の例から学習できないというものです。この研究は、有害なコンテンツに関する警告にさらされたモデルが、そのコンテンツに直接さらされたモデルと同様に、そのコンテンツを再現する可能性が高いことを示しています。これは、特に警告や免責事項を含むデータでトレーニングされたAIシステムの安全性と信頼性に大きな影響を与えます。この論文の分析は、スパースオートエンコーダーを使用して、根本的なメカニズムに関する洞察を提供し、直交化の失敗と、実用的な理解よりも統計的な共起が優勢であることを指摘しています。この結果は、現在のアーキテクチャが、意味や意図よりも、コンテンツとそのコンテキストの関連付けを優先していることを示唆しています。