破滅的忘却の克服:LLMファインチューニングの新しいアプローチ
分析
この研究は、生成AIにおける破滅的忘却という重要な課題に取り組み、さまざまな大規模言語モデルのファインチューニング技術に関する革新的な実験を紹介しています。 EWC、経験再生、知識蒸留などの方法の探求は、複数のドメインにわたるLLMの能力を向上させるための継続的な努力への貴重な洞察を提供します。
重要ポイント
引用・出典
原文を見る"実際の問題:Mistral-7Bを医療QAでファインチューニングします。素晴らしいです。次に、法的データでファインチューニングします。今や、医療に関する質問に答えられなくなりました。これは破滅的忘却であり、1989年から知られていますが、まだ実用化されていません。"