LLMの継続学習：LoRAを用いた忘却前のマージ
分析
この論文は、継続学習環境における大規模言語モデル（LLM）におけるカタストロフィック・フォーゲッティングの問題に対処しています。Low-Rank Adaptation（LoRA）モジュールを単一の統合LoRAに順次マージする新しい方法を提案し、メモリ効率の向上とタスク干渉の削減を目指しています。中核的な革新は、直交初期化と、LoRAのマージのための時間認識スケーリングメカニズムにあります。このアプローチは、既存のLoRAベースの継続学習方法の増大する計算とメモリの要求に対処するため、特に重要です。
重要ポイント
参照
“この方法は、以前に学習したLoRAから直交基底抽出を利用して新しいタスクの学習を初期化し、継続的なマージ中に新しい知識と古い知識のバランスをとるために、時間認識スケーリングメカニズムを使用してLoRAコンポーネントの固有の非対称性をさらに利用します。”