LLMの継続学習：LoRAを用いた忘却前のマージ
Research Paper#Continual Learning, LLMs, LoRA🔬 Research|分析: 2026年1月3日 19:20•
公開: 2025年12月28日 17:37
•1分で読める
•ArXiv分析
この論文は、継続学習環境における大規模言語モデル（LLM）におけるカタストロフィック・フォーゲッティングの問題に対処しています。Low-Rank Adaptation（LoRA）モジュールを単一の統合LoRAに順次マージする新しい方法を提案し、メモリ効率の向上とタスク干渉の削減を目指しています。中核的な革新は、直交初期化と、LoRAのマージのための時間認識スケーリングメカニズムにあります。このアプローチは、既存のLoRAベースの継続学習方法の増大する計算とメモリの要求に対処するため、特に重要です。
重要ポイント
引用・出典
原文を見る"The method leverages orthogonal basis extraction from previously learned LoRA to initialize the learning of new tasks, further exploits the intrinsic asymmetry property of LoRA components by using a time-aware scaling mechanism to balance new and old knowledge during continual merging."