LLM的持续学习：使用LoRA的合并先于遗忘
Research Paper#Continual Learning, LLMs, LoRA🔬 Research|分析: 2026年1月3日 19:20•
发布: 2025年12月28日 17:37
•1分で読める
•ArXiv分析
本文解决了大型语言模型 (LLM) 在持续学习环境中灾难性遗忘的挑战。它提出了一种新方法，将低秩自适应 (LoRA) 模块顺序合并到单个统一的 LoRA 中，旨在提高内存效率并减少任务干扰。核心创新在于正交初始化和用于合并 LoRA 的时间感知缩放机制。这种方法特别重要，因为它解决了现有基于 LoRA 的持续学习方法日益增长的计算和内存需求。
引用 / 来源
查看原文"The method leverages orthogonal basis extraction from previously learned LoRA to initialize the learning of new tasks, further exploits the intrinsic asymmetry property of LoRA components by using a time-aware scaling mechanism to balance new and old knowledge during continual merging."