LLM的持续学习：使用LoRA的合并先于遗忘

本文解决了大型语言模型 (LLM) 在持续学习环境中灾难性遗忘的挑战。它提出了一种新方法，将低秩自适应 (LoRA) 模块顺序合并到单个统一的 LoRA 中，旨在提高内存效率并减少任务干扰。核心创新在于正交初始化和用于合并 LoRA 的时间感知缩放机制。这种方法特别重要，因为它解决了现有基于 LoRA 的持续学习方法日益增长的计算和内存需求。

• •提出了一种使用 LoRA 的 LLM 新型持续学习方法。
• •采用正交初始化和时间感知缩放来合并 LoRA。
• •旨在提高内存效率并减少任务干扰。
• •相对于任务数量保持恒定的内存复杂度。