低秩适配器中的“中奖彩票”

本文研究了在参数高效微调 (PEFT) 方法（特别是低秩适配 (LoRA)）的背景下，彩票假设 (LTH)。研究发现，LTH 适用于 LoRA，这意味着 LoRA 内的稀疏子网络可以实现与密集适配器相当的性能。这对于理解迁移学习和开发更有效的适配策略具有重要意义。

• •LTH 在 LoRA 中成立，揭示了可以匹配密集适配器性能的稀疏子网络。
• •稀疏子网络的有效性更多地取决于每层的稀疏性水平，而不是特定的权重。
• •提出的 Partial-LoRA 在保持或提高准确性的同时，将可训练参数减少了多达 87%。
• •这些发现加深了对迁移学习和预训练/微调相互作用的理解。