AFA-LoRA：活性化関数アニーリングによるLoRAの非線形適応の強化

この論文は、広く採用されているパラメータ効率的なファインチューニング手法であるLoRAの主要な制限事項、つまり線形適応プロセスに対処しています。AFA-LoRAを導入することにより、著者は非線形表現力を組み込む方法を提案し、パフォーマンスを向上させ、フルパラメータファインチューニングとのギャップを埋める可能性を示唆しています。アニーリングされた活性化関数の使用は、LoRAのマージ可能性を維持しながらこれを達成するための斬新なアプローチです。