AFA-LoRA：通过激活函数退火在LoRA中实现非线性自适应

本文解决了LoRA（一种流行的参数高效微调方法）的一个关键限制：其线性自适应过程。通过引入AFA-LoRA，作者提出了一种结合非线性表达能力的方法，从而可能提高性能并缩小与全参数微调之间的差距。使用退火激活函数是一种新颖的方法，可以在保持LoRA的可合并性的同时实现这一点。