基于傅立叶变换的适配器架构实现高效微调

本文提出了一种名为傅立叶激活适配器 (FAA) 的新型参数高效微调方法，用于大型语言模型。其核心思想是在适配器模块中使用傅立叶特征，以分解和调制中间表示的频率分量。这使得在适应过程中可以选择性地强调有用的频段，从而在较低的计算开销下提高性能。本文的重要性在于它有可能提高大型语言模型微调的效率和有效性，这是研究的一个关键领域。

• •提出了一种名为傅立叶激活适配器 (FAA) 的新型参数高效微调方法。
• •FAA 使用傅立叶特征来分解和调制中间表示的频率分量。
• •与现有方法相比，在低开销下实现了具有竞争力的或更优越的性能。
• •证明了频率感知激活和自适应加权的有效性。