低ランクアダプターにおける「Winning Ticket」の探求

この論文は、パラメータ効率的なファインチューニング（PEFT）手法、特にLow-Rank Adaptation（LoRA）のコンテキストにおけるLottery Ticket Hypothesis（LTH）を調査しています。LoRA内でもLTHが適用され、疎なサブネットワークが密なアダプターと同等の性能を達成できることを発見しました。これは、転移学習の理解と、より効率的な適応戦略の開発に影響を与えます。

• •LoRA内でもLTHが成立し、密なアダプターの性能に匹敵する疎なサブネットワークが明らかになる。
• •疎なサブネットワークの有効性は、特定の重みよりも、層ごとのスパース性のレベルに依存する。
• •提案されたPartial-LoRAは、精度を維持または向上させながら、学習可能なパラメータを最大87％削減する。
• •この発見は、転移学習と事前学習/ファインチューニングの相互作用の理解を深める。