RLVRにおけるPEFT手法の評価

本論文は、Reinforcement Learning with Verifiable Rewards (RLVR) フレームワーク内におけるParameter-Efficient Fine-Tuning (PEFT) 手法の包括的な評価を提供します。言語モデルの推論能力を向上させるために不可欠な分野である、RLVRに最適なPEFTアーキテクチャに関する明確さの欠如に対処しています。この研究の体系的なアプローチと実証的な結果、特にLoRAのデフォルト使用に対する課題とスペクトル崩壊の特定は、この分野の研究者や実務者にとって貴重な洞察を提供します。本論文の貢献は、その厳密な評価と、RLVRにおけるPEFT手法の選択に関する実行可能な推奨事項にあります。

• •DoRA、AdaLoRA、MiSSは、RLVRにおけるLoRAのより良い代替手段です。
• •SVDを利用した初期化戦略（PiSSA、MiLoRA）は、スペクトル崩壊により失敗する可能性があります。
• •極端なパラメータ削減（VeRA、Rank-1）は、推論能力を著しく制限する可能性があります。