RLVR 的 PEFT 方法评估

本文对基于可验证奖励的强化学习 (RLVR) 框架内的参数高效微调 (PEFT) 方法进行了全面评估。它解决了 RLVR 的最佳 PEFT 架构缺乏明确性的问题，这是提高语言模型推理能力的关键领域。这项研究的系统方法和实证结果，特别是对 LoRA 默认使用的挑战以及光谱崩溃的识别，为该领域的研究人员和从业者提供了宝贵的见解。本文的贡献在于其严格的评估和关于在 RLVR 中选择 PEFT 方法的可操作建议。

• •DoRA、AdaLoRA 和 MiSS 是 RLVR 中 LoRA 更好的替代方案。
• •基于 SVD 的初始化策略（PiSSA、MiLoRA）可能因光谱崩溃而失败。
• •极端的参数减少（VeRA、Rank-1）可能会严重限制推理能力。