ARTICLE · 人工智能
GeoRA: 为 RLVR 设计的 LoRA——ACL 2026 杰出论文解析
一语总结GeoRA 是一种专为 RLVR 微调设计的低秩适配方法，通过将更新限制在预训练权重中几何上稳定的子空间，实现了与全参微调相当的性能，同时显著提高了计算效率和超参鲁棒性。
论文介绍了 GeoRA，一种基于几何感知的低秩适配方法，用于解决 RLVR 微调中现有 PEFT 方法的几何错位问题。通过结合谱先验和欧氏先验，GeoRA 识别出适合 RLVR 更新的稀疏子空间，并将其压缩为低秩稠密适配器，从而在保持预训练结构的同时，实现了高效、稳定的微调。实验结果表明，GeoRA 在多个领域和模型规模上均优于传统低秩基线，并与全参微调具有可比性。
- RLVR 的优化几何与 SFT 不同，需要专门的低秩适配策略。
RLVR 的更新分散在稀疏的子空间中，并倾向于避开预训练权重的主方向，而现有的 LoRA 变体（如 PiSSA）强行将更新推到主成分上，导致几何错位和训练不稳定。
- GeoRA 通过双重掩码定位稳定的更新区域。
GeoRA 使用谱先验（低幅值分量）和欧氏先验（接近零的参数）来筛选出几何上稳定的参数区域，确保微调不会破坏预训练模型的结构。
- 低秩压缩和残差锚点确保了效率和稳定性。
通过对选定的几何子空间进行 SVD 压缩，GeoRA 实现了稠密计算的效率，同时冻结残差权重作为锚点，防止了策略抖动和谱漂移。
- 实验验证了 GeoRA 的优越性能和广泛适用性。
在数学、医学、代码等多个领域，GeoRA 均显著优于其他低秩基线，并与全参微调相当，同时表现出更高的收敛效率和超参鲁棒性。
GeoRA: 为 RLVR 设计的 LoRA——ACL 2026 杰出论文解析
论文介绍了 GeoRA，一种基于几何感知的低秩适配方法，用于解决 RLVR 微调中现有 PEFT 方法的几何错位问题。通过结合谱先验和欧氏先验，GeoRA 识别出适合 RLVR 更新的稀疏子空间，并将其压缩为低秩稠密适配器，从而在保持预训练结构的同时，实现了高效、稳定的微调。实验结果表明，GeoRA 在多个领域和模型规模上均优于传统低秩基线，并与全参微调具有可比性。
文章金句
"RLVR 更像一次受约束的优化，有效更新分散在稀疏的子空间中，并倾向于避开预训练权重的主方向。
"GeoRA 要同时解决这两个错位，目标即定位契合 RLVR 的稀疏子空间，用低秩稠密的方式去训练它。
"GeoRA 的关键工程价值，就在于把几何先验落成了稠密低秩计算，因此参数效率能够真正转化为速度与显存收益。