ARTICLE · 人工智能
ACL 2026 腾讯混元&UNSW | 当奖励模型学会"量力而行"——E-GRM 减轻 LLM 推理负担的完整方案
一语总结腾讯混元与 UNSW 在 ACL 2026 上提出 E-GRM 框架，通过模型内部不确定性动态决定是否触发完整思维链推理，在提升奖励模型精度的同时大幅降低推理成本。
本文详细解读了腾讯混元与新南威尔士大学被 ACL 2026 收录的论文《Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty》。文章指出当前奖励模型领域存在两个默认假设——每次评估都需要完整思维链推理、多数投票是可靠方式，而 E-GRM 通过动态路由机制挑战了这些假设。核心创新包括：利用多次解码的共识度作为不确定性信号，当共识度超过阈值（默认 0.8）时直接输出答案，否则触发完整 CoT 推理；设计判别式评分器替代简单投票，通过混合损失函数训练，从多条推理链中选出最优；提出扩展 GRPO（Coupled-GRPO）引入成对对比强化学习。实验数据显示，在 MATH 数据集上，E-GRM 相比强制 CoT 实现了准确率提升 3.3%（75.1%→78.4%）、延迟降低 62%（3.8s→2.2s）、计算量减少 49%（23.7T→15.7T FLOPs）。在 RM-Bench、RMB 和 RewardBench 等主流基准上，32B 模型均达到开源 SOTA 水平，部分指标超越 GPT-4o。文章还讨论了方法的局限性（并行解码固定成本、固定阈值、评分器 OOD 泛化）和未来方向。
- E-GRM 通过模型内部不确定性动态决定是否触发完整推理。
对输入进行多次并行解码，计算输出共识度作为不确定性信号。共识度≥0.8 时直接输出答案（短路径），否则触发完整 CoT 推理（长路径），58%的输入无需深度推理。
- 判别式评分器替代多数投票，提升评估精度。
投票隐含假设所有推理链权重相等，但实际质量差异巨大。E-GRM 的评分器通过 Huber 损失和铰链损失的混合训练，从多条候选 CoT 中选出最优，在需要精细判断的场景中表现突出。
- 扩展 GRPO 引入成对对比强化学习，优化策略模型。
标准 GRPO 仅对单个响应计算奖励，忽视正负样本相对质量。Coupled-GRPO 通过配对奖励函数同时考虑答案正确性和质量对比，在 MATH、HelpSteer2 和 RMB 无害性评估上均优于标准 GRPO。
- E-GRM 在多个基准上达到开源 SOTA，部分超越 GPT-4o。
32B 模型在 RM-Bench 得分 79.2%，RMB 总体得分 0.743 超越 GPT-4o（0.738），RewardBench 综合得分 91.5%在所有开源模型中排名前列，Reasoning 子集 95.4%和 Safety 子集 92.0%尤为突出。
ACL 2026 腾讯混元&UNSW | 当奖励模型学会"量力而行"——E-GRM 减轻 LLM 推理负担的完整方案
本文详细解读了腾讯混元与新南威尔士大学被 ACL 2026 收录的论文《Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty》。文章指出当前奖励模型领域存在两个默认假设——每次评估都需要完整思维链推理、多数投票是可靠方式，而 E-GRM 通过动态路由机制挑战了这些假设。核心创新包括：利用多次解码的共识度作为不确定性信号，当共识度超过阈值（默认 0.8）时直接输出答案，否则触发完整 CoT 推理；设计判别式评分器替代简单投票，通过混合损失函数训练，从多条推理链中选出最优；提出扩展 GRPO（Coupled-GRPO）引入成对对比强化学习。实验数据显示，在 MATH 数据集上，E-GRM 相比强制 CoT 实现了准确率提升 3.3%（75.1%→78.4%）、延迟降低 62%（3.8s→2.2s）、计算量减少 49%（23.7T→15.7T FLOPs）。在 RM-Bench、RMB 和 RewardBench 等主流基准上，32B 模型均达到开源 SOTA 水平，部分指标超越 GPT-4o。文章还讨论了方法的局限性（并行解码固定成本、固定阈值、评分器 OOD 泛化）和未来方向。
文章金句
"与其让推理更快，不如让模型先判断'是否值得推理'。
"在追求模型能力的同时，关注'何时需要能力'同样重要。
"共识度天然携带了关于模型对问题认知状态的信息，无需额外标注即可获得。