ARTICLE · 人工智能
长程 Agent 如何论功行赏？小红书 AllSpark 提出 PACT
一语总结小红书 AllSpark 团队提出 PACT 框架，通过对信用分配（Credit Assignment）的数学唯一性刻画，优化 Critic 的回归目标与更新流程，显著提升了长程 Agent 在数学推理和代码任务中的性能。
针对长程 Agent 在强化学习中难以将最终奖励准确分配到每一步决策的 Credit Assignment 问题，小红书 AllSpark 团队提出了 PACT（Policy Aligned Critic Training）。该研究首先通过完整性、前缀一致性和中立性三个正则条件，在数学上唯一确定了信用分配的表示形式，并以此分析了 OPD、RLOO 和 GAE 等现有训练方法的内在联系与局限。基于此理论，PACT 引入了二元交叉熵（BCE）回归有界 Value 以及 Actor-Then-Critic 的顺序更新机制（配合重要性采样修正），使 Critic 能更高效地对齐新策略。实验结果显示，PACT 在 SWE-bench Verified 和多个数学推理基准上均优于 GRPO 和 PPO，证明了其在提升长程决策学习效率方面的有效性。
- 唯一确定信用分配（Credit Assignment）的数学刻画
通过提出完整性、前缀一致性和中立性三个正则条件，证明了 Credit 的存在且唯一，将其定义为每一步决策后预期最终奖励的变化量，为分析训练算法提供了统一的数学对象。
- 统一分析多种强化学习训练现象
利用该数学表示，证明了 OPD 的教师可视为隐式 Critic，解释了 RLOO 响应级优势在期望梯度上的等价性，并揭示了 GAE 对中间 Critic 误差敏感的原因。
- PACT 优化 Critic 的回归目标
针对有界最终奖励，使用二元交叉熵（BCE）替代均方误差（MSE）进行 Value 回归，实验证明 BCE 能使 Critic 收敛更快且能更清晰地区分成功与失败轨迹。
- 实现 Actor 与 Critic 的策略对齐更新
采用 Actor-Then-Critic 顺序，在 Actor 更新后利用新策略的概率对 Critic 进行重要性采样修正，解决了 Critic 滞后于 Actor 策略更新的问题。
长程 Agent 如何论功行赏？小红书 AllSpark 提出 PACT
针对长程 Agent 在强化学习中难以将最终奖励准确分配到每一步决策的 Credit Assignment 问题，小红书 AllSpark 团队提出了 PACT（Policy Aligned Critic Training）。该研究首先通过完整性、前缀一致性和中立性三个正则条件，在数学上唯一确定了信用分配的表示形式，并以此分析了 OPD、RLOO 和 GAE 等现有训练方法的内在联系与局限。基于此理论，PACT 引入了二元交叉熵（BCE）回归有界 Value 以及 Actor-Then-Critic 的顺序更新机制（配合重要性采样修正），使 Critic 能更高效地对齐新策略。实验结果显示，PACT 在 SWE-bench Verified 和多个数学推理基准上均优于 GRPO 和 PPO，证明了其在提升长程决策学习效率方面的有效性。
文章金句
"每一步的 Credit，就是这一步及其关联的环境反馈揭示后，预期最终奖励发生的变化。
"教师可以被理解为一个隐式 Critic。
"PACT 采用 Actor-Then-Critic 的顺序，先更新 Actor，再利用新策略的概率对 Critic 训练进行重要性采样修正，使其更好地对齐更新后的策略。