TWITTER · 人工智能
Google Research 开源 Harness²:递归式智能体优化框架详解
一语总结详细解析 Google Research 开源的 Harness² 框架,通过 Propose–Probe–Compose 对比机制和跨任务持久库实现递归自我改进,解决了开放世界无验证器的核心难题。
本文深入解读 Google Research 开源的 Harness² 递归式智能体优化框架。核心解决两个难题:测试时无 ground-truth 验证器的反馈困境,以及递归自我改进的任务特化问题。框架采用双层递归设计:第一层通过 Propose–Probe–Compose 循环,用同任务 A/B 行为对比替代分数反馈来指导编辑;第二层通过跨任务持久库积累可执行组件,实现 improvement harness 的递归改进。框架定义了八个可编辑组件(上下文构建、工具接口、编排、脚本、插件),主要结果在 WorkBuddy-Bench、JobBench、LAB 上均有显著提升,且弱模型获益更大、改进后的 harness 具备跨模型迁移能力。
- Propose–Probe–Compose 机制用行为对比替代分数反馈,绕开了开放世界无验证器的死结
在无标准答案的情况下,通过同任务下的 A/B 行为对比来指导 harness 编辑,每个决策必须绑定具体观察而非假想分数增益,这是该工作的关键创新。
- Harnessing 级递归通过持久库实现跨任务知识积累
将执行对比验证过的教训和可执行组件存入按领域组织的持久库,下一个任务的 Propose/Probe/Compose 由更新后的库引导,实现改进 harness 本身也在被改进的双重递归。
- 弱模型从改进 harness 获益更大,且具备跨模型迁移能力
GLM-5 换上改进后的 harness 可反超 Gemini 基础分数,为 Gemini 精炼的 harness 给 GLM-5 带来 +17.3,证明了『换 harness』在某些场景可等价于『换模型』。
Google Research 开源 Harness²:递归式智能体优化框架详解
本文深入解读 Google Research 开源的 Harness² 递归式智能体优化框架。核心解决两个难题:测试时无 ground-truth 验证器的反馈困境,以及递归自我改进的任务特化问题。框架采用双层递归设计:第一层通过 Propose–Probe–Compose 循环,用同任务 A/B 行为对比替代分数反馈来指导编辑;第二层通过跨任务持久库积累可执行组件,实现 improvement harness 的递归改进。框架定义了八个可编辑组件(上下文构建、工具接口、编排、脚本、插件),主要结果在 WorkBuddy-Bench、JobBench、LAB 上均有显著提升,且弱模型获益更大、改进后的 harness 具备跨模型迁移能力。
文章金句
"这些对比只『为后续组合提供信息,而非验证任务正确性』
"改进 harness 本身也在被改进,这就是标题里 Harness² 的双重含义
"『换 harness』在某些场景下顶得上『换模型』