ARTICLE · 人工智能
《Agent 评测白皮书》系列 01：Agent 评测全览
一语总结美团技术团队以「四个模块、三种能力、两条 Loop、一套资产」框架系统梳理 Agent 评测体系，打通冷启动、扩量与自进化，并给出成熟度自查表。
本文是《Agent 评测白皮书》系列第一篇，面向 Agent 产品、研发、算法、运营与评测负责人。文章先指出一个割裂现状：基座模型能力进化与 Agent 框架功能丰富让搭建 Agent 的门槛持续降低，但真正走完冷启动、灰度扩量到全量的项目屈指可数，掌握评测认知的人极其稀缺，大量项目死于停在 Demo、卡在扩量、说不清业务价值三种模式，共同点是缺少可靠的判断机制。为此作者提出完备评测体系可概括为「四个模块、三种能力、两条 Loop、一套资产」：四个模块为离线评测（变更门控）、在线评测与在线监控（真实世界反馈）、Case 挖掘与归因（驱动双环演进的枢纽）、观测基建（一切的地基）；三种能力为发现问题、定位问题、驱动演进；两条 Loop 为 Agent 迭代 Loop 与评测体系迭代 Loop，二者共享线上真实样本入口与评测集资产；一套资产是覆盖端到端与过程的评测集，含黄金集、错题集、挑战集。文章以「商家经营分析 Agent」为贯穿案例，详解评测集三元组（问题、参考答案、评价标准）从答案评测走向行为评测的迁移、端到端与过程评测集的互补、回测执行的分层门禁与 Pass@k、巡检作为评测与监控的交集、Case 挖掘四类来源与归因分层，并给出评测体系成熟度自查表与 FAQ。
- 搭建 Agent 的门槛在快速降低，但把 Agent 做好的评测认知仍十分稀缺
基座模型能力进化（长上下文、原生工具调用、指令遵循、多步推理）与 Agent 框架功能丰富（规划、记忆、工具注册、状态管理标准化）两条曲线叠加，使搭建门槛逐年下降；但真正走完冷启动、灰度扩量到全量的项目屈指可数，掌握评测方法的人非常稀缺，且 ChatBot 经验无法无缝泛化到长程 Agent。
- Agent 项目常见的三种死法，共同根因是缺少可靠的判断机制
停在 Demo（演示好但接真实流量覆盖不住）、卡在扩量（说不清问题在哪一层、不敢大改）、说不清业务价值（拿不出证据证明变好）。三者追下去都是团队不知道当前版本行不行、问题出在哪一层、改完是否真的变好，决策靠感觉和个别案例。
- 完备评测体系可概括为四个模块、三种能力、两条 Loop、一套资产
四个模块：离线评测守住已知、在线评测与监控发现未知、Case 挖掘与归因定位分派、观测基建作为地基；三种能力：发现问题、定位问题、驱动演进；两条 Loop：Agent 迭代 Loop 与评测体系迭代 Loop，在 Case 挖掘与归因处共享入口、在评测集处共享资产；一套资产：覆盖各功能模块的端到端与过程评测集。
- Agent 评测正从「答案评测」走向「行为评测」，端到端与过程评测集必须互补
评测集三元组（问题、参考答案、评价标准）中，参考答案从可逐字比对的字符串变成对执行过程的描述，评测要看路径是否符合预期、最终环境状态是否达成目标。端到端评测集回答「事有没有办成」与「要不要拉响警报」，过程评测集回答「中间哪一步出了问题」与「警报响了该找谁」，只有端到端会陷入知道坏了但不知道哪坏了，只有过程会陷入每个模块都达标但用户不满意。
- 离线评测是变更门控，但只能发现已知问题，必须由在线部分补齐
离线评测依赖固定评测集与尽可能贴近生产的固定执行环境，通过控制变量把分数差异归因到版本变更；实践中常用 Pass@k 取稳定结论、分层门禁（安全与数据准确性一票否决）、嵌入 CI/CD 才有约束力。其固有局限是评测集里没有的场景永远测不出来，因此离线负责守住已知、在线负责发现未知。
- Case 挖掘与归因是双环演进的枢纽，也是 Agent 自进化的核心切入点
Case 挖掘负责把样本收进 Case 池，归因负责定位 Agent 流程里的核心问题点，高度依赖 Trace 观测基建。四类来源（线上反馈、监控、规则挖掘、随机采样）盲区不同需搭配使用，随机采样是唯一能发现「根本没想到的问题」的手段。归因后正向 Case 进入黄金集、挑战集，负向 Case 分两条路径：修复回测上线（Agent 迭代 Loop）或校验并迭代 Rubric（评测体系迭代 Loop）。只走第一条路径会让 Agent 被优化成迎合评测标准而非解决用户问题。
- 评测体系建设应被真实问题驱动，而非被完备性焦虑驱动
全景图是终局不是起点，没有团队应照着从头建一遍。分层拆解是演进的结果而非设计起点，正确顺序是先建端到端与核心模块过程评测集跑起来，遇到「知道坏了但不知道哪坏了」再细化。成熟度自查表也不应追求所有维度 L3，而应看短板与错配，体系能力上限由最短的那块板决定。
《Agent 评测白皮书》系列 01：Agent 评测全览
本文是《Agent 评测白皮书》系列第一篇，面向 Agent 产品、研发、算法、运营与评测负责人。文章先指出一个割裂现状：基座模型能力进化与 Agent 框架功能丰富让搭建 Agent 的门槛持续降低，但真正走完冷启动、灰度扩量到全量的项目屈指可数，掌握评测认知的人极其稀缺，大量项目死于停在 Demo、卡在扩量、说不清业务价值三种模式，共同点是缺少可靠的判断机制。为此作者提出完备评测体系可概括为「四个模块、三种能力、两条 Loop、一套资产」：四个模块为离线评测（变更门控）、在线评测与在线监控（真实世界反馈）、Case 挖掘与归因（驱动双环演进的枢纽）、观测基建（一切的地基）；三种能力为发现问题、定位问题、驱动演进；两条 Loop 为 Agent 迭代 Loop 与评测体系迭代 Loop，二者共享线上真实样本入口与评测集资产；一套资产是覆盖端到端与过程的评测集，含黄金集、错题集、挑战集。文章以「商家经营分析 Agent」为贯穿案例，详解评测集三元组（问题、参考答案、评价标准）从答案评测走向行为评测的迁移、端到端与过程评测集的互补、回测执行的分层门禁与 Pass@k、巡检作为评测与监控的交集、Case 挖掘四类来源与归因分层，并给出评测体系成熟度自查表与 FAQ。
文章金句
"搭 Agent 的门槛在快速降低，把 Agent 做好的认知却仍十分稀缺。
"评测体系建设的本质，是把团队对业务质量的隐性认知，转化为可量化、可复用、可传递、可自动执行的显性资产。
"端到端评测集回答「要不要拉响警报」，过程评测集回答「警报响了该找谁」。
"没有接入流程的门禁，本质上只是一个建议。
"Agent 会被优化成「迎合评测标准」，而不是「解决用户问题」。
"Agent 评测是一门实践科学，起步阶段「让数据飞轮高效运转起来」的意义，远大于「设计一个复杂精妙的评测体系」。