ARTICLE · 人工智能
AutoResearch 神话破灭：大模型离真正自主科研还有多远？
一语总结斯坦福与 Prentis AI 联合研究评估 100 个真实科研任务，发现当前 Agent 自主科研的主要瓶颈不在工程执行，而在缺少元认知闭环——发现问题后无法真正修正。
本文介绍了 Prentis AI 与斯坦福等机构联合发表的 AutoResearch 评估研究。研究团队构建了 AutoResearchEval 数据集，从生物、医学、化学等 7 个领域选取 100 个真实前沿科研任务，测试 Claude、GPT、Qwen、DeepSeek 等多个模型系列及 Claude Code、Codex、Gemini CLI 等 Agent 框架的完整科研能力。分析 800 条科研轨迹后归纳出 45 类失败模式，发现 92.1%的失败属于认知类问题（事实依据与忠实性 31.0%、科研严谨性与目标对齐 33.5%、推理深度与适应能力 27.6%），仅 7.9%为工程鲁棒性问题。最具代表性的失败模式是「未纠正的自我觉察」，出现在 82.5%的轨迹中——Agent 已识别问题却未修正。研究指出当前 Agent 的核心缺口是缺少元认知闭环，即持续核对产出与证据、在结果站不住脚时修正方向的能力。
- 当前 Agent 自主科研的主要瓶颈是元认知能力缺失，而非工程执行问题。
研究分析 800 条轨迹发现 92.1%的失败属于认知类问题，仅 7.9%为工程鲁棒性问题，说明 Agent 已能串联科研流程，但缺乏持续自我检查与修正的能力。
- 「未纠正的自我觉察」是最高频失败模式，占 82.5%的轨迹。
Agent 常在自我审查中明确指出缺陷，却仍提交未修正的结论，问题发现未转化为后续行动改变。
- Agent 常写出「原本想做」的研究，而非实际执行的研究。
研究证据已存在于代码、数据或日志中，但 Agent 未将产物与最终报告重新核对，导致结论与过程脱节。
- AutoResearchEval 采用过程级诊断而非仅看最终结果。
通过保留完整执行轨迹并使用 Artifact-aware Agent-as-a-Judge，能定位失败发生在哪个研究阶段，比单次 LLM-as-a-Judge 更可靠（Cohen's κ达 0.75-0.83）。
AutoResearch 神话破灭：大模型离真正自主科研还有多远？
本文介绍了 Prentis AI 与斯坦福等机构联合发表的 AutoResearch 评估研究。研究团队构建了 AutoResearchEval 数据集，从生物、医学、化学等 7 个领域选取 100 个真实前沿科研任务，测试 Claude、GPT、Qwen、DeepSeek 等多个模型系列及 Claude Code、Codex、Gemini CLI 等 Agent 框架的完整科研能力。分析 800 条科研轨迹后归纳出 45 类失败模式，发现 92.1%的失败属于认知类问题（事实依据与忠实性 31.0%、科研严谨性与目标对齐 33.5%、推理深度与适应能力 27.6%），仅 7.9%为工程鲁棒性问题。最具代表性的失败模式是「未纠正的自我觉察」，出现在 82.5%的轨迹中——Agent 已识别问题却未修正。研究指出当前 Agent 的核心缺口是缺少元认知闭环，即持续核对产出与证据、在结果站不住脚时修正方向的能力。
文章金句
"当前 Agent 最主要的瓶颈已经不再是单纯的工程执行问题，而在科研过程中的判断与修正能力。
"Agent 已经发现问题，却没有真正修正——这一模式出现在 660/800 条分析轨迹中，占 82.5%。
"研究团队发现，Agent 经常写下的是自己「原本想做」的研究，而不是实际执行出来的研究。