TWITTER · 人工智能
阿里通义开源 OpenGCUA：通用计算机使用智能体技术栈
一语总结阿里通义 MAI-UI 团队开源 OpenGCUA，将 GUI 智能体升级为能综合调度全机接口的通用智能体，通过代码执行和决策转移实现效率飞跃。
作者详细解读了阿里通义开源的 OpenGCUA 框架。GCUA 重新定义了「通用计算机使用智能体」——不是传统 GUI 智能体的「看截图、点按钮」，而是能调度无障碍树、应用 API、shell 命令、GUI 操作的综合系统。核心机制是每步三个由模型决定的决策：观察什么、如何行动、如何组织工作。两大支柱设计是代码执行（复用模型编程能力实现循环内高效迭代）和 harness 到模型的决策转移。OSWorld-v2 评测显示平均 partial score 提升 19.6 分，弱模型受益最大，代码执行比 GUI+CLI 混合再高 6.1 分。真机 macOS 测试揭示 GPT-6 Astra 推理 token 消耗仅为 Qwen3.8-Max 的 1/19。
- GCUA 将「通用计算机使用智能体」定义为能综合调度全机所有接口的系统
传统 CUA 等同于 GUI 智能体，GCUA 则涵盖无障碍树、应用 API、shell 命令、GUI 操作，论文定义为「模型自主决定如何观察、行动并组织工作，跨越视觉与程序化接口的系统」。
- 代码执行是效率提升根源，让模型复用已有编程能力实现循环内高效迭代
模型输出带循环和条件判断的 Python 程序，GUI 操作、API 调用、shell 命令统一编排；循环内中间结果直接决定下一步代码走向，无需每步回模型。
- 弱模型从代码执行范式受益最大，暗示该范式降低了代理能力对精细操作精度的依赖
GLM-5.3-Flash 提升 35.2 分最多，强弱模型差距从 39.1 缩小到 18.0；对开源生态是重要信号。
阿里通义开源 OpenGCUA：通用计算机使用智能体技术栈
作者详细解读了阿里通义开源的 OpenGCUA 框架。GCUA 重新定义了「通用计算机使用智能体」——不是传统 GUI 智能体的「看截图、点按钮」，而是能调度无障碍树、应用 API、shell 命令、GUI 操作的综合系统。核心机制是每步三个由模型决定的决策：观察什么、如何行动、如何组织工作。两大支柱设计是代码执行（复用模型编程能力实现循环内高效迭代）和 harness 到模型的决策转移。OSWorld-v2 评测显示平均 partial score 提升 19.6 分，弱模型受益最大，代码执行比 GUI+CLI 混合再高 6.1 分。真机 macOS 测试揭示 GPT-6 Astra 推理 token 消耗仅为 Qwen3.8-Max 的 1/19。
文章金句
"「截图」本身就是一种有成本的感知行为，该省则省
"代码执行比 GUI+CLI 混合再加 6.1 分、步数再降 14.8%