阿里通义 MAI-UI 团队开源通用计算机使用智能体技术栈 OpenGCUA
阿里通义 MAI-UI 团队开源通用计算机使用智能体完整技术栈 OpenGCUA,包含 harness、跨设备 SDK、原生 macOS 应用、评测轨迹和参考 agent 实现。其核心设计是代码执行与决策从 harness 转移到模型,模型按需截图、编写带循环和条件判断的 Python 程序编排 GUI 操作、API 调用和 shell 命令,并自行维护 todo 列表。在 OSWorld-v2 上对 8 个前沿模型的评测中,平均 partial score 从 45.3 升至 64.9,每任务步数平均减少 53%;真机 macOS 测试中,同一 harness 下 Qwen3.8-Max 的推理 token 消耗是 GPT-6 Astra 的 19.4 倍,4 个任务完成 3 个。
LI 混合智能体(他们早期的 Qwen-UI-Agent)都成了 GCUA 框架的特例,这个统一视角本身就有理论价值。 实验结果:数字说明了什么 在 OSWorld-v2 上对 8 个前沿模型(GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM-5.3-Flash、Qwen3.8-Max/Flash、Kimi K3、DeepSeek-V4.1-Flash)的评测: · 平均 partial score 从 45.3 升至 64.9(+19.6 分),每任务步数平均减少 53%;GPT-6 Astra 从 102 步降到 34 步。 · 弱模型受益最大(GLM-5.3-Flash +35.2),强弱模型差距从 39.1 缩小到 18.0。这暗示:代码执行范式降低了"代理能力"对模型 GUI 精细操作能力的依赖,弱模型可以靠写程序弥补感知-点击精度不足;对开源生态是个重要信号。 · 代码执行比 GUI+CLI 混合再加 6.1 分、步数再降 14.8%,验证了"编排成程序"优于"交替调用工具"。 · 真机 macOS 测试揭示了一个基准测试掩盖的事
匹配字段正文





