Computer Use 与 Browser Use 的区别及各自适用场景

所有文章

有两种方式可以让 AI 智能体使用为人类构建的软件。一种 computer use 智能体会查看整个桌面的截图，并移动鼠标和键盘。一种 browser use 智能体会直接驱动真实浏览器：它读取页面、对页面元素执行操作，并通过 Chrome DevTools Protocol（CDP）与浏览器通信。

两者都能完成诸如“从账单门户下载上个月的发票”这样的任务。它们以不同的方式达成目标，而这决定了智能体的速度、可靠性和成本，以及它究竟能触及哪些范围。

简而言之

当工作在网站上发生时使用 browser use，这涵盖了智能体被要求完成的大部分任务。当某个步骤离开浏览器时使用 computer use：桌面应用、操作系统对话框，或没有网页版本的软件。许多工作流两者都需要，由浏览器负责网页部分。

对比	Browser use	Computer use
控制方式	浏览器：标签页、页面、Cookie、网络	整个桌面：任何应用、任何窗口
模型看到的内容	页面结构和文本，以及在有帮助时提供的截图	截图
模型通过以下方式操作	对元素进行点击和输入、JavaScript、CDP 命令	屏幕坐标和按键
运行于	本地或云端浏览器，通常为无头模式	带桌面的虚拟机，或你自己的屏幕
擅长	精确、可脚本化、并行的网页工作	人能看到的任何内容
不擅长	浏览器之外的任何内容	小目标、长页面、屏幕外的任何内容

什么是 computer use？

“Computer use”是 Anthropic 赋予 Claude 的一项能力的名称，即通过截图操作计算机，于 2024 年 10 月发布. OpenAI 和 Google 此后也推出了以相同方式工作的模型。

这个循环很简单。执行框架截取屏幕截图并将其发送给模型。模型以诸如“点击此位置”或“输入此文本”之类的动作作答。执行框架执行该动作，截取新的屏幕截图，循环重复，直到任务完成。

其吸引力在于，它适用于任何有屏幕的设备。模型不需要 API，也不需要了解应用是如何构建的。

代价是模型必须通过观察来找到一切。它只能看到屏幕上显示的内容，因此长表格、下拉菜单和页面必须逐段滚动到视野中。每一步都会向模型发送一张新图像，这会增加时间和 token 消耗。小型控件使精确点击更加困难。而且智能体需要一个完整的桌面环境来运行：一台虚拟机，或者你自己的电脑，它在工作期间会接管这台电脑。

什么是 browser use？

浏览器使用智能体驱动的是浏览器，而不是屏幕。它把页面当作数据来读取：文档结构、无障碍树、文本、链接和表单字段。它作用于元素而非坐标：按下这个按钮、填写这个输入框、运行这段脚本、读取那个网络响应。它通过 CDP，与 Playwright 和 Puppeteer 使用的是同一协议。

这个名字是我们的。我们于 2024 年 11 月推出了 Browser Use 开源库，让任何模型都能控制浏览器。 Browser Use 作为开源库于 2024 年 11 月因此任何模型都能控制浏览器。如今 Browser Use 是：

这个开源库 (（MIT 许可），用于在你自己的 Chrome 或云浏览器上运行你自己的智能体。（MIT 许可），用于在你自己的 Chrome 或云浏览器上运行你自己的智能体。
Browser Use Cloud, 隐身浏览器从你自己的代码或智能体中连接，默认开启 CAPTCHA 破解和住宅代理。
Browser Use 智能体，一个托管智能体：发送任务，获取结果。
Browser Harness，它让 Claude Code 和 Codex 这类编码智能体能够驱动你自己的 Chrome。

为什么 browser use 更适合网页任务

页面本身已经说明了这一点。 按钮有标签和角色。表单字段有名称。智能体可以直接定位它们，而不必猜测它们在屏幕上的位置，并且可以触及滚动到视野之外的元素。

模型可以一次性看到整个页面。 将页面作为文本读取，能让模型获取完整的表格或表单，而不只是截图中能容纳的部分。

确定性的步骤可以写成代码。 当任务的一部分是可预测的，智能体可以运行脚本，而不必对每一次点击都进行推理。从页面中提取表格只需一次 JavaScript 调用，而不是十几个滚动和读取的步骤。我们在浏览器智能体的苦涩教训.

浏览器可以横向扩展。 无头浏览器不需要桌面环境，因此你可以同时运行多个浏览器，每个都与其他浏览器相互隔离。在 Browser Use Cloud 上，一个浏览器的费用为每浏览器小时 $0.02，无需订阅（定价).

真实网页的难点在于浏览器，而不在于模型。 机器人防护、CAPTCHA、代理、登录和会话状态决定了智能体究竟能否进入。这些都是浏览器基础设施问题。我们发布了一份隐身基准测试关于这在《浏览器智能体的苦涩教训》中能走多远的讨论。浏览器可以横向扩展。无头浏览器不需要桌面环境，因此你可以同时运行多个浏览器，每个都与其他浏览器相互隔离。在 Browser Use Cloud 上，一个浏览器的费用为每浏览器小时 $0.02，无需订阅（定价）。真实网页的难点在于浏览器，而不在于模型。机器人防护、CAPTCHA、代理、登录和会话状态决定了智能体究竟能否进入。这些都是浏览器基础设施问题。我们发布了一份针对受机器人防护网站的云浏览器隐身基准测试，其中包含代码和原始结果。

何时应当选用 computer use

当任务无法在浏览器中完成时，computer use 才值得付出其成本：

桌面应用 ，例如较旧的 Windows 商业软件或原生设计工具。
操作系统步骤：原生文件选择器、系统设置、安装程序、在应用之间移动文件。
结构上没有任何信息的页面，例如远程桌面会话或完全绘制在画布上的应用。在这里，像素是唯一的界面。

最后一种情况比听起来要窄。浏览器使用智能体也能截图。视觉是它的工具之一，在页面结构无法提供信息时使用，而不是它唯一的观察方式。

两者都要用

真实的工作流程往往会跨越这条界线。智能体可能会从网页仪表盘拉取一份报告，然后在桌面应用中打开它。经验法则：网页部分通过浏览器完成，把像素留给只有像素才能触及的部分。

你自己机器上的智能体也是如此。Computer use 会在你的屏幕上移动鼠标，所以它工作时你只能等待。而浏览器智能体可以在后台的 Chrome 标签页中工作，你 meanwhile 继续使用你的电脑。这就是在浏览器中使用 Claude computer use 可与 Browser Harness 配合使用。

如何选择

网站上的每一步操作都需要这样做吗？ 浏览器使用。
你是否需要并行运行大量会话、已登录状态，或面向受机器人防护的网站？ 云浏览器上的浏览器使用。
这一步是否需要桌面应用或操作系统对话框？ 该步骤需要使用 computer use。
你已经有 Playwright 或 Puppeteer 代码，只需要一个远程浏览器吗？ 这不是智能体的问题。把它指向云浏览器：参见 Playwright 指南以及如何云浏览器服务商对比.

如果你正在多个云浏览器提供商之间做选择，我们维护了有来源依据的对比页面，涵盖 Browserbase, Browserless, Steel, Kernel, Hyperbrowser 以及 Anchor，每个都附有来自提供商自家页面的价格，以及何时应选择它们而非我们。