所有文章

我们的智能体用了 30.7 秒,才找出从苏黎世飞往伦敦最便宜的三个航班。其中大部分耗时可归因于六个原因,而且你可以在自己的智能体中逐一检查。其中一个是“页面已静默”检测器,它从未触发,因为 Google Flights 每一帧都会重写一个 CSS 类。

请谨慎看待标题中的数字:30.7 秒是我们 9 月 27 日预发布环境的成绩,18 秒是 10 月 9 日生产环境的成绩,而这 18 秒中约有 3.4 秒的模型耗时,我们至今仍无法解释。

Terminal table of median run time on one Google Flights task. Sep 27 on staging: Cloud 30.7 s, laptop with local Chrome 17.6 s, 5 runs per arm. Oct 9 on prod: Cloud 18.0 s, laptop 18.8 s, 8 runs per arm.
均为中位数。基准运行:同一个智能体,在同一台机器上运行 Chrome。n=5 时,本地运行的噪声约为 ±8%。

任务是:在 Google Flights 上查询固定日期的单程航班,并报告最便宜的三个。评分器要求至少给出三个不同的价格,并包含预期中最便宜的航空公司。我们保持模型不变,只修正其周边的一切。大部分工作由智能体完成:每次只改一项,通过功能开关启用,并由评判器检查性能提升不是靠少做事情实现的(我们如何运行评测)。发布时的数据见 BU Ultrafast 已上线,而 KV 缓存、减少截图等较早采用的技巧则见 速度至关重要.

13 秒都花在了哪里

事件时间戳将每次运行拆分为启动、模型、工具、收尾和轮询阶段。以下按原因列出了我们的云端配置与同一智能体操控本地 Chrome 之间的差距。本地 Chrome 是耗时下限:没有网络跳转,也没有代理。

Terminal bars of seconds added on Cloud versus the laptop: cloud browser 3.1, proxy by default 3.0, standard tier 2.7, startup and wrap-up 1.7, LLM proxy 1.4, bigger prompt 0.9. Sum 12.8 of 13.1 seconds. Flags only, priority tier plus no proxy: 30.7 to 20.7 s.
9 月 27 日,预发布环境与笔记本电脑对比,取 5 次运行的中位数。LLM 代理一项中的计费部分来自本地复现。

其中两项属于配置问题,所以先从这里开始。

我们调用 OpenAI 时使用的是 standard tier,而本地运行使用 priority tier。Priority tier 的每 token 成本是两倍;在副本环境中,它将每轮平均耗时从 1.20 秒降至 1.02 秒(p90 从 1.81 秒降至 1.41 秒),使一次包含 12 轮的运行缩短约 1.9 秒。

每次运行还都会经过住宅代理。现在,智能体会先直接连接;只有网站阻止访问时,才切换到代理浏览器。10 月 9 日,同一套测试框架使用美国代理时仍慢了 5.3 秒(25.3 秒对 20.0 秒,n=8)。

仅这两个开关,就把 Flights 的耗时从 30.7 秒降至 20.7 秒,把 example.com 的耗时从 10.3 秒降至 6.5 秒。总共节省了 10.0 秒,比图中两根柱子合计的 5.7 秒还多,因此应将该图视为粗略拆分。

其余原因包括:云浏览器读取无障碍树需要 46 毫秒,而非 12 毫秒,且每次运行大约会发出 260 次 CDP 调用;每次运行都冷启动 Node;LLM 代理为计费而保持流连接开启;以及更长的提示词。

在排查过程中,我们还发现,如果不显式设置模型参数,测试框架会以 xhigh 推理强度运行 GPT-6 Luna。一次 Flights 运行耗时 141 秒,并调用了模型 39 次。

每次调用多 85 毫秒,累积起来不容小觑

我们第一次复现是在笔记本电脑上进行的,Flights 耗时约 40 秒,比预发布环境还慢。笔记本电脑与云浏览器分处美国东西两端,因此每次 CDP 调用的成本约为 85 毫秒。其中两个步骤分别耗时 8.2 秒和 8.7 秒,各自大约包含 100 次串行调用(这是估算值,并非实际计数)。

Terminal output of measured CDP round trips: about 85 ms from the laptop, 1.5 to 2 ms in the same region, about 1 ms to local Chrome. One slow step of roughly 100 sequential calls takes 8.5 s from the laptop and 0.3 to 0.6 s in region.
这些步骤耗时是算术推算结果,并非追踪数据。在同一区域内,一次调用连同浏览器自身的处理需要 3 至 6 毫秒。

我们从与浏览器横跨美国的笔记本电脑上进行基准测试,测到的其实是距离带来的延迟。应在生产环境所在区域运行基准测试。即便在同一区域,260 次调用按每次 3 至 6 毫秒计算,仍约需一秒,因此减少调用次数很有价值。

始终无法静默的页面

每次操作都会等待页面稳定:文档已解析、没有新的请求正在传输(持续超过 1.5 秒的请求会被视为长轮询或分析请求),且 DOM 在 80 毫秒内没有发生变更。等待会在 800 毫秒后放弃;如果页面仍在加载,则会在 3,000 毫秒后放弃。

在 Flights 上,每次稳定等待都会耗尽 800 毫秒的上限。Google Flights 每一帧都会用相同的值重写页面上的一个类。MutationObserver 会将其报告为变更,因此静默检测器始终无法判定页面已静默。

// Writing an attribute's current value changes nothing
// (Google Flights rewrites a class every frame).
if (
  r.attributeName &&
  r.oldValue === (r.target as Element).getAttributeNS(r.attributeNamespace, r.attributeName)
)
  continue;

我们增加了第二条规则:样式变更只有在 200 毫秒内首次发生于该元素时才算数。因此,菜单打开仍会被视为变更,而循环动画不会。

同一组改动还停止了每隔 40 毫秒重新探测。它使一次 Flights 运行中的 CDP 调用减少约 30%,同时评分、模型调用次数和成本均保持不变(PR #19)。无效操作修复也随这组改动一同发布,因此我们只有合并后的数据:在副本环境中,每项任务可节省 0.5 至 1.4 秒。

另外三个相关想法未能奏效,因为在同一区域内,页面本身每次操作只需等待约 0.2 秒。

验证码检测器一直在占用主线程

9 月 27 日的一次探测显示,云浏览器的主线程在每个 2 秒窗口中都会阻塞 674 至 698 毫秒。本地则为零。

我们怀疑是始终开启的验证码检测器所致,于是让一个智能体连夜进行了测试。开启时,Flights 即便处于空闲状态也会占用 32% 至 35% 的主线程 CPU;关闭后则为零。 Runtime.evaluate 在结果页面上的耗时从约 110 毫秒降至 76 毫秒。

Ultrafast 浏览器现在启动时默认关闭验证码求解器。当智能体遇到验证码时,它会调用一个 solve_captcha 工具 来开启求解器,直到验证码得到解决。

10 月 9 日,无论求解器开启还是关闭,卡顿都已消失,因此这两周内浏览器的其他某项改动也解决了问题。我们始终没有查明究竟是哪项改动。

我们自己的提示词拖慢了速度

在 ultrafast 上使用完整的 Cloud 提示词和工具集,在评分相同的情况下,耗时是原来的 1.16 倍,成本是原来的 1.70 倍(9 月 28 日配对评测)。因此 Cloud 现在运行的是带简短提示词的普通 Pi。对于 API 运行,首次模型调用的 token 数从 5,578 降至 2,740。在 99 项任务中,没有任何一项在通过与失败之间发生变化,成本则降低了 20%。

有一个缓存错误本身就值得修复。在最后一个允许执行的步骤中,测试框架会将工具列表缩减为两个结束工具。工具属于缓存前缀的一部分,因此该轮会在没有缓存的情况下重新发送完整上下文。保持工具列表不变,并使用 OpenAI 的 allowed_tools 后,在三项基准测试中的两项里,智能体成本降低了 10% 至 17%,评分保持不变(PR #20).

首次模型调用过去需要依次等待浏览器分配、会话恢复和标签页选择。现在,会话恢复会在浏览器分配期间并行进行。

所有修复的综合效果

将所有有效改动组合起来,在与浏览器位于同一区域的 Cloud 副本环境中,与旧配置进行对比。

Terminal table of replica medians before and after all wins: Google Flights 26.5 to 20.5 s, Wikipedia lookup 11.0 to 8.1, web search 9.4 to 6.7, example.com 8.5 to 5.4, HN top 3 5.3 to 3.8. 49 of 49 runs correct, 23 to 36 percent faster.
9 月 27 日,每项任务、每个实验组各运行 5 次并取中位数,两组交替运行。有一次运行因连接中断而丢失。

随后在 10 月 9 日于生产环境进行了真正的测试:Flights,每组运行 8 次:

配置总耗时模型浏览器正确
笔记本电脑 + 本地 Chrome18.8 秒13.5 秒5.1 秒5/8
生产环境 Cloud,bu-ultrafast18.0 秒9.6 秒6.4 秒7/8
同区域测试框架 + 云浏览器20.0 秒13.0 秒6.5 秒8/8
同上,使用美国代理25.3 秒13.9 秒11.6 秒8/8

对全部 8 次运行取中位数,包括未命中的运行。笔记本电脑运行的是与 Cloud 相同提交版本的测试框架,而 Cloud 的总耗时包含约 1.6 秒的启动时间。

尚未解释的部分是:Cloud 的模型耗时比同一区域内相同测试框架直接调用 OpenAI 低了 3.4 秒(9.6 秒对 13.0 秒),双方使用的轮次和 priority tier 均经核实相同。如果没有这一差距,Cloud 会比笔记本电脑慢约 2.6 秒。Cloud 的浏览器耗时仍比本地 Chrome 多 1.3 秒。

Cloud 每次运行收费 0.0061 美元,低于 9 月 27 日约 0.015 美元的水平;后者包含默认代理的带宽费用(两个数字均不包含浏览器使用时长费用)。

Python 库也存在同样的问题

browser-use 1.0 在 BU Bench v2 上每项任务比 Pi 多耗时 153 秒。智能体发现了三项每次调用都会产生的额外开销(每个请求都会要求进行压缩、OpenAI SDK 会遍历每个请求体,以及 store: true);此外,将无障碍树模式设为默认值又使每项任务减少了 173 秒,但通过率降低了 6 至 10 个百分点,我们已提示这一风险。

失败之处

智能体很擅长将差距拆分为多个原因,也会坦承预测未命中(它们预先登记的 Flights 耗时为 17 至 19 秒,实际测得 20.5 秒,并如实说明)。但它们也做过以下事情:

  • 在基准测试过程中修改文件,导致五次运行作废。
  • 将评审噪声误判为信号。现在,任何质量结论都要求每项任务至少运行 6 次。
  • 在另一次针对重复任务快速路径的通宵优化中,智能体一直在打磨仅有 12% 的提升,直到我们将目标重新设定为提速 75% 至 90%。随后,通宵得出的“准确率相同、耗时降低 65%”这一结论未能通过复测:准确率低了 9.7 个百分点。

这些分支均已公开: Browser Use Pi 保留了 30 个 exp/* 9 月 26 日至 30 日期间的分支,其中也包括失败方案。

只有在正确率相当时,速度提升才有意义。一个限制智能体可执行操作的原型将 Flights 的耗时从 9.5 秒降至 7.1 秒,并将 CDP 调用次数从 1,092 次降至 101 次(3 组配对结果,计时从首次读取页面后开始,因此不要与上文的时间比较)。但在覆盖面较广的 100 项任务基准测试中,它只通过了 1 项。推理强度也存在同样的权衡:在 200 项高难度任务上(BU Bench v2.1,每项运行 1 次),低推理强度的中位耗时为 170 秒,得分为 0.352;中等推理强度为 441 秒,得分为 0.643。Ultrafast 适合短任务,长任务请使用 bu-fast。

如要试用,请将 model 设置为 bu-ultrafast ,位置在 Browser Use Cloud.

发布于 2026 年 11 月 20 日

继续阅读

所有文章

工程

/2026 年 11 月 20 日

我们承诺每发现一个封禁智能体的网站就奖励 100 美元,有 7 个网站始终未能通过

我们为每个封禁浏览器智能体的网站设置了 100 美元悬赏。最终有 7 个网站始终未能通过,另有 6 个只需换个国家即可访问。

马格努斯·穆勒

工程

/2026 年 11 月 20 日

我们的评测显示提升了 5.1 分,其中最多一半来自我们自己的错误

一项修复在智能体评测中带来了 5.1 分的提升。随后,我们重新评审了保存的运行记录,发现是自己的测试框架把每份答案的五分之一提供给了评审模型。

马格努斯·穆勒

工程

/2026 年 11 月 20 日

我们删除了自己编写的 13.7 万行代码,基准测试得分反而提高了

我们构建了一个调度器 UI,随后将其删除,并编写了一段 37 行的提示词来取代它。browser-use 1.0 遵循同样的理念:只保留一个主要工具——Python。

马格努斯·穆勒