AI 热点

Google DeepMind 工程师 Philipp Schmid 称删掉 90% 的 harness 后效果更好

邵猛更新于 11月16日 15:01

Google DeepMind 工程师 Philipp Schmid「I deleted 90% of my harness」:分数只差 6 分,费用差一倍多

AI 导读

Google DeepMind 工程师 Philipp Schmid 在 AI Engineer Code Summit 2026 分享「I deleted 90% of my harness (And It Got Better)」,把编码智能体的工具从 10 到 20 个专用工具精简到只剩一个 Bash,系统提示词从约 12,400 token 降到 574。他用 Gemini 4 Argon 在 350 项以上自有任务上跑四种运行框架,分数差距在 6 分以内、token 相差 39%,但每项费用从 2.33 美元到 5.33 美元不等,只用 Bash 分数最高却最贵。他还用 Gemini 3.5 Flash 与 Gemini 4 Carbon 对比,说明模型越强越能把多步合并进一次调用。

推荐理由

AI 评分 65

原文给出同一任务下不同运行框架的 token 与费用对比,可据此判断工具精简的取舍。

主题

标签

正文

在刚刚结束的 AI Engineer Code Summit 2026 中,来自 Google Deepmind 团队的 Philipp Schmid 带来了分享「I deleted 90% of my harness (And It Got Better)」,在几天前他也发过博客「Why Agents Are Soon Only Going to Have 1 Tool」:

Philipp Schmid 的博客分享很有工程实践,推荐大家关注阅读!AI Engineer Code Summit 2026 也为 Philipp Schmid 演讲整理了文字稿:

https://ai.engineer/code/2026/talks/philipp-schmid

AI Engineer Code Summit 2026 两天演讲的整体解读:

同一结果,路径可以差出近十倍 token

他用一张后训练示意图说明:任务、模型、工具、计算环境和评分器都在,但模型只拿到结果的奖励,没有人规定必须按哪种工具顺序完成。于是同一项仓库改动,既可以拆成许多专用的读取和编辑调用,也可以写成一段内联的 Bash 脚本一次做完。

他给的是说明性例子,任务是把 charge_customer 里的 amount 改成 amount_cents,并改完所有调用方。专用文件工具这条路径走了 10 轮,输入 token 大约 6 万,每一轮都要把上下文再送一遍;Bash 这条路径 2 轮,大约 7,000 个输入 token,4 个文件改完,检查也通过。他口头把这差距叫做大约 10 倍,这些 token 是每轮输入的估计值。

只留一个 Bash,计划和记忆放进文件系统

他说自己大约每半年会把编码智能体的运行框架推倒重来,问还需要多少。2025 年那一代大约有 10 到 20 个专用工具,分别负责编辑、规划和待办,系统提示词里还有大量规则。最近一次实验只留一个工具:Bash。

标题:“A 1-tool agent: a computer instead of a toolbox”。这个 Bash 工具在干净的子 shell 里运行,参数只有命令、给用户看的说明,以及 async_after_ms(默认 120,000,也就是 120 秒)。命令超时后会转到后台继续跑,调用返回进程编号和日志路径;输出只保留头尾各 400 行,全文另存成文件。长任务、读日志、规划、记忆,都可以落到文件系统上。如果智能体本身是命令行程序,它还可以用 Bash 再调起自己,不必再做一套子智能体工具。读、搜、改和测试,在他看来都只是命令。

但有一个实际限制:在终端里打印一张图片,得到的是二进制,模型看不见画面。所以他在评测里除了“只用 Bash”,还加了一组 Bash 加 view_media 的对照,后者会把图片送回成模型能看的形式。

系统提示词也在变短。PPT 中每个点代表模型在用户提示之前就要读的 100 个 token:2025 年中期一个 16 个工具的编码智能体大约 12,400;2026 年他这套 Bash 加图片查看的一工具智能体是 574。数字来自已公开提示词和本地安装里的系统提示词加工具定义。

分数差不多,费用和 token 并不一样

同一模型、同一项任务,配套不同,调用次数可以差很多。他用 Gemini 4 Carbon 跑 DeepSWE 1.1 里的一道题,两边都通过:8 个结构化工具走了 47 次模型调用、4.2M token;只用 Bash 是 18 次、1.7M token。开头还可以并行读取,一进入改代码,专用编辑工具就会一轮只改一处。

随后他把自己的一套 350 项以上、覆盖编码、终端和办公的任务,用 Gemini 4 Argon 跑了四种运行框架。分数落在 6 分以内,token 相差 39%。分数是三个基准的平均值,对照基准是 Bash 加查看图片。这些是他的自有评测,不是公开榜单。

他明确说,每项任务只跑了一次,分数上的小差别可能只是噪声,不能靠这张表给准确率排名。真正拉开的是 token、缓存命中和每项费用。只用 Bash 的分数最高,达到 74.9%,但 token 最多、缓存命中最低,每项 5.33 美元,反而是最贵的。最省的是 Bash 加查看图片:3.82M token、89% 缓存命中、每项 2.33 美元。结构化工具 A 的费用大约是它的两倍。并不是工具越少就越便宜;少了看图能力,省下的工具可能会被更多 token 和更低的缓存吃回去。只看分数,这四行几乎可以当成同一档。

模型越强,越能把工作合并进一次调用

删除专用工具,并不会自动让弱一些的模型学会合并步骤。他用 Pi 这套运行框架,把大约六个月前发布的 Gemini 3.5 Flash 和 Gemini 4 Carbon,分别接到默认工具和只用 Bash 上。3.5 Flash 无论哪种接口,模型调用次数都差不多:用 Bash 时也常常是一条命令读文件、再一条命令修改,收益只有 0.95 到 1.7 倍,有的任务几乎没有变化。Carbon 则不同:只用 Bash 时,token 可以降到原先的 1/1.4 到 1/3.0;每次 Bash 调用里大约串 2.2 到 3.7 条命令,Flash 只有 1.3 到 1.8 条。

有一道改名任务,两边都按演示实录。Carbon 加默认工具:5 次模型调用、15 次工具调用、17.2k token,基本上是每个文件读一次、再改一次,最后做检查。Carbon 只用 Bash:一次模型调用里用 Python 改完 4 个文件,再跑检查,只有 3.5k token。另一页幻灯把这个差别概括成:更好的模型,从 Argon 换到 Carbon,同一套只用 Bash 的框架,每项任务 token 少 34%;同一模型下,最重和最轻的运行框架又能让 token 相差 39%。他的判断是,2027 年会更经常问:解决一项任务要花多少 token。模型变强后,旧的细粒度工具和提示词可能还在逼它走一条更慢的路,所以新模型发布时,值得把运行框架再拆一次。

下一步可能是能跑代码的那一个工具

他打算大约六个月后再做一次同样的实验。眼前的趋势是回到某种代码模式:与其写自由的 Bash 命令,不如直接写 TypeScript 或 Python。PPT 写的是:Bash 负责文件和进程,其余交给 exec(code)。他也说自己看重 MCP,尤其是现在可以返回结构化输出,模型才能在一轮里把更多动作串起来。安全是这套设计的一部分,不是少几个工具就能解决的:Bash 调用很难看清,如果中间有一层 TypeScript 抽象,就可以检查实际执行的操作;密钥和策略留在主机,不进沙箱。

结尾三句话是:给模型的是一台计算机,不是一盒工具,也就是 Bash 和文件系统;新模型发布后,推倒一层再跑自己的评测;统计的是完成一项任务花掉的 token,而不只是准确率。口号是:“在模型删掉你的代码之前,先自己删。”

来源

邵猛