Google DeepMind engineer Philipp Schmid says it works better after deleting 90% of the harness
English text is being prepared.
Google DeepMind engineer Philipp Schmid shared "I deleted 90% of my harness (And It Got Better)" at the AI Engineer Code Summit 2026, streamlining the coding agent's tools from 10 to 20 specialized tools down to just one Bash, and reducing the system prompt from about 12,400 tokens to 574. He used Gemini 4 Argon to run four runtime frameworks on more than 350 of his own tasks; the score gap was within 6 points and tokens differed by 39%, but the cost per item ranged from $2.33 to $5.33, with Bash-only scoring the highest yet costing the most. He also compared Gemini 3.5 Flash with Gemini 4 Carbon, showing that the stronger the model, the better it can merge multiple steps into a single call.
Why read this
AI score 65
The original article provides a comparison of tokens and costs for different runtime frameworks on the same task, which can be used to judge the trade-offs of tool streamlining.
Topics
Body
在刚刚结束的 AI Engineer Code Summit 2026 中,来自 Google Deepmind 团队的 Philipp Schmid 带来了分享「I deleted 90% of my harness (And It Got Better)」,在几天前他也发过博客「Why Agents Are Soon Only Going to Have 1 Tool」:
Philipp Schmid 的博客分享很有工程实践,推荐大家关注阅读!AI Engineer Code Summit 2026 也为 Philipp Schmid 演讲整理了文字稿:
https://ai.engineer/code/2026/talks/philipp-schmid
AI Engineer Code Summit 2026 两天演讲的整体解读:
同一结果,路径可以差出近十倍 token
他用一张后训练示意图说明:任务、模型、工具、计算环境和评分器都在,但模型只拿到结果的奖励,没有人规定必须按哪种工具顺序完成。于是同一项仓库改动,既可以拆成许多专用的读取和编辑调用,也可以写成一段内联的 Bash 脚本一次做完。
他给的是说明性例子,任务是把 charge_customer 里的 amount 改成 amount_cents,并改完所有调用方。专用文件工具这条路径走了 10 轮,输入 token 大约 6 万,每一轮都要把上下文再送一遍;Bash 这条路径 2 轮,大约 7,000 个输入 token,4 个文件改完,检查也通过。他口头把这差距叫做大约 10 倍,这些 token 是每轮输入的估计值。
只留一个 Bash,计划和记忆放进文件系统
他说自己大约每半年会把编码智能体的运行框架推倒重来,问还需要多少。2025 年那一代大约有 10 到 20 个专用工具,分别负责编辑、规划和待办,系统提示词里还有大量规则。最近一次实验只留一个工具:Bash。
标题:“A 1-tool agent: a computer instead of a toolbox”。这个 Bash 工具在干净的子 shell 里运行,参数只有命令、给用户看的说明,以及 async_after_ms(默认 120,000,也就是 120 秒)。命令超时后会转到后台继续跑,调用返回进程编号和日志路径;输出只保留头尾各 400 行,全文另存成文件。长任务、读日志、规划、记忆,都可以落到文件系统上。如果智能体本身是命令行程序,它还可以用 Bash 再调起自己,不必再做一套子智能体工具。读、搜、改和测试,在他看来都只是命令。
但有一个实际限制:在终端里打印一张图片,得到的是二进制,模型看不见画面。所以他在评测里除了“只用 Bash”,还加了一组 Bash 加 view_media 的对照,后者会把图片送回成模型能看的形式。
系统提示词也在变短。PPT 中每个点代表模型在用户提示之前就要读的 100 个 token:2025 年中期一个 16 个工具的编码智能体大约 12,400;2026 年他这套 Bash 加图片查看的一工具智能体是 574。数字来自已公开提示词和本地安装里的系统提示词加工具定义。
分数差不多,费用和 token 并不一样
同一模型、同一项任务,配套不同,调用次数可以差很多。他用 Gemini 4 Carbon 跑 DeepSWE 1.1 里的一道题,两边都通过:8 个结构化工具走了 47 次模型调用、4.2M token;只用 Bash 是 18 次、1.7M token。开头还可以并行读取,一进入改代码,专用编辑工具就会一轮只改一处。
随后他把自己的一套 350 项以上、覆盖编码、终端和办公的任务,用 Gemini 4 Argon 跑了四种运行框架。分数落在 6 分以内,token 相差 39%。分数是三个基准的平均值,对照基准是 Bash 加查看图片。这些是他的自有评测,不是公开榜单。
他明确说,每项任务只跑了一次,分数上的小差别可能只是噪声,不能靠这张表给准确率排名。真正拉开的是 token、缓存命中和每项费用。只用 Bash 的分数最高,达到 74.9%,但 token 最多、缓存命中最低,每项 5.33 美元,反而是最贵的。最省的是 Bash 加查看图片:3.82M token、89% 缓存命中、每项 2.33 美元。结构化工具 A 的费用大约是它的两倍。并不是工具越少就越便宜;少了看图能力,省下的工具可能会被更多 token 和更低的缓存吃回去。只看分数,这四行几乎可以当成同一档。
模型越强,越能把工作合并进一次调用
删除专用工具,并不会自动让弱一些的模型学会合并步骤。他用 Pi 这套运行框架,把大约六个月前发布的 Gemini 3.5 Flash 和 Gemini 4 Carbon,分别接到默认工具和只用 Bash 上。3.5 Flash 无论哪种接口,模型调用次数都差不多:用 Bash 时也常常是一条命令读文件、再一条命令修改,收益只有 0.95 到 1.7 倍,有的任务几乎没有变化。Carbon 则不同:只用 Bash 时,token 可以降到原先的 1/1.4 到 1/3.0;每次 Bash 调用里大约串 2.2 到 3.7 条命令,Flash 只有 1.3 到 1.8 条。
有一道改名任务,两边都按演示实录。Carbon 加默认工具:5 次模型调用、15 次工具调用、17.2k token,基本上是每个文件读一次、再改一次,最后做检查。Carbon 只用 Bash:一次模型调用里用 Python 改完 4 个文件,再跑检查,只有 3.5k token。另一页幻灯把这个差别概括成:更好的模型,从 Argon 换到 Carbon,同一套只用 Bash 的框架,每项任务 token 少 34%;同一模型下,最重和最轻的运行框架又能让 token 相差 39%。他的判断是,2027 年会更经常问:解决一项任务要花多少 token。模型变强后,旧的细粒度工具和提示词可能还在逼它走一条更慢的路,所以新模型发布时,值得把运行框架再拆一次。
下一步可能是能跑代码的那一个工具
他打算大约六个月后再做一次同样的实验。眼前的趋势是回到某种代码模式:与其写自由的 Bash 命令,不如直接写 TypeScript 或 Python。PPT 写的是:Bash 负责文件和进程,其余交给 exec(code)。他也说自己看重 MCP,尤其是现在可以返回结构化输出,模型才能在一轮里把更多动作串起来。安全是这套设计的一部分,不是少几个工具就能解决的:Bash 调用很难看清,如果中间有一层 TypeScript 抽象,就可以检查实际执行的操作;密钥和策略留在主机,不进沙箱。
结尾三句话是:给模型的是一台计算机,不是一盒工具,也就是 Bash 和文件系统;新模型发布后,推倒一层再跑自己的评测;统计的是完成一项任务花掉的 token,而不只是准确率。口号是:“在模型删掉你的代码之前,先自己删。”
AI Trends