←新闻详情

邵猛更新于 10月21日 22:46

Grok Bot 与 Cursor Harness 负责人谈 Harness 是否已死

Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness!

AI 导读

Grok Bot 与 Cursor Harness 负责人 Jediah Katz 认为,Harness 中帮模型写代码的部分正被模型吸收,但开拓新任务边界、提供基础设施与信任安全、优化效率这三项职责仍离不开 Harness。他引用 UC Berkeley 在 SWE-bench Lite、Apple 和 EPFL 在 MLE-Bench 上的测试称,不同 Harness 的分数差别不显著,但单任务成本差别明显。他还预测 6 个月内 90% 的 Agent 工作会脱离个人电脑、在云端运行。

推荐理由

AI 评分 56

演讲者从 Cursor 到 Grok Bot 的实践出发,解释 Harness 在编码能力被模型吸收后仍承担哪些职责。

主题

标签

引用

AI Engineer 🔜 CODE Summit🌉

@aiDotEngineer

Inside Grok Bot: is the agent harness dead? @jediahkatz of @SpaceXSI explains why smarter models let Cursor remove prompts and guardrails, and why Grok Bot is adding them back. Watch his AI Engineer New York talk: https://t.co/3dHGpRezon https://t.co/hYEUl4orJr

查看原帖

正文

Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness!

模型越来越聪明,Harness 里"帮模型写好代码"的那部分确实在消失。但 Harness 还有两项消失不了的职责:一是带模型开拓新的任务边界,二是提供模型无法吸收的基础设施、信任安全和效率。

演讲者与背景 @jediahkatz 2025 年初加入 Cursor,是在 Agent Harness 上工作时间最长的工程师,随 Cursor 被收购后加入 SpaceX并参与 Grok Bot Harness。他梳理了这个领域的称呼变迁:2023 年流行"提示词工程师",2025 年年中变成"上下文工程师",今年业界才定名为"Harness 工程"。

# Harness 由什么组成

Harness 是模型的"眼睛和手",向上对接用户使用的 App,向下连接电脑和第三方服务(如 MCP)。他把它分成两层:

运行时层:决定 Agent 循环在哪里运行、状态怎么保存以便中断后继续,比较接近传统软件工程。

上下文与编排层:决定什么时候调用哪个模型、模型能看到什么,包括提示词、工具、记忆、压缩,以及各种行为调校技巧。他形容这一层是"蛮荒西部"。

# 为什么有人说 Harness 已死

今年年初是 Harness 的高峰:Cursor 用一个叫 Grind Swarm 的长时运行 Harness 从零写出了一个浏览器,成本极高,据说还把 Cursor 搞宕机过一两次。

几个月后,风向变成"Harness 已死":Anthropic 的 Tariq 说 Claude Code 删掉了大部分系统提示词;YC 的 Garry Tan 认为以后只有 Skills 重要;Cursor 自己也删掉了很多护栏,比如专门用来应用代码修改的小模型,以及"如何探索代码库、如何检查自己的工作"这类编码指令。

研究证据:UC Berkeley 测试了 7 个前沿模型配不同 Harness(Pi、Codex、Claude Code),在 SWE-bench Lite 上分数差别不显著;Apple 和 EPFL 发现,专门的 MLE Harness 在 MLE-Bench 上也没有带来明显提升。

他的判断:如今花哨的 Harness 已经不再增加模型的编码能力。原因是一个数据飞轮:Harness 让更难的任务变得可行,于是更多用户用 Agent 去做这些任务,更多数据流向模型厂商,模型把这些技能内化,Harness 就可以删掉当初的补丁。可以说,Harness 在让自己过时。

# Harness 为什么没死

开拓新边界:编码能力被模型"商品化"之后,由 Harness 去开辟下一类任务,飞轮再转一圈。他以自家的 Grok Bot 为例:在 Cursor 是不断删提示词、删护栏,在 Grok Bot 却是加回了很多,因为做幻灯片、订旅行这类网页流程,汇报进度但不打扰用户,判断该直接做还是先问(比如替用户发邮件),以及通过记忆学习用户的习惯,这些模型都还没完全掌握。另一个例子是"软件工厂":Bug 报告进来后自动分诊,云端 Agent 修复并录制修复前后的对比视频,上线后再由另一个 Agent 盯着生产环境。这相当于一个编排多个 Agent 的"元 Harness"。

模型吸收不了的部分:

基础设施:Agent 的任务已经从几分钟延长到几小时、几天,不可能放在一台会休眠的笔记本上跑,必须上云;

信任与安全:权限按 Agent、按人收窄,防止灾难性操作,或者醒来发现一张一万美元的 API 账单;

效率:前面那两项研究虽然发现分数差别不大,但单任务成本差别显著。他过去一个月通过提升缓存命中率、Token 效率和优化模型组合,在质量不下降的情况下明显降低了成本和延迟。

# 接下来的趋势

产品又跑在了模型前面,Harness 会先变乱再变干净,所以设计上要方便功能上线和下线。一个表现是越来越少向用户暴露内部机制,理由是 Hyrum 定律(你暴露的任何东西都会被用户依赖),代价是透明度降低。

设计面向 Agent 的原语(primitives):例如"订阅",用一个统一的工具让 Agent 响应 Slack 消息、CI 失败、定时等各种事件,而不是给每种事件单独做集成。

集中追踪"补丁"(shim):对模型的已知坏习惯,先用确定性规则临时修补(比如提醒它"用户在等你"),每次触发都记录下来;一旦某个补丁不再触发,就由一个 Bot 自动提 PR 删掉它。

抽象层级上移:上一代 Harness 是由多次 LLM 调用组合而成,新一代以 Agent 作为基本单元。

他预测:6 个月内,90% 的 Agent 工作会脱离个人电脑,在云端运行。

来源

邵猛