所有博客文章推理

发布于 2026 年 11 月 16 日

让开放模型胜任长程智能体工作负载

要让长时间运行的智能体会话在长程任务中保持快速,harness 与推理引擎各自都必须做对什么。

摘要

编码智能体在每一轮都会重新发送整段对话。前缀缓存能让推理引擎不必重做这些工作,但前提是 harness 不去改动提示词的开头部分,并且引擎能把每一轮请求送回已经缓存了该内容的 GPU。Together AI 和 Ollama 分别负责这一交接的两端,因此我们写下了客户端一侧和推理引擎一侧各自需要做什么,才能成功构建智能体应用。

编码智能体的流量模式很特殊。智能体每推进一步,harness 都会把到目前为止的整段对话发给模型:系统提示词、每一个工具定义、你的请求、智能体读过的每个文件,以及它执行过的每条命令。返回的内容通常只是一个几十个 token 长的工具调用。然后这一切再次发生,内容在上一次的基础上再多一点。

这种输入序列长度(ISL)大、输出序列长度(OSL)小的特征,是大多数智能体工作负载的典型特点。如果 GPU 在每一轮都必须从头处理整段记录,那么长时间会话会随着每一步变得越来越慢、越来越贵。 前缀缓存 挽救了其中大部分工作。问题在于,如果不小心,也很容易破坏前缀缓存。

我们从相反的两端来处理这个问题。Ollama 负责 harness 集成,也就是决定每个请求里放什么内容。Together AI 负责推理引擎,也就是决定请求到达后会发生什么。我们不断发现,双方各自的大量工作都是在保护缓存,避免被另一方的行为破坏,所以我们想把这些都写在一个地方,帮助智能体开发者和基础设施开发者!

从 GPU 的视角看一轮智能体请求

每个请求都要经过两个阶段。第一个是预填充(prefill):引擎在一次大规模并行处理中读取整个提示词,并生成第一个 token。GPU 擅长这个阶段,因为它是大量数学运算一次性完成,从而最大化算术强度。预填充决定了在任何新 token 出现之前你需要等待多久。第二个是解码(decode):模型一次一个 token 地写出答案的其余部分,而每个新 token 都需要回读并关注它之前的所有内容。解码更多受内存带宽而非计算能力限制,它决定了文本流出的速度。

普通的聊天响应会在这两个阶段都花时间,而一轮智能体请求主要花在预填充上,因为输入是整个会话,输出通常只是一个简短的工具调用。推理模型还会在此基础上增加思考 token,有时会很多,但随着会话增长到数万个 token,输入仍然占主导地位。每一轮输入都会变长,而输出大致保持同样大小——几个工具调用。

所以对智能体来说,“这个模型有多快?”基本上意味着“它处理一段很长的历史轮次记录能有多快?”快速处理带有大量历史轮次的任务的方法,就是把它缓存起来直接读回,而不是重新计算。

缓存为王

想象 KV 缓存(甚至前缀缓存)最简单的方式就是阅读。想象一下,为了读页面上的每个新词,你都必须从顶部重新开始。你读得越往下,速度就越慢,因为你不得不反复重读已经读过的所有内容。这就是没有缓存的模型。缓存在单个请求内解决了这个问题:引擎保留它对先前 token 所做的工作(以中间键值对的形式存储),只计算新的那个。

前缀缓存则在请求之间做同样的事。智能体会话的第 7 轮就是第 6 轮再加上一点内容,所以如果引擎仍然保留着第 6 轮的工作,它只需要处理新增的部分。

算术很简单。如果每一轮增加的量相同,十轮不缓存要处理 1 + 2 + … + 10 = 55 个单位的提示词。有缓存时,它们只处理 10 个。到一百轮时(对编码任务来说并不罕见),就是 5,050 对 100。真实的轮次大小各不相同,所以请把这些当作理想化的数字。有缓存的会话也并非完全免费,因为每个新 token 仍然必须关注已缓存的 token。但规律依然成立:没有缓存时,你重做的工作量会随会话长度的平方增长。

问题在于,前缀缓存从提示词开头开始匹配,直到第一个不同的 token 为止,然后停下。第一个差异之后的所有内容都必须重新处理。

在提示词末尾追加内容不会带来额外开销。改动更早的任何内容,哪怕只是一个字符,都意味着要重新处理它之后的所有内容。如果改动靠近顶部,你实际上就丢弃了整个会话,现在必须重建缓存。本文其余几乎所有内容都源自这一条规则。

harness 决定第一个改动落在哪里。引擎决定当下一个请求到来时缓存是否还在。我们先从 harness 说起。

harness 与 API

在 Ollama 这边,我们发布了通过 ollama launch 命令连接你最喜欢的 harness 的能力。因此你可以把 Claude Code、Codex、Pi 等 harness 与 DeepSeek-V4.1-Flash、GLM-5.3 等开放模型连接起来,并保持你现有的工作流程。

把 harness 连接到 API 看起来可能很简单,但 harness 与模型之间存在许多层转换和不同的预期。这往往是缓存被破坏(带来时间和金钱成本)、智能体行为无法解释以及 harness 直接报错的原因。

延迟加载工具

如今,harness 携带的工具相当多。如果每个定义都预先放进提示词,你就会把上下文花在任务永远不会用到的工具上,模型挑选正确工具的能力也会变差。较新的 harness 增加了工具搜索功能来缓解这一问题:智能体可以先搜索某个工具,然后自行加载并使用它。

假设你有一个具备这种能力的个人助理智能体。如果你让智能体把你加星标的事件导出到日历,它会搜索“calendar”,加载 save_calendar 定义,然后调用它。

对于缓存来说,问题在于这个定义放在哪里。

显而易见的做法是把定义加入工具列表。这可行,但工具列表位于提示词靠近顶部的位置,在对话之前。因此如果前缀发生变化,它之后的所有内容都要重新处理。在长会话中,这可能意味着数十万个 token。更好的做法是把定义放在末尾,新内容本来就去那里。

但并非每个模型都支持这种做法。有些聊天模板不期望在对话中途出现工具定义,调用会报错。因此,harness 能否在不付出代价的情况下延迟加载工具,取决于模型。用户不应该需要知道这一点,但任何构建 harness 的人都必须知道。

顶部会变化的内容

破坏缓存最简单的方法,就是在系统提示词里放入逐轮变化的内容,比如当前时间戳、git 状态,或智能体不断切换的工作目录。如果 harness 每一轮都用新值重新渲染系统提示词,那么每一轮都是完整重读。

在一个会话内固定、但不同会话之间不同的内容,比如用户名或会话开始的日期,不会损害该会话。它们确实会阻止新会话复用已经缓存的设置,这一点我们会在引擎侧讨论。无论哪种情况,解决办法都一样:把这类信息一次性放进任务消息里,并让系统提示词在所有地方保持完全一致。

推理强度

我们在 Ollama 这边遇到了这个问题。在 GLM-5.3-Flash 中,推理强度并不是引擎在旁单独处理的设置。聊天模板会把它写入最开头的系统块,位于工具和对话之前。

假设你正深入进行一项长任务,而且进展不顺。你把推理强度从低提高到高。这是合理的做法,但下一个请求现在几乎从第一个 token 起就与上一个不同。这意味着整个会话都要重新处理。在长时间运行中,这可能意味着为了更改一个设置而花费数十万个 token。

我们的建议是在开始时选定一个推理强度,然后保持不变。如果你确实需要更多思考,通常以更高设置开启新会话比继续旧会话更便宜,而且你还能得到一个干净的上下文。你也可以在更改推理值之前先压缩上下文,以减少提示词 token 的数量。

大型工具结果

工具的输出会成为下一个请求的一部分,也会成为之后每个请求的一部分。如果智能体在只需要四十行时读取了一个 3,000 行的文件,你不是只付一次代价;你会在剩余的每一轮都付出代价(即使有缓存,你也会损失上下文窗口)。为了应对这一点,harness 通常会裁剪工具输出。这是正确的做法,但如何裁剪工具输出很重要。

这里有一个很容易意外造成的失败。任务是修复日历导出中的时区 bug。智能体读取 calendar.py,工具返回了一个 640 行文件的前 100 行,却没有说明它停下来了。真正重要的函数 convert_timezone在第 420 行。模型完全不知道自己漏掉了什么。

解决办法是在输出中加一行,告诉模型它拿到的是 640 行中的第 1 到 100 行,并且它可以搜索文件或请求另一个范围。这样,模型会搜索“timezone”,找到第 420 行,并读取第 410 到 450 行。裁剪输出能省钱。不说明就裁剪,会让模型自信地编辑它从未见过的代码。

子智能体

像 Kimi K3、GLM-5.3 和 GLM-5.3-Flash 这样的开放模型现在相当擅长拆分大任务并把部分工作交给子智能体。harness 如何启动每个子智能体,决定了它能复用父级缓存的多少内容。

一种选择是让子智能体继承一切:相同的系统提示词、工具和对话,再加上它的任务。侧边聊天就是这样工作的。它们从父会话分支出来,所以整个前缀已经缓存。另一种选择是发送一份简报:相同的系统提示词和工具,然后只给子智能体需要的文件和指令。在这种情况下,缓存只覆盖设置部分,仅此而已。

继承听起来严格更好,但并非如此。缓存的前缀处理起来便宜,但不是免费。子智能体生成的每个 token 仍然必须读遍它,而且它全程占用 GPU 内存。一个只需要两个文件和一个检查清单的审查者,大概不需要三百轮历史。而且如果你给子智能体自己的系统提示词,它与父级就完全不共享任何内容,连设置都不共享。

引擎侧

你可以完美地做到以上所有事情,却仍然得不到好处。缓存必须仍然存在,而且下一个请求必须到达持有它的那台机器。

在 Together AI,我们把推理引擎看作一台让 GPU 保持忙碌的机器。单块 GPU 每年的租用成本约为 5 万美元,所以理想情况下它绝不应该闲置,而且它在任何时刻都在服务数百个用户,每个用户都处于请求的不同阶段。智能体流量以几种特定方式对这些约束施加压力。

为最优缓存命中而路由请求

一个会话的缓存存放在特定数据中心里的特定节点上。如果对话的下一轮落到其他任何地方,那个节点就必须从头处理所有之前的轮次,而且现在两个节点都在存储相同的前缀。为了正确路由,我们首先需要选择一个运行该模型、有容量、并且该会话一直在其中运行的数据中心。然后我们需要在其中选择一个存有之前轮次缓存的节点。

选择节点主要有两种方式。简单的一种是使用键:客户端在每次请求时发送类似 prompt_cache_key 的内容,然后理想情况下我们把使用相同键的每个请求都路由到同一个节点。另一种方式是对前缀做哈希,把请求发送到缓存了最长匹配前缀的那个节点,即使那是另一个会话放进去的。

第二种选择也是保持系统提示词完全相同的另一个原因。如果某个 harness 的每个会话都以完全相同的系统提示词和工具定义开头,那么一个全新的会话也许就能发现这套设置已经被缓存了。如果你在里面放了唯一标识符,那么每个会话都注定要从冷启动开始。

这也不只是总把请求发送到热节点那么简单。有时热节点被流量压得过载,这时就要在在那里排队等待和选择一个空闲节点并再次付费处理前缀之间做选择。在这种负载感知路由范式中,有时缓存未命中可能是更划算的选择。所以即使提示词完全稳定,如果后端的推理引擎实现不正确,也不能保证命中。

在轮次之间保持缓存存活

只有当还有缓存可供路由时,路由才有帮助。智能体经常会发起一次工具调用,然后等待几分钟让测试运行。在整个这段时间里把该会话的缓存保留在 GPU 内存中,会占用活跃用户所需的空间,而把它丢弃则意味着当智能体从工具调用返回时要重新读取所有内容。因此,我们也可以在会话空闲时把缓存卸载到 CPU 内存,并在下一轮时恢复它。

内存是这背后大多数问题的约束所在。我们无法预先知道一个响应会是 30 个 token 还是 30,000 个 token,所以与其为最坏情况下的最大上下文长度场景预留空间,我们不如在每个请求需要时以小块的形式分配缓存内存(PagedAttention),就像操作系统管理 RAM 那样。而且我们在每一轮都重建运行中的批次(连续批处理),所以当一个智能体同时发起五个子智能体时,每个新请求都会在一个槽位空出的那一刻占用它,而不是等待批次中最慢的那个完成。

对于任何构建 harness 的人来说,结论是:限制一块 GPU 能同时服务多少请求的,通常是缓存内存的余量,而不是算力。每一个过大的工具结果、每一个携带无关历史的子智能体,都会占用本可供另一个会话缓存使用的内存。

智能体还会把预填充/解码的分离推向极致:提示词巨大,回答却很小。为了更好地优化这一点,我们把这两个阶段放在不同的集群上运行。一个针对算力调优,负责预填充;另一个针对内存带宽调优,负责同时为数百条流做解码,缓存则通过 RDMA 在两者之间传输。这样一来,一波很长的智能体提示词就不会拖慢其他人的 token 流式输出。

把这一切放在一起看: 一个会话,两侧协同

以下是这一切在单个会话中的样子。

在 harness 一侧,智能体找到日历工具,并在对话末尾添加它,因此它上面的内容都不会改变。它读取 calendar.py,发现只拿到了 640 行中的第 1 到 100 行,于是搜索“timezone”,并读取正确的部分。推理强度保持在最初设定的水平。一个审查者子智能体继承该会话,以检查 agenda.ics 是否符合 sessions.json.

在引擎侧,每一轮请求都会回到缓存了该会话的节点。测试运行期间,缓存驻留在 CPU 内存中等待。审查者的请求会插入正在运行的批次,而每一轮只处理新增的内容。

使用智能体的人看不到这些;他们只看到到第九十轮时它依然很快。但只有双方都各尽其责,这才行得通。harness 可以把提示词保持得完全稳定,但如果引擎把第 7 轮发到了错误的机器上,缓存照样会丢失。引擎可以完美地路由,但如果 harness 每一轮都改动第一行,缓存也照样会丢失。

Parth 在 parthsareen.com 上写了更多关于构建智能体的内容,Ollama 则在 ollama.com/blog 发布更新。你也可以在 https://www.together.ai/blog 上了解更多关于本文提到的开源模型的信息并运行它们。相关文章查看全部查看全部 parthsareen.com,Ollama 则在 ollama.com/blog你也可以在 https://www.together.ai/blog 上进一步了解并运行本文提到的开源模型。 https://www.together.ai/blog.

相关文章

查看全部查看全部