让开放模型胜任长周期智能体工作负载

2026年11月16日

作者:Parth Sareen 和 Zain Hasan(Together AI)

编程智能体有一种奇特的流量模式。智能体每执行一步,框架都会把截至当时的完整对话发送给模型:系统提示词、所有工具定义、你的请求、智能体读取过的每个文件,以及它运行过的每条命令。返回的内容通常只是一个几十个 token 长的工具调用。接着这一过程再次发生,请求中包含上一次的全部内容,再加上一点新内容。

这种输入序列长度(ISL)很大、输出序列长度(OSL)很小的特点,是大多数智能体工作负载的典型特征。如果 GPU 每一轮都必须从头处理整段记录,那么长时间会话每进行一步,速度都会变得更慢、成本也会变得更高。 前缀缓存 节省了其中绝大部分工作。问题是,如果不够谨慎,前缀缓存也非常容易失效。

我们从这个问题的两端入手。Ollama 负责框架集成,也就是决定每个请求中应包含哪些内容。Together AI 负责推理引擎,也就是决定请求抵达后会发生什么。我们不断发现,双方的大量工作都是在保护缓存,避免它受到另一端操作的影响,因此我们想把这些内容集中写在一处,同时帮助智能体和基础设施的构建者!

在 GPU 看来,一轮智能体交互是什么样的

每个请求都会经历两个阶段。第一个阶段是预填充:引擎通过一次大规模并行运算读取整个提示词,并生成第一个 token。GPU 很擅长处理这个阶段,因为它会同时进行大量计算,从而最大限度地提高算术强度。预填充决定了新 token 出现前需要等待多久。第二个阶段是解码:模型每次生成一个 token,写出答案的其余部分;每生成一个新 token,都需要重新读取并关注此前的所有内容。与计算能力相比,解码受到内存带宽的限制更大,它决定了文本流式输出的速度。

Prefill processes the prompt in parallel to produce the first token and is compute-bound. Decode reads model weights and the KV cache to generate each later token and is memory-bound.

普通聊天回复会在这两个阶段都花费时间,而一轮智能体交互主要耗时在预填充,因为输入是整个会话,输出通常只是一个简短的工具调用。推理模型还会在此基础上增加思考 token,有时数量很多;但当会话增长到数万个 token 时,输入仍占主导地位。每一轮的输入都会变长,而输出的大小基本保持不变——通常只是几个工具调用。

Agent loop: user request, model tool call, tool execution, and result appended to the transcript. Each turn resends the growing conversation with a small amount of new content.

因此对智能体来说,“这个模型有多快?”主要意味着“它能以多快的速度处理此前多轮交互形成的长篇历史记录?”要快速处理包含许多先前轮次的任务,方法就是将其缓存起来并重新读入,而不是重复计算。

缓存为王

理解 KV 缓存(乃至前缀缓存)最简单的方式,是把它想象成阅读。设想一下,每读取页面上的一个新词,你都必须从页面顶部重新开始。读得越靠后,速度就越慢,因为你必须不断重读已经读过的所有内容。这就是没有缓存的模型。缓存可以在单个请求内解决这个问题:引擎保留处理早先 token 时完成的工作(以中间键值对的形式存储),只计算新 token。

前缀缓存会跨请求完成同样的事情。智能体会话的第 7 轮等于第 6 轮再加上一点新内容,因此,如果引擎仍保留着第 6 轮的计算结果,就只需处理新增部分。

Over ten equal-sized turns, recomputing the full transcript takes 55 units of prefill work. Reusing the cached prefix and processing only new tokens takes 10 units.

计算很简单。如果每轮增加相同的内容,十轮交互在没有缓存时需要处理 1 + 2 + … + 10 = 55 个单位的提示词;有缓存时只需处理 10 个单位。到一百轮时——这对编程任务而言并不罕见——两者就是 5,050 与 100 的差别。实际每轮的大小各不相同,因此这些数字应视为理想化示例。缓存会话也并非完全没有成本,因为每个新 token 仍然需要关注已缓存的 token。但整体规律不变:如果没有缓存,重复执行的工作量会随会话长度的平方增长。

问题在于,前缀缓存会从提示词开头开始匹配,直到遇到第一个不同的 token,然后便停止匹配。这个首个差异之后的所有内容都必须重新处理。

在提示词末尾添加内容不会带来额外成本。更改前面的任何内容,即使只是一个字符,也意味着其后的所有内容都要重新处理。如果改动靠近开头,就相当于丢弃了整个会话,现在必须重建缓存。本文其余几乎所有内容都源自这一条规则。

Appending a turn or tool definition preserves the cached prefix. Changing the initial tool list, system timestamp, or reasoning effort forces recomputation from the first changed token.

框架决定第一个差异出现在哪里。推理引擎则决定下一次请求到达时缓存是否仍然存在。我们先从框架讲起。

框架与 API

在 Ollama 这边,我们推出了通过 ollama launch 命令连接你常用框架的功能。因此,你可以将 Claude Code、Codex、Pi 等框架与 DeepSeek-V4.1-Flash、GLM-5.3 等开放模型连接起来,同时保留现有工作流。

将框架连接到 API 看似简单,但框架与模型之间存在许多转换层,双方的预期也各不相同。这往往会导致缓存失效(造成时间和金钱成本)、智能体出现无法解释的行为,甚至导致框架直接报错。

延后加载工具

如今,框架通常携带相当多的工具。如果一开始就把每个工具定义都放入提示词,不仅会把上下文浪费在任务永远不会用到的工具上,还会降低模型选择正确工具的能力。为缓解这个问题,较新的框架增加了工具搜索功能,让智能体可以先搜索工具,再自行加载并使用它。

假设你有一个具备这种能力的个人助理智能体。如果你要求它把你标星的活动导出到日历,它会搜索“calendar”,加载 save_calendar 定义,然后调用它。

对于缓存而言,问题在于这个定义应放在哪里。

Adding save_calendar to the initial tool list invalidates later history; appending it at discovery preserves the earlier prefix. The model format, API adapter, renderer, and tool-call parser must support that representation.

最直接的方法是把定义添加到工具列表中。这确实可行,但工具列表位于提示词顶部附近,在对话之前。因此,只要前缀发生变化,其后的所有内容都必须重新处理。在长会话中,这可能涉及数十万个 token。更好的方法是把定义放在末尾,反正新内容原本就会添加到那里。

但并非每个模型都支持这种做法。有些聊天模板不接受在对话中途出现工具定义,这会导致调用报错。因此,框架能否延后加载工具而不付出额外代价,取决于所用模型。用户不应该需要了解这一点,但任何构建框架的人都必须知道。

顶部发生变化的内容

破坏缓存最简单的方法,就是在系统提示词中放入每轮都会变化的内容,例如当前时间戳、git 状态,或智能体不断切换的工作目录。如果框架在每一轮都使用新值重新渲染系统提示词,那么每一轮都需要完整地重新读取。

有些内容在单次会话中固定不变,但会因会话而异,例如用户名或会话开始日期;它们不会影响当前会话,却会阻止新会话复用已经缓存的初始设置,这一点我们会在推理引擎部分讨论。无论哪种情况,解决方法都一样:只把这些信息放入一次任务消息中,并让系统提示词在所有地方保持完全一致。

推理强度

我们在 Ollama 这边遇到了这个问题。在 GLM-5.3-Flash 中,推理强度并不是由推理引擎在一旁单独处理的设置。聊天模板会把它写入最开始的系统块中,置于工具和对话之前。

Changing reasoning effort from low to high in the first system block of the GLM-5.3-Flash template invalidates the cached tools, instructions, and conversation that follow.

假设你已经深入执行一项长任务,但进展并不顺利。你将推理强度从低调到高。这么做很合理,但下一次请求几乎从第一个 token 起就与上一次不同。这意味着整个会话都必须重新处理。在长时间运行的任务中,仅仅更改一个设置,就可能耗费数十万个 token。

我们的建议是:一开始就选定一个推理强度,并保持不变。如果确实需要更深入的思考,通常以更高设置开启一个新会话,比继续原来的会话成本更低,而且还能获得一个干净的上下文。你也可以先压缩上下文,再更改推理强度,以减少提示词 token 的数量。

大型工具结果

工具的输出会成为下一次请求及此后每次请求的一部分。如果智能体在只需要四十行时读取了一个 3,000 行的文件,你付出的代价并非只有一次;在之后的每一轮中都要继续承担这一代价(即使内容已被缓存,也会占用上下文窗口)。为解决这个问题,框架通常会缩减工具输出。这种做法是正确的,但如何缩减工具输出很重要。

Silent truncation returns lines 1–100 of calendar.py without revealing that 640 lines exist. An explicit range and truncation notice let the agent find convert_timezone at line 420 and read lines 410–450.

下面这个问题很容易在无意中造成。任务是修复日历导出中的一个时区错误。智能体读取了 calendar.py,工具返回了一个 640 行文件的前 100 行,却没有说明输出已中止。真正相关的函数 convert_timezone位于第 420 行。模型完全不知道自己漏掉了任何内容。

解决方法只需在输出中加一行,告诉模型它拿到的是 640 行中的第 1 至 100 行,并且可以搜索该文件或请求另一个范围。有了这条信息,模型就会搜索“timezone”,找到第 420 行,然后读取第 410 至 450 行。缩减输出可以节省成本,但缩减时不加说明,会让模型自信地编辑它从未见过的代码。

子智能体

Kimi K3、GLM-5.3 和 GLM-5.3-Flash 等开放模型如今已经相当擅长拆分大型任务,并将各个部分交给子智能体。框架启动每个子智能体的方式,决定了它能复用多少父智能体的缓存。

A subagent can inherit the parent's full context and reuse more cached history, or receive a brief with relevant files and constraints to carry less context. Both can reuse matching shared setup when cached state is available.

一种选择是让子智能体继承所有内容:相同的系统提示词、工具和对话,再加上分配给它的任务。侧聊就是以这种方式运作的。它们从父会话分支出来,因此整个前缀都已被缓存。另一种选择是向其发送一份简要说明:使用相同的系统提示词和工具,然后只提供子智能体所需的文件和指令。在这种情况下,缓存只涵盖初始化设置,不包括其他内容。

继承上下文听起来肯定更好,但事实并非如此。处理已缓存的前缀成本较低,却并非免费。子智能体生成的每个 token 仍然需要读取整个前缀,而且该前缀会始终占用 GPU 内存。一个只需要两个文件和一份检查清单的审查智能体,大概不需要三百轮历史记录。此外,如果你为子智能体提供独立的系统提示词,它与父智能体将完全无法共享缓存,甚至连初始化设置也不能共享。

推理引擎侧

即使你完美地完成了上述所有工作,也可能仍然无法从中受益。缓存必须仍然存在,而且下一次请求必须抵达保存该缓存的机器。

在 Together AI,我们将推理引擎视为一台让 GPU 保持忙碌的机器。单块 GPU 每年的租用成本约为 5 万美元,因此理想情况下,它绝不应该闲置;而且在任意时刻,它都在为数百名用户提供服务,每名用户的请求都处于不同的处理阶段。智能体流量会以几种特定方式对这些约束构成压力。

为获得最佳缓存命中率而路由请求

Route a session to a suitable data center, then a node holding its cached prefix. A prompt_cache_key can keep requests on the same node; prefix hashing can find the longest cached match. A cold node repeats prefill.

一个会话的缓存位于某个特定数据中心的特定节点上。如果对话的下一轮请求落到其他任何地方,该节点就必须从头处理此前的所有轮次,而此时会有两个节点存储相同的前缀。为了正确路由,我们首先需要选择一个运行该模型、有可用容量且此前一直承载该会话的数据中心。然后,我们还需要在其中选择一个保存了此前轮次缓存的节点。

选择节点主要有两种方式。简单的一种是使用键:客户端随每个请求发送类似 prompt_cache_key 的内容,理想情况下,我们会将具有相同键的每个请求都路由到同一节点。另一种方式是对前缀进行哈希,并将请求发送到缓存了最长匹配前缀的节点,即使该前缀是由另一个会话放入缓存的。

第二种方案也是保持系统提示词完全相同的另一个原因。如果某个智能体框架的每个会话都以完全相同的系统提示词和工具定义开头,那么一个全新的会话或许能发现这些初始化内容已经缓存。如果你在其中加入唯一标识符,就必然会让每个会话都从冷缓存开始。

但事情也并非总是简单到把请求发送至已有热缓存的节点即可。有时热缓存节点的流量负载过高,这时就需要在原地排队等待与选择空闲节点并付出重新处理前缀的成本之间权衡。在这种负载感知路由范式下,缓存未命中有时反而更划算。因此,即使提示词完全稳定,如果后端推理引擎实现不当,也无法保证缓存命中。

在各轮之间保持缓存有效

只有仍有缓存可供路由时,路由才有用。智能体经常会发起工具调用,然后在测试运行期间等待几分钟。让该会话的缓存始终留在 GPU 内存中会占用活跃用户所需的空间,而将其丢弃则意味着智能体结束工具调用返回后,需要重新读取所有内容。因此,我们也可以在会话空闲时将缓存卸载至 CPU 内存,并在下一轮恢复。

内存是这一切背后的主要制约因素。我们无法预先知道一条回复会有 30 个 token 还是 30,000 个,因此,我们不会按照最大上下文长度这一最坏情况预留空间,而是随着每个请求的需要,以小块形式分配缓存内存(PagedAttention),就像操作系统管理 RAM 一样。我们还会在每一轮处理时重建正在运行的批次(连续批处理),因此,当一个智能体同时启动五个子智能体时,每个新请求都会在有槽位释放的那一刻立即占用它,而不必等待同一批次中最慢的请求完成。

Static batching leaves slots idle after shorter requests finish, until the longest request ends. Continuous batching fills freed slots with new requests on the next pass.

Reserving maximum cache space lets three requests fill GPU memory with mostly unused capacity. Paged allocation draws blocks from a shared pool, fitting four requests with half the pool still free in this example.

对于构建智能体框架的人来说,结论是:通常限制一块 GPU 能够同时处理多少请求的,是缓存内存的余量,而非算力。每一份过大的工具结果,以及每一个携带无关历史记录的子智能体,都会占用原本可供另一个会话缓存使用的内存。

智能体还将预填充与解码的分离推向极致,其提示词极其庞大,回答却很短。为了更好地优化这一过程,我们让两个阶段在不同的集群上运行。一个集群针对算力进行调优,负责预填充;另一个针对内存带宽进行调优,同时为数百个流执行解码,缓存则通过 RDMA 在两者之间传输。这样一来,即使涌入一批很长的智能体提示词,也不会拖慢其他所有人的 token 流式输出。

Separate clusters handle compute-heavy prefill and bandwidth-heavy decode. The prefill cluster produces the first token and transfers the KV cache over RDMA to the decode cluster; each cluster scales independently.

综合来看:一个会话,两端协作

以下是这一切在单个会话中的实际情况。

在智能体框架一侧,智能体找到日历工具,并将其添加到对话末尾,因此它上方的内容都不会发生变化。它读取了 calendar.py,发现自己只获得了 640 行中的第 1 至 100 行,于是搜索“timezone”,并读取正确的章节。推理强度保持初始设置不变。一个审查子智能体继承该会话,以便核对 agenda.ics 与 sessions.json.

在推理引擎一侧,每一轮请求都会返回缓存了该会话的节点。测试运行期间,缓存会在 CPU 内存中等待。审查子智能体的请求会加入正在运行的批次,而每一轮只处理新增内容。

使用智能体的人看不到这些过程;他们只会发现,即使进行到第九十轮,它依然很快。但这只有在两端都各司其职时才能实现。即使智能体框架能让提示词保持完全稳定,如果推理引擎把第 7 轮请求发送到错误的机器上,缓存仍会丢失。即使推理引擎的路由完美无缺,如果智能体框架每一轮都修改第一行,缓存同样会丢失。

要了解有关构建智能体和开放模型的更多信息,请参阅 Parth 的博客 以及 Together AI 博客.