Arena 分析 26,225 条 Agent 会话：没有缓存，智能体成本高 3.6 倍

作者：@DawidGalarowicz

上周，OpenAI 的 Tibo Sottiaux 宣布 API 支持 12 小时提示缓存，Codex 和 Work 中的缓存永不过期。回复褒贬不一：一些用户欢呼，另一些则感到困惑。缓存为何如此重要？

为了看清利害所在，以及各家实验室为何如此专注于缓存，我们分析了 Agent Arena 在 2026 年 9 月 12 日至 10 月 23 日期间的追踪数据，涵盖 26,225 个会话、30 个智能体和 13 家实验室。此外，我们还查看了六家实验室自 2024 年 1 月以来的缓存价格历史。

主要发现

两年内，缓存折扣从零降至 95%。2024 年初，缓存读取的费用与全新输入一样高。如今，领先实验室的前沿模型只收取输入价格的 5%。

缓存是让智能体保持可负担的关键。没有它，排名前十的智能体执行一个典型任务的成本会高出 3.6 倍。对于最重的 5% 任务，差距可达数百美元：在 Claude Fable 5.1 上，无缓存时每个任务约 780 美元，有缓存时约 115 美元。

智能体的开销主要花在重复读取上。智能体使用的 token 中，86% 至 96% 是它已经见过的上下文。只有约百分之一是智能体自己写出的文本。

每次缓存失效都会带来可观的费用。每次失效都会按全价重新计费整个对话，使典型任务成本增加约 5%，而在 Claude Fable 5.1 上，每 10 次会话中就有 1 次增幅超过 18%。在长对话线程中，这些成本会急剧上升。

各家实验室正竞相降低缓存价格

缓存折扣是相对较新的发明。2024 年初，没有任何实验室提供此类折扣。

首批实验室在 2024 年 6 月至 10 月间推出了缓存折扣，到 2026 年，Anthropic、OpenAI 和 Google 已将其定为输入价格的十分之一。自 2026 年中期以来，这三家都已将前沿模型降至 5% 或更低，而 DeepSeek 自春季以来一直只收取 2%。

这场竞赛正是当今智能体经济性的基础。

缓存让你的账单最多便宜 7 倍

如果每个缓存 token 都按完整输入价格计费，Agent Arena 用户交给排名前十智能体之一的典型任务成本会高出 3.6 倍。在各模型上，用户将多付 92%（Gemini 4 Argon）至 592%（MiMo V2.6 Pro）不等。

这一变化的影响在能力最强的 LLM 上最为明显，尤其是换算成金额之后。

如今，Claude Fable 5.1 的一个典型任务成本为 7.44 美元；若无缓存，成本将是 27 美元。这意味着启用缓存后，可以委托给 Fable 的任务数量超过 3.5 倍。

任务越重，缓存越重要。没有缓存，最重的 5% 任务成本将是：

GPT-6 Astra 和 Claude Fable 5.1 上每个约 800 美元，而有缓存时为 115 至 220 美元。

Kimi K3.1 Pro 上 106 美元，Gemini 4 Argon 上 31 美元，MiMo V2.6 Pro 上 11 美元，是有缓存时的四到十倍。

但缓存为何如此重要？这取决于智能体如何使用 token。

智能体主要在重复读取，而重复读取构成了大部分账单

智能体对 token 的使用可分为三类。输出是模型写出的内容，包括推理。新输入是它首次看到的材料，包括缓存写入。重复读取，即缓存读取，是它已经见过并在后续调用中重新读取的上下文。

对于这些智能体，重复读取占 token 的 86% 至 96%，而输出仅占 1% 至 2%。在前十名中，智能体每写出一个 token，大约要重复读取 93 个 token。

这是因为模型在调用之间不保留任何记忆。智能体循环的每一步都会把整个对话重新发送回去，而提供商则从缓存中提供它已经见过的内容。随后产生的回复又会被之后的每一步再次读取，于是雪球越滚越大（快速解释见下方视频）。

这一机制使得重新读取此前的对话远比重新发送便宜，通常只有价格的十分之一或二十分之一。但它只有在提供商仍保存着该对话时才有效。如果提供商不再保存，会发生什么？

每次缓存失效都会增加费用

上面两张成本图表展示了极端情况：什么都不保存，完全没有缓存。

在实践中，缓存大多数时候表现符合预期，但失效确实会发生。结果，智能体不得不按全价重新发送整个对话。这是使用智能体的正常组成部分，我们在以下情况会看到缓存失效：

保存的缓存过期。提供商只会保留一段时间，从几分钟到几小时不等。例如，Anthropic 默认保留 5 分钟，OpenAI 保留 30 分钟，两者都收取额外费用以延长保留时间。如果用户离开，或某个工具运行时间很长，那么智能体继续时缓存可能已经消失。

对话发生变化。为节省空间而摘要较早的消息、编辑或重试较早的消息，或更改智能体的工具，都会改变对话的开头。保存的缓存不再匹配，因此变更之后的所有内容都必须重新发送。

提供商丢弃缓存。在高负载下，提供商可能会提前清除保存的缓存，或者请求可能到达没有该缓存的其他服务器。

为了了解其中一次缓存失效的代价，我们选取了真实的 Agent Arena 对话，并在智能体于轮次之间重新接续的每一个节点上，计算了按完整输入价格而非更便宜的缓存价格重新发送此前全部对话所需的成本。对这些节点取平均，即可得到任务中随机时刻发生缓存失效的近似成本。

结果显示，单次缓存失效会使典型任务的成本增加约 5%。在某些会话中，影响要大得多：每 10 次会话中有 1 次，账单增幅超过 13% 至 21%（取决于模型）；每 20 次中有 1 次，增幅超过 25% 至 38%。缓存越便宜，涨幅越大：在 MiMo V2.6 Pro 上，其缓存读取成本不到输入价格的 1%，这些数字升至 44% 和 69%。

在长对话中，这些成本会累积，因为每一次后续失效都意味着要重新发送更多上下文。例如，在 Agent Arena 的一次 Claude Fable 5.1 会话中，短暂停顿后的六次失效使账单增加了 42%。

这正是 OpenAI 最新改动所弥合的差距。如果你不确定该如何理解 Tibo 的帖子——确实有理由庆祝。

方法论

数据

智能体轨迹：来自 Agent Arena 的 26,225 个会话，结束时间在 2026 年 9 月 12 日至 10 月 23 日之间，每个模型最多 1,000 个，覆盖 30 个智能体。 这些模型涵盖截至 10 月 8 日智能体排行榜的前 20 名，以及另外 10 个模型，以提供多样化样本并展示对前沿模型的影响。 提及前 10 名智能体时，指的是 10 月 8 日排行榜上的前 10 名。 图中仅展示了部分模型。

价格：标价来自各实验室的定价页面。 价格历史涵盖 2024 年 1 月以来的数据。

方法

成本：按任务和标价计算。 每个模型都按照 API 客户的计费方式定价。 token 图表展示了所有会话中的占比和平均 token 数。

无缓存：任务中的每个缓存 token 都按完整输入价格重新计价，token 用量保持不变。

缓存失效：我们抽取了至少有两轮的 Agent Arena 会话，并考虑了会话中的每一轮。 在每一轮，我们取截至当时的对话，计算按完整输入价格发送与从缓存读取之间的差额。 对会话各轮取平均，即得到在随机时点重启的额外成本。 然后除以该会话的每任务成本，得到百分比版本。 对于每个模型，我们取各会话的中位数作为典型成本，并给出第 75、90 和 95 百分位数。