Cloudflare 通过 AI Gateway 公测 Auto Router，按请求分类选模型

Cloudflare 最近通过 AI Gateway 公测了 Auto Router。将模型设为 cloudflare/auto 后，分类器会为每个请求挑选一个模型。公告中最有用的内容是一项基准测试，其中 Cloudflare 自家的路由器落败。

路由分两个阶段运行。AI Gateway 首先构建候选池，过滤掉无法处理请求格式的模型，并应用凭证、计费配置、访问控制和支出限额。随后，一个多头分类模型在 Workers AI 上、跨 Cloudflare 的边缘 GPU 运行，在 14 个任务类别上分配概率，并从四个维度对请求按 1 到 5 打分：复杂度、歧义、风险和依赖前文程度。一个评分矩阵将这些与基准结果结合，依据所述公式“utility = expected quality - adaptive cost penalty”。

Auto Router 仅根据最新的几轮对话对每个请求进行分类，文本上限为 8 KiB，然后按任务强度和对更难工作的预期收益为候选模型打分，随着难度上升，价格的权重会降低。（来源：Cloudflare 博客文章）

Jacques B 是一位从事智能体工程的 CTO，他在 Cloudflare 发布的一篇 LinkedIn 帖子中点出了真正重要的衡量标准：

如果还得再花一个小时来修复结果，那么更便宜的模型也省不了多少钱。

Cloudflare 恰好公布了这一数字。在 97 项任务上，每个模型三个样本，并进行 10,000 次自助重采样：

以大约三分之一的支出换来十个百分点的可靠性。团队可以自行决定自己站在哪一边，而这比大多数路由产品所能提供的更多。

分类方式本身引发了从业者最尖锐的回应。曾参与银行和医疗平台工作的技术负责人 Igor Pyrin 指出，风险评分是基于偏向近期轮次的精简视图得出的：

在长时间的智能体会话中，用户可能一开始说“这是一笔客户退款”，之后只说“继续吧”。我会跨轮次携带一个由应用方持有的风险标签，并用它来决定该请求是否可以使用 cloudflare/auto。一条简短的最终指令不应悄悄降低底层操作的风险分类。

真正提交动作的那一轮，恰恰是对话中看起来最廉价的一轮。

文档还补充了两点。响应会携带 cf-aig-routed-model 和 cf-aig-routing-reason，其值如 cost_optimal_within_pool 和 pinned_by_turn，因此这一选择在事后是可审计的。此外，候选池可以通过 cf-aig-allowed-models 和 cf-aig-allowed-providers 请求头按请求加以限制，但不能作为已保存的路由配置文件来实现，而这正是 Adam Natad 在发布帖中所要求的。

在信任这些数字之前值得核实一下：如今的默认池列出了 Claude Opus 5、Sonnet 5 和 Fable 5，以及 GPT-5.6 Luna、Sol 和 Terra，还有 Grok 4.5。而表格中的两个基线 Opus 5.5 和 GPT-6 Sol 则位于仅能通过上述请求头访问的选入列表中。Cloudflare 表示该池“可能会随时间变化”，所以这可能是漂移而非设计使然，但复现该基准测试的团队应当确认其网关实际选择的是什么。

会话处理同样带来成本。没有会话 ID，同一对话中的请求可能落到不同模型上，无法复用提示缓存。出于同样的原因，Cloudflare 会施加一种随上下文长度增长的切换惩罚，因为新模型可能以输出价格重做推理 token。

在 Reddit 上，评论者 reachjalil 直接否定了这一前提，认为自动路由器“最终会让你花更多钱却得到更低的智能”，并且如果看重结果，一个能力强的模型反而更便宜。评论者 yangqi 回应说，衡量单位应该是任务，而不是请求。reachjalil 的后续发言触及了 Cloudflare 也承认的一点：分类本身对大模型来说更容易，而且权重会过时，“尤其是在模型不断变化的情况下”。该帖子称路由权重来自基准测试结果，因此新模型必须手动加入评分矩阵。

Auto Router 在测试版期间免费，之后的价格尚未公布。它不支持 WebSockets，因此仅剩 Chat Completions 和 Responses API 可用。

路线图上还有 cloudflare/auto-best，它使用相同的分类器和候选池，在不做成本权衡的情况下选择预期质量最高的模型。