请旋转您的设备

要继续浏览本网站,请将您的设备旋转至竖屏方向

产品介绍 Baseten Router:一款面向编码任务的帕累托最优模型路由器

Baseten Router 会为每项编码任务选择最合适的模型,通过率与 Opus 5.5 相差不到 0.8 个百分点,成本却降低 72%。现已在 Baseten Grid 上进入公开预览。

作者Guillaume TroadecGuillaume TroadecblauMatthew BlauAidanAidan PhillipsJosh GreenJosh GreenErvin WangErvin WangAlex TanAlex Tan日期2026年11月4日Introducing Baseten Router: a Pareto-optimal model router for coding tasksTLDR

Baseten Router 会将每项编码任务分派给合适的模型,无论开源还是闭源,因此只有当任务确实需要时,你才需支付前沿模型的价格。在基准测试中,它的通过率与 Opus 5.5 相差不到 0.8 个百分点,成本却降低 72%。在我们测试过的路由器中,它是唯一一款以统计显著优势胜过随机路由的。Baseten Router 是 Baseten Grid 的一部分,现已进入公开预览。

今天,我们分享为 Baseten Grid 训练智能模型路由器的初步结果。

并非每项编码任务都需要能力最强的模型。随着 AI 编码支出持续快速增长 [1] 而更廉价的开源权重模型不断缩小能力差距 [2],为每项任务选择正确的模型变得越来越有价值。Baseten Router 会根据每个编码任务的预期性能和成本在模型之间进行选择。目标是在任务需要时实现前沿性能,并且只在任务需要时才支付前沿价格。

与每项任务都使用 Opus 5.5 相比,Baseten Router 将成本降低了 72%,同时通过率仍保持在其 0.8 个百分点以内;该结果是在涵盖 DeepSWE、SWE Atlas QnA 和 Terminal-Bench 的测试集上测得的。调整路由阈值可让用户在成本-性能帕累托前沿上选择各种权衡方案。

在可用的商业路由器中——包括来自 Fireworks [3]、Together AI [4]和 Applied Compute [5] 的产品——Baseten Router 是我们在这些基准测试中评估过的唯一一款在同等成本下以统计显著优势胜过随机路由的路由器。

Every Baseten point sits above the band where 90% of random routers fall and ahead of the other commercial routers (OpenRouter, FireRouter, Together, Applied Compute), so you get close to Opus-level accuracy at about a quarter of the cost.
Baseten 的每个数据点都位于 90% 随机路由器所处的区间之上,并领先于其他商业路由器(OpenRouter、FireRouter、Together、Applied Compute),因此你能以约四分之一的成本获得接近 Opus 级别的准确率。

我们正与设计合作伙伴紧密合作,针对其生产编码工作负载对 Baseten Router 进行专门优化,并在真实环境中验证其性能。早期反馈令人鼓舞,我们将很快分享这些结果。

Opendoor 几乎所有人都在使用 AI,而大多数人并不想对选择哪个模型发表意见。自动路由会自动将他们引导到正确的模型,因此他们始终保持充分的自主权,我们也不必再为不需要前沿能力的工作支付前沿价格。

— Chintan Parikh,Opendoor 工程负责人

本文详细介绍了我们如何为 Baseten Router 打造具有竞争力的性能,以及我们如何持续改进我们的方法。

我们如何构建 Baseten Router

问题的提出

在输入提示中,Baseten Router 会判断该编码任务应由前沿闭源权重模型还是更便宜的开源权重模型来完成。在这些实验中,我们在 Opus 5.5 与 GLM 5.3 Flash 之间进行路由。我们选择 GLM 5.3 Flash,是因为它是一个强大的编码模型,在相关负载下比 Opus 5.5 便宜约 80%。我们的方法可以扩展到 Baseten Grid.

我们的目标是构建一个模型路由器,它能在两个模型之间做出选择,并在成功率和成本之间取得比任一模型单独使用时更好的权衡。我们将路由表述为选择得分最高的模型,其中得分是预测成功率减去与预测成本成正比的惩罚项:

πλ(x)=arg⁡max⁡m∈{Opus,GLM} p^m(x)−λ c^m(x)\pi_\lambda(x)=\arg\max_{m\in\{\text{Opus,GLM}\}}\ \hat p_m(x)-\lambda\,\hat c_m(x)πλ​(x)=argm∈{Opus,GLM}max​ p^​m​(x)−λc^m​(x)

对于给定的编码任务 xxx,p^m\hat p_mp^​m​ 和 c^m\hat c_mc^m​ 分别是模型 m 在该任务上的成功率与以美元计的成本的预测值,而 λ\lambdaλ 是一个可配置的权重,用于控制这一权衡。直观地说,当 Opus 更高的预测成功率足以证明其额外成本合理时,这一机制就会偏向 Opus。

Illustrative example of Baseten Router, which currently routes between Opus 5.5 and GLM 5.3 Flash.
Baseten Router 的示例说明,该路由器目前在 Opus 5.5 与 GLM 5.3 Flash 之间进行路由。

为什么从编码基准测试开始

评估路由器有两种截然不同的方式:在编码基准测试中,以及在生产环境中。路由器在生产环境中的表现对我们和客户而言最为重要:模型路由能在多大程度上降低团队的 AI 编码支出,同时保持其工程工作的质量。

然而,要跨不同路由器比较在线评估的结果并非易事。这些测试涉及不同的用户和任务、不同的任务成功定义,以及不同的成本节省计算方法。

编码基准测试提供了一个受控且透明的框架,使我们能够在具有明确成功标准和成本计算的共享任务上比较不同的路由器。此外,我们相信,在基准测试上开发优秀路由器所需的专业知识,是在生产环境中表现出色所需专业知识的一个子集。因此,我们将编码基准测试上的强劲表现视为迈向生产部署的重要里程碑。

通过严谨对待数据质量、量化噪声并与有意义的基线进行比较,我们在将 Baseten Router 推向客户生产工作负载的过程中,对其能力建立了信心。

构建训练集和测试集

为了训练 Baseten Router,我们在可验证的编码任务上生成了轨迹。我们的训练集由公开编码数据集构建,涵盖缺陷修复、功能实现、代码库问答和终端任务。对于每个任务,我们都在高推理强度下运行了 Opus 5.5 和 GLM 5.3 Flash,并记录了验证器输出和模型成本。

Baseten Router’s training data mix, broken down by category and benchmark.
Baseten Router 的训练数据组合,按类别和基准测试细分。

为了评估训练集之外的泛化能力,我们使用了三个基准测试作为测试集,分别涵盖长时程编码任务(DeepSWE 1.1)、代码库问答(SWE Atlas QnA)和终端任务(Terminal-Bench 2.1)。我们选择这些基准测试,是因为它们覆盖了与生产编码工作高度相关的类别,并且已被纳入 Artificial Analysis 的 Coding Agent Index(v1.4) [6] 以及 OpenRouter 的 Router Benchmark(初始版本) [7].

这一过程中一个被低估的方面是数据集的清洗。我们修正了评分器错误和损坏的任务环境,增加了防止作弊的保障措施,并移除了测试集中存在对应仓库的训练任务。此外,由于智能体编码具有非确定性,我们量化了同一任务重复运行之间以及重复评估运行之间的不确定性,以提高结果的稳健性。我们将在下文进一步讨论这一点。

控制噪声

基准测试结果存在噪声,这意味着路由器可能因偶然因素而表现良好,而非具备真实能力。为了更严格地控制这一点,我们设计评估时考虑了两类噪声来源:

  1. 标签噪声: 同一个模型可能在一次运行中通过同一任务,而在另一次运行中失败。

  2. 选择噪声: 随机路由器可能碰巧将任务路由到 GLM 并使其成功,从而让它看起来比实际更有效。

标签噪声

生产环境中的模型具有非确定性,这意味着同一个模型可能在一次运行中通过某项任务,而在下一次运行中失败。因此,单次运行无法可靠地衡量某项任务对该模型的难度。为了量化这种不确定性,我们计算信噪比(SNR)。信号 τ2\tau^2τ2 衡量 Opus 与 GLM 通过率之间的真实差距在不同任务之间的变化程度。噪声 σO2\sigma^2_O σO2​ 和 σG2\sigma^2_GσG2​ 衡量每个模型在同一任务的多次尝试之间结果的变化程度。对每个任务分别平均 kOk_OkO​ 次 Opus 运行和 kGk_GkG​ 次 GLM 运行,会按照以下公式缩小噪声:

SNR=τ2σO2/kO+σG2/kG。\text{SNR} = \frac{\tau^2}{\sigma^2_O/k_O + \sigma^2_G/k_G}.SNR=σO2​/kO​+σG2​/kG​τ2​。

信噪比越高,我们就能越精确地衡量路由器的性能。每个模型只运行一次时,合并后的测试信噪比为 0.27,这意味着测试集中的噪声几乎是信号的近四倍。通过让 Opus 将每个测试任务运行四次、让 GLM 运行八次,我们将信噪比提升到了 1.51。更高的信噪比使我们更容易区分做出更优决策的路由器与仅凭运气的路由器。

本博文中提到的每个测试集通过率均为这些运行的平均值。

Every test set pass rate mentioned in this blog post is an average over those runs.

选择噪声

为了证明路由器确实学到了有用的信号,我们必须表明它超越随机路由的程度超出偶然。

随机路由器被定义为将随机子集的任务发送给 GLM,其余任务发送给 Opus。将更多任务发送给 GLM 会同时降低预期成本和预期通过率,因此平均而言,每个随机路由器都落在始终使用 Opus 与始终使用 GLM 之间的某个位置。

下图展示了通过率与每任务平均成本之间的关系。始终使用 Opus 5.5(右上角)和始终使用 GLM 5.3 Flash(左下角)是随机路由的两个端点。连接两者的虚线表示在每个成本水平上的平均随机路由器。

对于发送给 GLM 的每个任务比例,我们模拟 10,000 个随机路由器,每个路由器选择不同的随机子集。灰点就是这些路由器的一个样本。灰色带覆盖了它们通过率的中间 90%,即从第 5 百分位到第 95 百分位。如果某个路由器的表现位于该带之上,我们就称其性能具有统计显著性:在相同成本下,它的通过率超过了 95% 的随机路由器。

Illustrative example of the random routing gray band. Router X lies above the band, so it beats random routing at the same cost by a statistically significant margin. Router Y lies inside the band, so its performance is indistinguishable from random routing. Illustrative example of the random routing gray band. Router X lies above the band, so it beats random routing at the same cost by a statistically significant margin. Router Y lies inside the band, so its performance is indistinguishable from random routing.
随机路由灰色带的示例说明。路由器 X 位于该带之上,因此在相同成本下,它以统计显著的幅度优于随机路由。路由器 Y 位于该带之内,因此其性能与随机路由无法区分。

架构实验

Baseten Router 的问题建模要求它在一个任务中找到能够预测选择某个模型相对于另一个模型的价值信号。本节描述了我们测试的架构,以及早期结果如何塑造了我们的最终方案。我们使用留一基准交叉验证在训练集上比较了各项实验。

探索嵌入

我们首先嵌入任务指令,并分别拟合独立的预测头,以预测每个模型的成功概率和预期成本。预训练嵌入模型,例如 Qwen3-Embedding [8] 以及 EmbeddingGemma 2 [9],是一个自然的起点:它们能捕捉任务的语义特征,而无需训练语言模型。

为了弄清哪些预测起了作用,我们比较了三种路由方案:仅预测成功优势、仅预测预期成本,以及预测相对于预期成本的预期成功优势。仅基于预测成本进行路由,捕获了初始路由器相对于随机路由的大部分(但并非全部)增益。

一种假设是,嵌入捕捉了任务范围,而任务范围是比“哪个模型会成功”更清晰的成本信号。后续分析支持了这一点:需求数量和估计的代码差异大小与成本强相关,但与模型之间成功率差距并不强相关。

同时预测成功优势和预期成本带来了最佳的交叉验证结果,因此我们在后续实验中保留了这一设置。

Comparison of router pass-rate gain by predicting: only cost, only success rate, both cost and success rate.
按预测内容比较路由器的通过率增益:仅预测成本、仅预测成功率、同时预测成本与成功率。

超越语义相似性

在确认嵌入路由器优于随机路由之后,我们接下来探究了哪些特征驱动了这些增益。其中一些特征,例如任务类别,是合法的路由信号。例如,实现一个新功能与回答一个关于代码库的问题,具有不同的成功率和成本特征。然而,嵌入也可能捕捉到特定于任务所属基准的线索。依赖这些线索存在学到无法迁移到新基准或生产环境的捷径的风险。

我们训练了一个线性探针,以检验基准身份是否被编码在嵌入中。该线性探针达到了89%的平衡准确率,这意味着基准身份可作为路由捷径被利用。接下来,我们探究了嵌入是否捕捉到了有用的任务级信息。要在某一类别内实现良好路由,路由器必须将那些前沿模型的额外能力足以证明其额外成本合理的任务,与那些并非如此的任务区分开来。我们发现,嵌入空间中邻近的任务获得了相似的路由分数,但Opus相对于GLM在这些任务上观察到的优势仅呈弱相关。这表明,朴素的嵌入路由器难以学到区分任务所需的有意义表示。

这些发现推动了两个方向:减少表示中特定于基准的线索,以及测试更明确的任务特征是否能提供额外的路由信号。我们尝试了多种方法,包括重写提示以去除特定于基准的线索、对相似任务聚类进行修正,以及提取结构化任务属性。结构化任务属性,例如任务的范围、所需领域知识及其模糊程度,特别有用,因为它们更明确地描述了任务所需的工作。我们随后探索使用决策模型,具体来说是 来自 Base Labs 的 elephant-1 和 mammoth-1,以提取这些属性。

从模型激活中读取成本信号

与此同时,我们探究了模型的内部状态是否包含有用的路由信息[10, 11, 12我们在每个任务上运行 GLM 5.3 Flash 而不生成回复,捕获其中间激活,并拟合一个预测头来估计后续回复中的步数。

在我们的验证集上,中间激活以约0.6的Spearman相关系数预测了智能体步数。该信号随深度增强,随后趋于平稳,并在最深层减弱,这与文献中的发现一致。 [12]这支持使用中间激活来估计GLM的运行长度,并由此推断其预期成本。

GLM 5.3 Flash’s intermediate layers are predictive of how many steps its response will take.
GLM 5.3 Flash 的中间层能够预测其响应将需要多少步。

为降低路由器因获取 GLM 5.3 Flash 内部激活而产生的延迟,我们探索了多种量化技术,并使用较小的 Qwen 模型作为 GLM 5.3 Flash 内部层的代理。这显著降低了路由器的端到端延迟,同时保持了路由性能。

综合各项实验

我们最终的路由器结合了实验中获取的最有用信号,包括结构化任务属性和模型内部激活,来预测每个模型的成功率和预期成本。

结果

我们在三个从训练中留出的基准测试上测试了 Baseten Router——DeepSWE 1.1、SWE Atlas QnA 和 Terminal-Bench 2.1——并将其与其他提供商提供的路由器进行了比较。报告的通过率是每个任务多次运行的平均值。

Baseten Router 是帕累托最优的

我们在分布外测试集上观察到了很强的泛化能力。Baseten Router 的通过率与 Opus 5.5 相差在 0.8 个百分点以内,成本却低 72%;在我们测试过的路由器中,它的每一个阈值设置都位于通过率与成本权衡的帕累托前沿上。

Baseten Router 位于灰色带上方,该灰色带覆盖了随机路由器的中间 90%。这意味着它在每个阈值上都以统计显著的幅度优于随机路由。在我们测试过的路由器中,没有其他路由器在这组基准测试上能做到这一点。

Baseten Router 提供了一系列阈值,用于配置其在帕累托前沿上的位置:Cost、Balanced 和 Intelligence。这些阈值可以在请求时传递给同一个路由器,而无需任何重新训练。

Results on the test set comprising DeepSWE 1.1, SWE Atlas QnA, and Terminal-Bench 2.1, showing the change in pass rate (percentage points) and cost savings relative to always using Opus 5.5. Thresholds are configurable operating points for the same Baseten Router deployment.
在包含 DeepSWE 1.1、SWE Atlas QnA 和 Terminal-Bench 2.1 的测试集上,结果显示了相对于始终使用 Opus 5.5 的通过率变化(百分点)和成本节省。阈值是同一 Baseten Router 部署的可配置运行点。

延迟

我们在单张 B200 GPU 部署上,测量了路由器在并发水平不断提高时的端到端延迟。在 4 个并发请求下,p50 和 p95 延迟分别为 273 ms 和 429 ms。这种亚秒级的开销路由相对于完整的编码助手回合来说很小,后者通常需要数十秒 [13]如果需要更高的并发量,我们可以轻松地从单张 B200 GPU 扩展部署规模。

Baseten Router’s end-to-end latency on a single B200 GPU deployment Baseten Router’s end-to-end latency on a single B200 GPU deployment.Baseten Router’s end-to-end latency on a single B200 GPU deployment Baseten Router’s end-to-end latency on a single B200 GPU deployment.
单张 B200 GPU 部署下 Baseten Router 的端到端延迟 单张 B200 GPU 部署下 Baseten Router 的端到端延迟。

公平地比较各路由器

这些结果表明,Baseten Router 在运行任何评估之前选定的基准测试上表现强劲。在解读结果时,还有几个因素需要牢记。

首先,路由器性能取决于底层训练分布和优化目标。尽管我们评估的大多数其他路由器也报告了在编码基准测试上的结果,但它们可能针对不同的工作负载。我们的结果确立了在特定基准测试上的性能,我们认为这些基准测试能够代表真实的软件工程工作。在其他基准测试上,路由器的相对性能可能有所不同。

其次,各路由器可用的模型池并不相同。除一个路由器外,其余路由器都同时提供 Opus 5.5 和 GLM 5.3 Flash。有一个路由器仅限使用 Anthropic 的模型。我们的比较按各路由器实际提供的能力进行评估,而模型池的选择本身就是被评估路由器的一部分。

在生产环境中验证性能

我们接下来的重点是将这些收益从基准测试扩展到生产环境。两者的用途不同:基准测试让我们在相同任务、相同成功标准下比较各路由器,而生产环境则让我们在真实客户工作负载上衡量成本节省和质量。

在生产环境中进行路由会带来三项新挑战:

  1. 请求的表述则不那么明确。 基准测试可能会描述一个 bug、指出受影响的代码,并说明如何复现它。而在生产环境中,工程师可能只会写一句“修一下这个”,然后粘贴一段堆栈跟踪。

  2. 成功则更难衡量。 基准测试附带测试,用于验证任务是否被解决。生产任务没有对应的标签,因此要在生产编码轨迹上训练路由器,就意味着要从会话中推导信号,例如用户是否纠正了智能体,以及代码是否在后续轮次中被保留。 [14].

  3. 任务本质上是多轮的。 在基准测试中,智能体接收单个提示并持续工作直至完成。而在生产环境中,用户会审查智能体的工作、进行纠正,并在后续轮次中要求更多工作。这意味着一个会话可能包含多个难度不同的任务。最佳模型可能在会话中途发生变化,但切换模型可能意味着重新处理对话上下文,并丧失热 KV 缓存带来的优势。因此,轮次级路由器必须权衡会话中途切换模型所带来的收益与其额外成本。

我们通过构建专门针对生产请求的训练和评估环境、从真实编码轨迹中提取成功信号的标注流水线,以及支持 KV 缓存感知的轮次级路由策略,来应对这些挑战。

我们还在与设计合作伙伴合作,将 Baseten Router 专门针对其编码工作负载进行定制,并把基准测试中的成本-质量收益扩展到生产环境。我们的目标始终如一:在每项任务上都实现前沿性能,并且只在任务需要时才支付前沿价格。

如果您想了解 Baseten Router 能为您的负载带来什么,我们很乐意与您交流。

参考文献

  1. Menlo Ventures,2025:企业生成式AI现状

  2. Epoch AI:开放模型落后最先进的闭源模型4个月

  3. Fireworks AI,推出搭载 Opus 的 FireRouter

  4. Together AI,Together Link:在你已经使用的框架中提供前沿品质的开源模型

  5. Applied Compute、Shift-1,一个 SOTA 编码路由器

  6. Artificial Analysis 编码智能体指数方法论

  7. OpenRouter、模型路由器基准测试

  8. Zhang 等,2025:Qwen3 Embedding:通过基础模型推进文本嵌入与重排序

  9. Google,EmbeddingGemma 2

  10. Varshney 等,2026:LLM Router:以 Prefill 激活重新思考路由

  11. Lugoloobi 等,2026:LLM 编码其失败:从生成前激活预测成功

  12. Skean 等,2025:逐层剖析:揭示语言模型中的隐藏表示

  13. Anthropic,2026:在实践中衡量 AI 智能体的自主性

  14. Cursor,Cursor Router 如何为任务选择正确的模型