所有博客文章公司

发布于 2026/4/11

从静态到多态推理：生产级开源推理系统的新时代

截至今日，你通过 Together AI 端点运行的许多模型都已由 AI 智能体全面优化：这是全球首个生产级递归自我改进（RSI）推理系统。

摘要

在 Together AI，我们致力于让 AI 惠及每一位个人用户和组织。我们的研究团队——FlashAttention、ThunderKittens、ThunderAgent 等成果背后的研究者——一直是推动我们推理卓越表现的关键力量。随着推理市场呈指数级增长，我们一直专注于如何扩展研究能力，以实现普惠的丰富智能。

这要求我们的思维从静态推理转向 多态推理 ——这是我们针对新模型发布速度、模型架构多样性、快速变化的工作负载以及快速变化的硬件平台的应对之道。在本博客中，我们将重点介绍多态推理时代的研究议程——以及我们如何持续利用 AI 智能体，通过 持续编译.

‍

什么是多态推理？

我们将这一跨越式变化视为需要一种新方法，我们称之为 多态推理.

多态推理（源自希腊语，意为“以多种形态进行推理”）是对我们在整个行业中看到的诸多变化的回应，对我们而言，这些变化主要由以下几个趋势的汇聚所定义：

  • 模型发布速度不断提升。 速度 。开源模型的发布速度比以往任何时候都更快——而且种类也远比以往更加多样。OpenRouter 上 80% 的流量流向了在过去三个月内发布的模型。 内发布的模型。.
  • 模型架构的多样性日益增加。 模型架构的多样性日益增加。 模型架构。当今使用中最受欢迎的十大开源模型全都采用 不同的架构 （更不用说我们合作伙伴所提供的众多闭源架构了）。
  • 不断演变的流量形态。 我们每天都要在广泛的工作负载形态和 SLA 下服务新用户、组织和地区。工具框架中的产品或算法变更、开源模型的训练后处理，都可能导致流量形态发生变化（例如，新的训练后处理会增加模型用于思考的 token 数量，以换取更高质量）。
  • 正在改变 更快、更频繁我们已经看到从 B200 到 GB300 的推理服务能力发生了重大变化，并且正处于首批 Vera Rubin 部署的前夕（更不用说 CPU 层面的优化、先进的存储系统以及替代性推理芯片）。

多态推理 就是我们对这些变化的回应——即能够随之改变并适应这些快速变化环境的推理。

我们将这一点与开源推理爆发之前的世界状况进行对比——我们追溯性地将其称为“静态推理”时代。现代多态推理呈现出无限多样的形态，而静态推理则由闭源模型、传统 Transformer 架构、单用户和单一硬件平台推理来定义。

从静态推理到多态推理

我们撰写这篇博文的一个动机是，围绕推理系统的许多讨论仍然相当集中于传统的静态推理范式。

  • 例如，网上典型的 vLLM、SGLang 或 InferenceX / AgentX 方案，都是通过静态超参数调优的推理引擎配置来启动的。针对一种设置优化出的配置，未必是另一种设置下的最佳配置。
  • 开源内核在发布时常常假设某种静态的流量形态和设计决策，而这些假设可能与真实的生产流量不匹配。一个典型的例子是 MoE 内核；一个在随机 token 上表现良好的 MoE 内核，未必能迁移到真实的生产环境中。

我们在此承担部分责任！长期以来，人们一直可以编写针对多种设置都达到最优的内核。FlashAttention 是我们心中珍视的成果，至今仍是运行训练工作负载和许多预填充工作负载的最佳方式之一。

大约两年前，我们曾撰文介绍用于 AI 推理的巨型内核（megakernel），即围绕单一静态形状（例如批大小为 1 的 Llama 1B）精心设计的单个内核。但去年在为客户将首批巨型内核投入生产的过程中，我们得到了一个有趣的教训： 巨型内核融合实际上并不是现代多态推理的正确设计目标！ 在多态推理时代，每一种变化——从模型架构（例如 MoE）到工作负载（大于批大小 1 的动态工作负载）——都需要不同的技术方法。

优化多态推理，以适应多样且快速变化的条件

在Together，我们本质上是系统与AI研究人员——因此我们认为，当下正是重新思考研究议程、迎接这一光明未来的无比激动人心的时刻。

‍那么，当你的生产流量变得日益多样化时，解决方案是什么？让 AI 智能体自我优化。这就是开源模型的 RSI 时刻！

实现多态推理需要解决我们在模型服务方式上的一系列技术挑战。理想的多态推理体验应当能够对模型架构和工作负载快速变化的格局做出响应。

例如：

  • 如果你的流量形态发生变化——无论是通过产品变更还是用户行为变化——你都应当期望你的推理系统能够快速适应。
  • 如果你要在新模型上部署工作负载，就应当期望你的推理提供商尽快达到理想的手工调优基线。
  • 如果你已有用户流量稳定的现有产品，并将其部署到新的硬件平台上，就应当期望性能尽可能快地逼近硬件极限。

这些目标很宏大，但我们相信它们值得为之努力。对我们而言，实现这些目标的关键之一就是 让 AI 智能体帮助优化自身。开源模型的 RSI 循环已经到来！

Together Compiler 的持续编译

我们今天宣布的项目之一，是实现 Polymorphic Inference 目标的第一步： Together Compiler, 一个由 AI 驱动的快速性能优化 RSI 循环。如今，Together Compiler 为 持续编译 覆盖了我们许多顶级生产推理工作负载的优化循环。

Together Compiler 将优化推理工作负载这一经典挑战重新定义为智能体搜索问题，而非传统的编译器翻译问题。Together Compiler 识别出一组核心的关键优化模式，并将一群智能体与一个高保真持久化引擎配对，以实现快速迭代。这项工作由 Together 的 Frontier Performance 团队历时数月完成，主要贡献者包括 Reyna Abhyankar 和 Dylan Lim！

Together Compiler 目前已在生产环境中运行 生产环境中 如今，在我们一些最受欢迎的无服务器端点上，它在已经高度优化的代码基础上又取得了进一步的提升。

令人兴奋的是，Together Compiler 赋予了我们这样的能力： 快速适应 快速适应不断变化的模型架构和流量负载。我们将这种能力称为 持续编译而此前，新的工作负载需要新的手写内核和优化，由 Together Compiler 驱动的持续编译意味着我们可以 自动地 适应新的流量形态和工作负载。

Together AI 研究团队接下来会带来什么

我们在将 Together AI 扩展到每天服务数万亿 token 的过程中学到了大量经验（今年 10 月早些时候，我们甚至在 OpenRouter 上首次服务了比闭源模型实验室更多的 token！）。这些经验塑造了我们对多态推理时代的愿景和研究议程。以下是我们研究议程中即将推出的一些内容的简要预览：

Together Compiler 的自助式持续编译‍

性能优化必须成为工作负载部署的函数：模型、引擎、流量形态和客户用例。很快，我们的客户将能够通过点击按钮，使用 Together Compiler 针对其独特的工作负载优化其专用端点。

Together Compiler 今日以有限测试版形式向终端客户开放—— 联系我们 即可获得早期访问权限！

形态多变的投机解码

开源仓库中提出的推理引擎配置，如 VLLM、InferenceX、AgentX，会以固定的投机解码草稿模型和前瞻参数启动引擎。投机解码需要按领域、按请求、按 token 自适应，并随流量负载变化而调整。

ThunderAgent 路由器：跨异构部署的路由

无服务器推理端点服务于海量用户，每个用户都带来各自的流量形态和 SLA。这种异构性要求我们在工作节点之间以及集群内的部署配置之间动态路由请求。我们以 ICML 2026 Spotlight 论文的形式发布了 ThunderAgent，以分享一些早期洞见，并在生产环境中基于这些基础进行了扩展。 

Together 训练后 

现在有几位客户希望将开源模型后端集成到他们的 AI 应用中。这需要选择开源模型，针对客户特定的工具调用和用例选择并定制 harness，并对模型进行后训练，使其与该 harness 良好交互。我们与 Moonshot、Minimax 等模型实验室的紧密合作，使我们能够帮助客户针对自身用例定制开源模型，真正拥有自己的智能技术栈。

TogetherLink：工作负载感知的模型路由

随着开源模型不断进步，一个关键环节是让它们能被所有人使用。人们普遍认为，像 Opus 5.5 这样的闭源模型总是最好的。但是，正如 AI 的历史反复向我们展示的那样，如果以正确的方式组合，将几个相当不错的模型进行集成，绝对可以胜过使用单个出色的模型。这建立在我们在斯坦福 Hazy Research Lab 从事弱监督研究的根基之上（随便问）以及我们自己关于组合模型的工作（Mixture-of-Agents，ICLR 2025）。

让智能惠及所有人

推理是 AI 系统中最引人入胜的问题之一，而我们通过大规模服务所获得的规模，解锁了一系列全新的洞见。为了实现让 AI 惠及 所有人 在 Polymorphic Inference 时代，我们需要推理系统持续针对每位用户和每种工作负载进行定制。我们很高兴能帮助闭合这一循环，并在让 AI 系统真正实现递归自我改进的过程中发挥一点作用。

如果 Polymorphic Inference 背后的理念与贵组织或您的用例相契合， 请联系我们以获取早期访问权限  ——我们很乐意帮助您应对这些新的复杂挑战。 

最后——如果你想帮助我们共同应对 Polymorphic Inference 的挑战，请查看我们的 招聘页面 ——我们正在招聘！

相关文章

查看全部查看全部