Together AI 发布 ThunderAgent:面向合成数据生成的智能体推理调度系统
Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent,把每个智能体工作流抽象为可调度程序,以程序级调度缓解 KV cache thrashing,在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下,SGLang 吞吐降至 390 token/s、平均延迟 65s,ThunderAgent 达到 803 token/s、平均延迟 10.6s;8 节点集群上相对 SGLang Gateway 加速 2.39 倍,从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文,代码开源,客户端只需增加一个 program_id 字段,并已被 SkyRL 和 NVIDIA Dynamo 采用。

匹配字段标题

