先了解这件事
2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program_id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月29日
Together AI Blog一手精选
Together AI 发布 ThunderAgent：面向合成数据生成的智能体推理调度系统
Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent，把每个智能体工作流抽象为可调度程序，以程序级调度缓解 KV cache thrashing，在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下，SGLang 吞吐降至 390 token/s、平均延迟 65s，ThunderAgent 达到 803 token/s、平均延迟 10.6s；8 节点集群上相对 SGLang Gateway 加速 2.39 倍，从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文，代码开源，客户端只需增加一个 program_id 字段，并已被 SkyRL 和 NVIDIA Dynamo 采用。