事件1 条新闻 · 1 个事实
2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program_id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。
2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。
匹配字段摘要