先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
大规模推理基准测试:编码智能体事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
5月19日
Together AI Blog一手
大规模推理基准测试:编码智能体
Together Inference Engine 在 Kimi K2.5 编码智能体负载下,以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS,并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出;SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。