先了解这件事
AI 综述
2026年11月4日,Together AI发布Together Compiler(TKCC),该编译器利用高吞吐智能体,持续为不同流量形态、模型和硬件生成推理优化。官方称,其在不到24小时内于Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash上实现1.3至3倍TPS提升;在SemiAnalysis的InferenceX低延迟基准上,MiniMax M3.1-Flash达1111 TPS、DeepSeek v4.1-Flash达1205 TPS,取得SOTA。系统采用常驻引擎与快慢两级引擎,平衡实验吞吐和测量保真度,实验吞吐比基线智能体系统高252倍,目前已用于线上服务。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月4日
Together AI Blog一手精选
Together AI 发布 Together Compiler,推理吞吐提升 1.3-3 倍
Together AI 发布 Together Compiler(TKCC),用高吞吐智能体持续为不同流量形态、模型和硬件生成推理优化。官方称其在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现 1.3-3 倍 TPS 提升,并在 SemiAnalysis 的 InferenceX 低延迟基准上以 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS 取得 SOTA。该系统采用常驻引擎与快慢两级引擎平衡实验吞吐和测量保真度,实验吞吐比基线智能体系统高 252 倍,目前已用于线上服务。