先了解这件事
AI 综述
2026年10月10日,清华大学提出逐Token大小模型路由服务系统TokenRouter。据相关报道,该系统在token级别对大小模型进行路由,让每个模型独占服务器并互相传递半成品答案,同时保留KV cache,并短暂挂起请求以凑成更大批次。报道称,在5种路由方法上,其吞吐量相比更强的现有方案提升2.01至64.15倍,最高达现有方案的64.15倍。目前该工作以论文形式公开,尚无后续进展披露。
AI 根据公开报道生成
最新进展 · 正式报道
清华 TokenRouter：token 级 LLM 路由吞吐最高提升 64.15 倍事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Rohan Paul
清华 TokenRouter：token 级 LLM 路由吞吐最高提升 64.15 倍
清华大学论文提出 TokenRouter，一个在 token 级别对大小模型做路由的服务系统，吞吐量最高达现有方案的 64.15 倍。它让每个模型独占服务器并互相传递半成品答案，同时保留 KV cache，并短暂挂起请求以凑成更大批次。在 5 种路由方法上，吞吐量相比更强的现有方案提升 2.01 至 64.15 倍。