先了解这件事
AI 综述
2026年10月14日,Rohan Paul 提出判断:推理定价存在规模惩罚,最优每 token 价格给到承诺量最大者。其同源证据以 RouterPlus 为例说明这一判断:该服务把多个团队的需求合并成与供应商的一笔大单,各团队按自身流量份额享受该批量单价,使非批量买家也能拿到批量定价。该服务还会用真实用量测试模型,挑出够用且成本最低的那个,避免所有任务都付费调用顶级模型。作者认为这种模式最适合热门开源模型,因为多个团队本就需要相同权重跑在同类硬件上。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
RouterPlus：小团队也能拿到批量推理价格事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月14日
Rohan Paul
RouterPlus：小团队也能拿到批量推理价格
RouterPlus 把多个团队的需求合并成与供应商的一笔大单，各团队按自身流量份额享受该批量单价，让非批量买家也能拿到批量定价。该服务还会用你的真实用量测试模型，挑出够用且成本最低的那个，避免所有任务都付费调用顶级模型。作者认为这种模式最适合热门开源模型，因为多个团队本就需要相同权重跑在同类硬件上。