CAICT releases report on performance monitoring of large model token services: domestic daily average consumption in June was about 500 trillion
English text is being prepared.
The China Academy of Information and Communications Technology (CAICT) jointly released the "Large Model Token Service Performance Monitoring Report (2026)," noting that in June 2026, domestic daily average token consumption was about 500 trillion, nearly 4 times that of December 2025. Based on monitoring data from January to August 2026, the report compares the call success rate, throughput speed, first-token latency, stability, and price of original manufacturers' official platforms with four open-source models—DeepSeek, Qwen, GLM, and Kimi—on third-party platforms. In August, the average TPS of domestic models was 78.23, double the 2025 average of 38.25, but still lower than the 112.82 of typical foreign models; the normalized average domestic price rose from 6.8 yuan in the second half of 2025 to 13.46 yuan.
Why read this
AI score 63
The report uses four sets of monitoring data—throughput, latency, price, and context window—to provide a horizontal comparison and selection reference for domestic token services.
Topics
Body
中国信通院：6 月国内词元日均消耗量约 500 万亿，是 2025 年 12 月的近 4 倍
2026-10-24 22:41 IT之家 - 浩渺
感谢IT之家网友 不一样的体验 的线索投递！
IT之家 10 月 24 日消息，据中国信通院，随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均词元调用量持续攀升，2026 年 6 月，国内词元日均消耗量约 500 万亿，是 2025 年 12 月的近 4 倍。产业中越来越多的 MaaS（Model as a Service，模型即服务）平台厂商通过公有云 API 方式供给大模型词元服务。然而用户对词元服务性能缺乏直观的判断依据，且面临选型困难等各类问题。
为有效衡量服务性能，中国信息通信研究院（简称“中国信通院”）人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟，自 2025 年以来持续开展公有云大模型词元服务性能监测工作，为产业应用提供重要参考，现联合发布《大模型词元服务性能监测报告（2026 年）》。
报告基于 2026 年 1-8 月的监测数据，围绕各平台词元服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度开展分析，对比原厂大模型官方平台，以及 DeepSeek、Qwen、GLM、Kimi 四款开源模型在第三方平台上的性能差异，进一步分析影响词元服务性能的关键因素，总结产业核心观察，明确下一步工作计划，旨在为用户选型提供参考，并为产业界优化服务能力提供方向指引。
IT之家附报告核心观点：
1. 国内词元服务每秒吞吐量较 2025 年翻倍，仍低于国外
报告提出，8 月份国内各模型平均 TPS（每秒输出词元数）达到 78.23（个 / 秒），与 2025 年均值 38.25（个 / 秒）相比实现翻倍。但 8 月份国外典型模型的 TPS 均值为 112.82（个 / 秒），与 2025 年 12 月的 51.35（个 / 秒）相比，提升亦超过一倍，整体优于国内。
▲ 所有大模型词元服务月均 TPS
2. 词元服务时延有所增加，国内外趋势一致
报告提出，今年以来，国内各模型的平均 TTFT（首词时延）呈现持续提升态势，8 月份均值达到 1.26 秒，相较于 2025 年平均值 0.78 秒明显增加。但同时 8 月份国外典型模型 TTFT 平均值达到 2.08 秒，相比 4 月份 1.04 秒亦明显增加。值得注意的是，TTFT 上升并非单纯的性能退化，而是伴随着模型参数量增加、上下文长度增加、调用量增加等多种因素同步产生的结果。
▲ 所有大模型词元服务的月均 TTFT
3. 2026 年词元服务价格明显回升
报告提出，经历了过去两年价格战后，2026 年国内外模型服务价格明显上涨。国内 2025 下半年归一化均价为 6.8 元，而今年以来均价为 13.46 元，涨幅接近 1 倍。但国外价格仍高于国内，2026 年以来发布的典型模型平均归一价格约为 117.8 元。
▲ 国内原厂大模型发布时归一化价格趋势图
4. 模型上下文长度不断向百万级长度扩展
报告提出，被监测的模型中，上下文长度达到 1M（1 百万词元）的模型占比 47.8%，200K 及以上的合计达 95.7%，相比 2025 年底的占比提高超过 76 个百分点，而低于 200K 的模型占比持续减少。
▲ 国内原厂大模型发布时归一化价格趋势图
5. 开源模型词元服务性能提升显著，同一模型在不同平台性能波动较大
报告提出，5 月份更新了 4 款开源模型的新版本进行监测，结果显示 TPS 持续提升，TTFT 时延不断压缩。例如 8 月份 DeepSeek-V4-Pro 的 TPS 已达到 DeepSeek-V3.2 的 2 倍。时延方面，5 月份主要模型完成换代升级后，TTFT 普遍出现阶段性上升，随着推理优化措施落地，时延指标逐步回落至换代前水平。同时，4 款模型在不同平台上的 TPS、TTFT、调用成功率表现不一。部分第三方平台性能明显优于官方平台提供的模型服务，同一模型在不同平台间的 TPS 差距最大可接近一倍。各平台对相同模型的推理加速、优化策略、成本控制不同，是造成性能分化的主要原因。