先了解这件事
2026年10月30日,Coalition for Language Equity in AI Research发表研究称,AI模型处理部分语言提示所需的token量远超英语,研究人员称之为隐性的“分词器税”。研究显示,在最流行的20种语言中,最昂贵语言使用的token数量是最便宜语言的1.5至5倍;扩大到200种语言后,其中一个模型的token成本差距甚至增加17倍。研究指出,token数量越多,延迟越高、有效上下文容量越低,在计算和连接有限的地区影响最严重。研究者建议AI实验室公布各语言评估结果并改进下一代分词器设计。
AI 根据公开报道生成
最新进展 · 正式报道
研究称非英语提示词的 token 成本更高事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
Solidot
研究称非英语提示词的 token 成本更高
Coalition for Language Equity in AI Research 上个月发表的一项研究发现，AI 模型处理部分语言提示所需的 token 量远超英语，研究人员称之为隐性 token 税。在最流行的 20 种语言中，最昂贵语言使用的 token 数量是最便宜语言的 1.5-5 倍；扩大到 200 种语言后，一个模型的 token 成本差距甚至增加 17 倍。研究指出 token 数量越多延迟越高、有效上下文容量越低，在计算和连接有限的地区影响最严重。
IT之家·人工智能
新研究称 AI 模型 Token 消耗量因语种不同最高相差 17 倍
人工智能语言公平研究联盟的研究发现，AI 模型处理不同语言时 Token 消耗量差异悬殊：互联网最常用的 20 种语言之间最高相差 1.5 至 5 倍，扩大到 200 种语言后，其中一个模型的差距最多达 17 倍。研究将这种隐性额外成本称为“分词器税”，消耗 Token 越多，AI 响应越慢、可用的上下文也越少。研究者建议 AI 实验室改进下一代分词器设计，并公布各语言的评估结果。
凤凰科技
新研究称 AI 模型 Token 消耗因语种不同最高相差 17 倍
人工智能语言公平研究联盟上月发布的研究发现，AI 模型处理不同语言时消耗的 Token 数量差异悬殊，在其中一个模型中最多相差 17 倍。研究称互联网最常用的 20 种语言之间 Token 消耗量已相差 1.5 至 5 倍，扩大到 200 种语言后差距进一步拉大，研究人员将这部分额外成本称为隐性的“分词器税”。Token 消耗增加不仅推高费用，还会拖慢响应速度、压缩可用上下文，研究者建议 AI 实验室公布各语言评估结果并改进下一代分词器设计。
本事件热度走势
- 当前
- 7
- 区间峰值
- 18 10月30日 16:00
- 近 24 小时变化
- -50%
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。