新研究称 AI 模型 Token 消耗因语种不同最高相差 17 倍
人工智能语言公平研究联盟上月发布的研究发现,AI 模型处理不同语言时消耗的 Token 数量差异悬殊,在其中一个模型中最多相差 17 倍。研究称互联网最常用的 20 种语言之间 Token 消耗量已相差 1.5 至 5 倍,扩大到 200 种语言后差距进一步拉大,研究人员将这部分额外成本称为隐性的“分词器税”。Token 消耗增加不仅推高费用,还会拖慢响应速度、压缩可用上下文,研究者建议 AI 实验室公布各语言评估结果并改进下一代分词器设计。
#论文/研究#数据/训练