研究显示部分语言使用 AI 模型所需 token 最多高出 17 倍
It costs a lot more to use AI models in some languages
AI 语言公平研究联盟的一项新研究发现，AI 模型处理不同语言所需的 token 数量差异显著，在网页存在感最高的 20 种语言中，较少见语言处理同一提示词所用的 token 是英语的 1.5 到 5 倍。研究扩展到 200 种语言后，所考察的某个模型中这一差距最高达到 17 倍。由于多数 LLM 服务商按 token 计费，这推高了使用成本，也带来更长的响应时间和更小的可用上下文窗口，研究者称之为隐性的 tokenizer 税。
正文 · AI 翻译
AI语言公平研究联盟的一项新研究显示，AI模型处理某些语言所需的token数量远多于其他语言。据Rest of World报道，这些差异意味着使用代表性不足语言的用户可能要为同样的服务支付更多费用。
研究人员解释说，LLM的分词器会将文本拆分成块（即token），但对于数字化数据丰富的语言，其拆分效率要高得多。他们发现，在网页存在感最高的20种语言中，较少见的语言所用的token数量是同一提示词在英语中的1.5到5倍。当研究扩展到200种语言时，在所考察的其中一个模型中，这一差距最高增至17倍。
由于大多数LLM提供商按使用的token数量计费，这意味着成本会高得多。此外，token越多，响应时间越长，AI模型上下文窗口所能容纳的信息量也越小。
研究人员将此称为隐性的“分词器税”，并警告说这会加剧数字不平等。
研究人员指出，这种差距并不限于使用人数少的语言。“如果我们按使用人数而非网页存在感来排序，这项税就落在了庞大的人口上：旁遮普语（约2亿使用者）、孟加拉语（约2.66亿）、乌尔都语（约2.88亿）、缅甸语（约3600万）、阿姆哈拉语（约3600万）。这意味着数亿人要为同样的智能服务支付数倍于英语费率的费用，”该研究称。
使用AI模型训练数据中不太常见的书写系统的语言尤其受影响。例子包括缅甸语、藏语、高棉语和老挝语。另一方面，使用拉丁字母的语言往往具有优势，即使使用人数相对较少也是如此。
相关：CIO们艰难应对不达标的全球生成式AI模型