- 发布日期
新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
10月30日，IT之家援引外媒Rest of World报道，人工智能语言公平研究联盟上月发布的研究显示，AI模型处理不同语言时消耗的Token数量可能相差悬殊。Token是AI模型处理文本等数据的基本单位，由分词器拆分而成。研究人员将不同语言产生的额外成本称为隐性的“分词器税”，网络内容较少的语言尤其容易受影响。
研究发现，即使是互联网上最常用的20种语言，Token消耗量最高也是最低的1.5至5倍。测试范围扩大到200种语言时，差距进一步扩大。在其中一个AI模型中，不同语言的Token消耗量最多相差17倍。
报告指出，班加罗尔一家初创企业每次向AI输入指令、获取回答时，都可能比奥斯汀的竞争对手成本更高。“分词器税”还会使AI响应更慢，并减少可有效处理的上下文内容。计算资源和网络条件有限的地区受影响尤其严重，分词不平等也限制了人们参与AI经济的机会。
Activate AI联合创始人普拉蒂尤什·乔杜里指出，使用非英语语言时，同样上下文容量能容纳的文档和对话记录更少，AI生成回答更费力。他以教学为例称，如果历史记录很快占满上下文窗口，教学质量也会受影响。乔杜里认为，语言处理效率应成为AI产品基本要求，并希望主要AI实验室公布各语言评估结果并承诺改善薄弱语言。
改善办法之一是提高底层数据质量。Navana.ai联合创始人兼CEO拉乌尔·纳纳瓦蒂表示，开放数据项目很重要，其与印度科学学院合作、由盖茨基金会资助的RESPIN项目收集了38种方言母语使用者的文本和朗读录音。
研究还发现，文字类型同样影响Token消耗。阿斯图里亚斯语使用人数少且未收录于Common Crawl，但拉丁字母带来优势；意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。Maya Research CEO迪曼特·雷迪指出，许多分词器仍针对英语等数据丰富语言优化，根本问题是缺乏高质量数字化数据；Token降价会减轻费用差异，但缩小差距仍需改进下一代分词器设计。
