IT之家注意到，推特用户Dylan Patel（ dlan522p）分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个LLM处理一句缅甸语句子需要198个词元（tokens），而同样的句子用英语写只需要17个词元。词元代表了通过API（如OpenAI的ChatGPT或Anthropic的Claude 2）访问LLM所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出11倍。
词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据OpenAI的GPT3分词器，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有4个字符（你的爱意），而英文有14个字符。
