Claude的中文稅：問同樣內容比英文多花65%token，OpenAI只多15%

AIMPACT 消息，4 月 29 日（UTC+8），據 動察 Beating 監測，AI 研究者 Aran Komatsuzaki 把 Rich Sutton 的知名論文「苦澀的教訓」（The Bitter Lesson）翻成 9 種語言，喂進 OpenAI、Gemini、Qwen、DeepSeek、Kimi、Claude 6 家模型的分詞工具（tokenizer），以英文原文在 OpenAI 分詞工具上的 token 數為 1 倍基準，看各語言在各模型上花多少倍。結果：同樣的內容用中文問 Claude，token 消耗是基準的 1.65 倍；用 OpenAI 只有 1.15 倍。印地語在 Claude 上更誇張，超過基準 3 倍。6 家橫評裡 Anthropic 墊底。 翻譯會改變文本長度，所以跟英文比的倍數不完全精確。但更有說服力的是同一段中文在不同模型上的表現（仍以同一基準）：Kimi 只花 0.81 倍（比英文還少），Qwen 0.85 倍，到 Claude 上變成 1.65 倍。文本完全一樣，差距純粹是分詞工具的效率問題。中國模型處理中文比英文還省，說明問題不在中文本身，而在分詞工具有沒有為該語言做過優化。 對用戶來說，token 多了，API 直接變貴，模型回答前等待更久，上下文窗口也更快用完。分詞工具的效率取決於訓練數據中各語言的佔比：英文數據多，英文詞被高效壓縮；非英文數據少，只能切得很碎。Aran 的結論：誰的市場大，誰就更省 token。 （來源：ME）