AI 英語以外はAI利用料が割高 トークン差は最大17倍とCLEAR報告
研究団体CLEARが、言語によってAIの処理に必要なトークン数が大きく違う「トークナイザー税」を調べました。主要20言語でも1.5〜5倍、200言語では最大17倍の差があり、話者数より文字の種類が大きく影響していました。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI