El llamado impuesto de tokens hace que usar inteligencia artificial cueste más cuando no se escribe en inglés. Así lo plantea un estudio de la Coalición para la Equidad Lingüística en la Investigación de IA (CLEAR), publicado en septiembre y difundido esta semana por el medio Rest of World. Según el análisis, la misma tarea puede requerir hasta 17 veces más tokens según el idioma, lo que encarece el servicio, lo hace más lento y reduce la memoria disponible de los modelos.
Qué es un token y por qué importa el idioma
Los modelos de lenguaje no leen palabras completas: dividen el texto en fragmentos llamados tokens. Esa división la hace un componente llamado tokenizador, entrenado sobre todo con textos de internet, donde el inglés domina.
El resultado es desigual. Una frase en inglés suele partirse en pocos fragmentos, mientras que su traducción a otros idiomas puede necesitar muchos más. Como las empresas de IA cobran el uso de sus modelos por token, más tokens significan una factura más alta por decir exactamente lo mismo.
Las cifras del estudio
De acuerdo con lo publicado por Rest of World y recogido por otros medios especializados, estos son los hallazgos principales:
- Entre los 20 idiomas más usados en internet, el más costoso necesitó entre 1,5 y 5 veces más tokens que el más barato.
- Al ampliar el análisis a 200 idiomas, la brecha llegó a 17 veces en uno de los modelos evaluados.
- Más tokens implican también respuestas más lentas y menos espacio útil en la ventana de contexto, es decir, en la cantidad de texto que el modelo puede “recordar” durante una conversación.
El estudio advierte que una startup en Bengaluru puede terminar pagando un recargo en cada consulta que su competidora en Austin no paga, y concluye que esta desigualdad limita quién puede participar en la economía de la IA.
El alfabeto pesa más que el número de hablantes
Uno de los datos más llamativos es que la cantidad de hablantes de un idioma no fue lo decisivo. Lo que más influyó fue el sistema de escritura.
Idiomas con alfabetos propios, como el birmano, el tibetano, el jemer o el lao, quedaron en desventaja en casi todos los modelos analizados. En cambio, el asturiano, una lengua con pocos hablantes pero escrita en alfabeto latino, salió bien parado. Las notas publicadas no detallan cifras específicas para el español o el portugués, aunque ambos usan el alfabeto latino, el grupo que el estudio identifica como favorecido.
Qué proponen los expertos
Pratyush Choudhury, cofundador del fondo indio Activate AI, pidió a los grandes laboratorios publicar una tabla de resultados idioma por idioma que muestre cuánto cuesta completar tareas comparables. A su juicio, la igualdad perfecta quizá no sea realista, pero las diferencias grandes y persistentes deberían explicarse y corregirse.
Por su parte, Dheemanth Reddy, director ejecutivo de Maya Research, señaló que el precio de los tokens baja con rapidez, lo que suavizará el impacto económico. Sin embargo, sostuvo que cerrar la brecha exigirá que los laboratorios diseñen tokenizadores pensados para estos idiomas y escrituras.
Qué significa para ti
Si usas asistentes como ChatGPT, Claude o Google Gemini con una suscripción mensual, no verás este costo en tu factura, pero sí puede notarse en la velocidad o en cuánto texto admite cada conversación. Donde más pesa es en empresas y desarrolladores que pagan por uso a través de una API.
- Si desarrollas productos con IA, mide cuántos tokens consumen tus textos reales en cada idioma antes de elegir modelo; la diferencia entre proveedores puede ser notable.
- Escribe instrucciones concisas: menos texto innecesario equivale a menos tokens. Nuestra fórmula RCTF para prompts claros ayuda a lograrlo.
- Compara herramientas antes de decidir: en la comparativa semanal de Café de IA revisamos opciones populares.
Fuentes
- Rest of World: AI models cost more when you don’t use English
- AI Weekly: Study: AI prompts cost up to 17x more in non-English languages
- CLEAR: The Tokenizer Tax
