Escribir a una IA en español gasta más tokens que hacerlo en inglés, y en la API cada token se paga. Lo ha vuelto a poner sobre la mesa un reportaje de Rest of World del 26 de octubre, que habla de un "impuesto del tokenizador". Lo hemos medido nosotros con frases de trabajo normales: el mismo texto en español usa un 27,6% más de tokens con el tokenizador actual de OpenAI y un 50,9% más con el de la generación de GPT-4.
Para un usuario de ChatGPT o Claude con suscripción no hay factura por token, pero sí efecto: la misma tarea ocupa más sitio en la memoria de la conversación y consume más de los límites de uso.
Puntos clave
- Qué es un token: el trozo de texto que procesa el modelo. Puede ser una palabra, media palabra o un signo. Las APIs cobran por token de entrada y de salida.
- Nuestra medición: seis frases de trabajo (resumir una factura, un correo a un proveedor, una política de devoluciones...). En inglés, 116 tokens. En español, 148 con el tokenizador o200k_base de OpenAI y 175 con cl100k_base.
- El estudio que cita Rest of World: entre los 20 idiomas más usados en internet, el más caro gasta entre 1,5 y 5 veces más tokens que el más barato. Ampliando a 200 idiomas, la diferencia en un modelo llega a 17 veces.
- El español sale bien parado frente a idiomas con alfabetos propios, como el birmano, el tibetano o el jemer.
¿Usar la IA en español es más caro?
Sí, algo más. Si usas la API, pagas más por la misma tarea; si usas una suscripción, llegas antes a los límites y te cabe menos texto en la conversación.
La diferencia depende del tokenizador, la herramienta que parte el texto en tokens antes de que lo lea el modelo. Cada empresa entrena el suyo, y lo entrena sobre todo con texto en inglés. Las combinaciones de letras más frecuentes en inglés acaban siendo un solo token, y las del español, a menudo dos.
En nuestra prueba, el inglés salió a 1,09 tokens por palabra. El español, a 1,25 con o200k_base y a 1,48 con cl100k_base. Además, la frase en español tenía más palabras: 118 frente a 106 en inglés, porque el español es algo más largo para decir lo mismo. Los dos efectos se suman.
Lo que hemos medido y cómo
Usamos tiktoken, la librería pública de OpenAI para contar tokens, con dos de sus tokenizadores. o200k_base es el que estrenó GPT-4o en 2024. cl100k_base es el de la generación de GPT-4 y GPT-3.5. Les pasamos seis frases en inglés y su traducción al español, todas de oficina.
La mejora entre una generación y otra es clara: el sobrecoste del español bajó del 50,9% al 27,6% cuando OpenAI pasó a un tokenizador con un vocabulario el doble de grande (de unos 100.000 a unos 200.000 tokens). Más vocabulario significa que caben más trozos de palabras de otros idiomas.
Dos avisos honestos. La muestra es pequeña (106 palabras en inglés) y el resultado cambia con el tipo de texto: el código y los números se tokenizan casi igual en todos los idiomas, y la prosa larga en español puede dar otra cifra. Y no podemos medir Claude ni Gemini igual de fácil, porque sus tokenizadores no son públicos como librería. Anthropic sí ofrece un endpoint en su API para contar los tokens de un mensaje antes de enviarlo.
De dónde sale el impuesto del tokenizador
Rest of World cita un estudio de la Coalition for Language Equity in AI Research que no hemos podido localizar en su versión original. Sus cifras van en la misma dirección que la literatura académica. Un trabajo de investigadores de la Universidad de San Francisco y de McGill, publicado en arXiv como "The Token Tax", analizó 10 modelos en 16 lenguas africanas y encontró que cuantos más tokens por palabra necesita un idioma, peor responde el modelo. Según sus cálculos, duplicar los tokens por palabra multiplica por cuatro el coste de entrenamiento y la latencia.
El estudio citado por Rest of World también encontró que lo que más pesa es el alfabeto, por encima de lo raro que sea el idioma. El asturiano, con pocos hablantes y casi sin texto en internet, sale bien porque usa el alfabeto latino y se parece al italiano o al español. Los idiomas con alfabetos que el tokenizador apenas ha visto son los que más pagan.
El coste es solo una parte. "Más tokens significa más latencia y menos capacidad de contexto efectiva", dice el estudio. La ventana de contexto (lo que el modelo puede tener presente a la vez) se mide en tokens, así que una conversación larga en español se llena antes que la misma en inglés.
Qué dicen los que construyen modelos
Pratyush Choudhury, cofundador del fondo indio Activate AI, pide que cada laboratorio publique una tabla por idiomas con lo que cuesta completar la misma tarea, y que se comprometa a mejorar en los peores. Dheemanth Reddy, de Maya Research, cree que el impacto en coste irá a menos porque el precio por token baja muy rápido, pero que arreglar la diferencia exige diseñar los tokenizadores pensando en esos idiomas.
Cómo medirlo en tu caso
1. Entra en el contador de tokens de OpenAI, en platform.openai.com/tokenizer. 2. Pega un texto real de tu trabajo en español: un prompt que uses a menudo o un documento que le pases al modelo. 3. Pega su versión en inglés y compara el número de tokens. 4. Si usas la API de Claude, el endpoint de conteo de tokens de Anthropic te da la misma cifra para sus modelos antes de enviar nada.
Por qué importa
Para una empresa española que usa la API en volumen, un 27,6% más de tokens de entrada es un 27,6% más en esa parte de la factura. En la mayoría de casos no compensa traducir todo al inglés, porque la respuesta tiene que volver en español y se pierde matiz por el camino. Pero sí hay dos cosas baratas que hacer. Las instrucciones fijas que se repiten en cada llamada (el prompt de sistema) se pueden escribir en inglés aunque el usuario hable en español, y conviene medir el coste por tarea con tus textos reales antes de comparar precios entre proveedores, porque el precio por millón de tokens no es comparable si cada modelo parte el español de forma distinta.
Fuente original: restofworld.org
Relacionado
