Cuatro días después de que Alibaba publicara la tabla donde Qwen3.8-Max supera a Claude Opus 4.8 y a Fable 5 en uso agéntico, el índice de BenchLM lo coloca en el puesto 28 de 132 modelos en esa misma categoría, con 55,8 sobre 100. Es su peor apartado de todos.
Las dos cosas pueden ser verdad a la vez. Y ahí está lo interesante.
Puntos clave
- Uso agéntico y tareas de ordenador: puesto 28 de 132, con 55,8 sobre 100.
- Compuesto general: puesto 46 de 216 modelos, con 61,0.
- Código: puesto 25 de 132, con 60,7.
- Seguimiento de instrucciones: primero de 36, con 97,8. Razonamiento: 95,5. Multimodal: segundo de 34, con 88,1.
Dos tablas, el mismo modelo
La tabla que publicó Alibaba el 3 de agosto daba 86,6 en Terminal-Bench 2.1, por delante de Opus 4.8 y Fable 5 (ambos en 84,6) y por detrás de GPT-5.6 Sol max (88,8). En PaperBench marcaba 93,0, la mejor cifra reportada hasta la fecha, contra 88,8 de Fable 5 y 90,5 de GPT-5.6 Sol.
Una recopilación de terceros sobre ese mismo Terminal-Bench 2.1 reporta 67,4. Casi veinte puntos por debajo del número del fabricante, sobre la prueba que Alibaba eligió para presumir.
No hace falta acusar a nadie de mentir para explicar esa distancia. Un benchmark agéntico depende del andamiaje: qué herramientas le das al modelo, cuántos intentos, cómo cuentas un fallo parcial, qué timeout pones. El propio BenchLM dice que conserva los andamiajes y los ajustes de herramientas de cada fuente, y que aparta las evaluaciones que corre el proveedor como material informativo, fuera del ranking oficial. Su compuesto pesa el apartado agéntico un 22%, más que ninguno.
Traducido: el fabricante mide en su cocina, con su sartén. El índice mide a todos con la misma.
Dónde sí manda, sin discusión
El titular negativo no es toda la historia. En seguimiento de instrucciones Qwen3.8-Max sale primero entre 36 modelos con 97,8, y eso cuadra con el 82,8 en IFBench de la tabla de Alibaba contra 62,2 de Opus 4.8 y 63,5 de Fable 5. En ese apartado la ventaja aparece mida quien mida.
En multimodal queda segundo de 34. Y en la arena comunitaria de código de frontend debuta cuarto con 1.668 puntos Elo, detrás de Opus 5 (1.705) y del Kimi K3 Max (1.676), lo cual para un modelo de cuatro días no está nada mal.
Un modelo que obedece instrucciones muy bien y flojea orquestando herramientas es un perfil concreto, no un mal modelo. Sirve para extracción, clasificación y transformación de texto con formato estricto. Es más discutible para un agente que encadena diez llamadas y tiene que recuperarse cuando la séptima falla.
Dos de los tres huecos ya están tapados
Cuando cubrimos la tabla de Alibaba señalamos tres cosas que faltaban: parámetros activos por petición, precio y pesos. Dos ya han salido.
Los activos: unos 95.000 millones por token sobre 2,4 billones totales, alrededor de un 4% de esparsidad. El precio reportado: 2 dólares por millón de tokens de entrada y 6 de salida, con 0,25 para los cacheados, ventana de un millón de tokens y hasta 128.000 de salida.
Con esos dos números ya se puede hacer la cuenta que antes no se podía. Sale por debajo de los modelos frontera americanos, y esa sigue siendo la razón real por la que alguien se plantearía moverse. Los pesos abiertos, prometidos desde julio, siguen sin fecha ni licencia.
Por qué importa
La lección práctica no va de Qwen. Va de cómo eliges modelo.
Si tu criterio es la tabla que publica el fabricante el día del lanzamiento, estás comprando marketing con formato de hoja de cálculo. Esa tabla la diseña quien vende, eligiendo las pruebas donde gana y el andamiaje que le favorece.
Lo que funciona es más aburrido y cuesta una tarde: coge cincuenta casos reales de tu proceso, con sus respuestas correctas ya conocidas, y pásalos por los dos o tres modelos que te planteas. Mide aciertos y coste. Ese resultado vale más que los seis benchmarks juntos, porque mide tu trabajo y no el de nadie más.
Y si de verdad quieres un número externo, coge el del índice independiente antes que el del fabricante. Aunque salga peor. Sobre todo si sale peor.
Relacionado
