Nvidia ha publicado una investigación en la que Claude Opus 5 pasa del 30% al 100% de acierto en ARC-AGI-3 sin cambiar de modelo. Lo único que cambia es el andamiaje que lo rodea, lo que en el sector se llama *harness*: las herramientas que puede usar, cómo gestiona la memoria y las reglas del bucle en el que corre. El mejor resultado de OpenAI en ese mismo test se quedó en el 30%.
Puntos clave
- 30% a 100%: Opus 5 solo contra Opus 5 dentro de AVO, el andamiaje de Nvidia.
- ARC-AGI-3 son juegos 2D sin instrucciones. El agente descubre las reglas jugando, que es lo que hace el test difícil.
- La pieza clave es un supervisor que vigila al agente y lo reconduce cuando se atasca o se va por una rama muerta.
- Databricks calcula que dos andamiajes distintos sobre el mismo modelo pueden doblar el coste de operarlo.
Qué es exactamente el andamiaje
Adel El Hallak, de Nvidia, lo resume así: "Es el modelo. Es el andamiaje alrededor del modelo, el conjunto de herramientas que utiliza, y el tiempo de ejecución con las habilidades asociadas".
Traducido a lo que ve un equipo que monta esto: el modelo es el motor y el andamiaje es todo lo demás del coche. Qué herramientas tiene a mano y cómo están descritas. Qué se guarda entre pasos y qué se tira. Cuántos intentos tiene antes de rendirse. Qué pasa cuando una llamada falla. Quién decide que el agente lleva veinte pasos dando vueltas y hay que pararlo.
El supervisor de AVO es esa última pieza. Un segundo proceso que mira lo que está haciendo el agente y lo redirige cuando detecta que no avanza. En la práctica funciona como el jefe que asoma la cabeza y pregunta si de verdad hace falta seguir por ahí.
Es la parte del sistema que casi nunca se demuestra en una keynote, porque no tiene nada de espectacular, y es la que separa un 30% de un 100% en el mismo modelo.
Encaja con lo que ya se veía en ARC-AGI-3
Este resultado no sale de la nada. A finales de julio contamos que dos ajustes en la llamada a la API triplicaban la nota de GPT-5.6 en ARC-AGI-3, del 13,3% al 38,3%, sin tocar el modelo. Y a principios de agosto, Prime Intellect superó la marca humana con un 95,5% con su propio agente.
Tres resultados, la misma lección. En este test, la nota mide el sistema completo, no el modelo. Y como ARC-AGI-3 se parece bastante a lo que pide una tarea empresarial real (un entorno sin manual, en el que hay que probar cosas y corregir), la lección se traslada bien.
Lo que descoloca la conversación de compras es esto: llevamos año y medio eligiendo proveedor por tablas comparativas de modelos, y resulta que la variable con más peso está en el código que escribe tu equipo.
El coste también vive en el andamiaje
El dato de Databricks es el que conviene llevarse a una reunión de presupuesto: dos andamiajes distintos sobre el mismo modelo pueden doblar el coste operativo.
Tiene sentido cuando lo desmontas. Un andamiaje que reenvía todo el historial en cada paso paga esos tokens una y otra vez. Uno que resume, cachea y poda paga una fracción. Un agente sin supervisor puede quemar cuarenta llamadas dando vueltas donde otro necesita ocho. Nada de eso aparece en la tarifa por millón de tokens que publica el proveedor, y todo aparece en la factura.
Enlaza directo con la proyección de Gartner de que ejecutar un flujo con agentes costará cinco veces más en 2028. Esa subida no es inevitable. Buena parte se decide en cómo esté escrito el bucle.
Por qué importa
Si tu empresa está montando agentes, este resultado cambia dónde poner las horas del equipo. Cambiar de modelo es una tarde de trabajo y un cambio de línea en la configuración. Arreglar el andamiaje es semanas, y es donde está el salto grande.
Lo concreto para esta semana: mira cuántos pasos gasta tu agente en una tarea típica y cuántos de esos pasos no aportan nada. Si no lo tienes instrumentado, ese es el primer trabajo. Sin esa traza estás optimizando a ciegas, y probablemente cambiando de modelo cuando el problema es que nadie ha puesto un límite de intentos.
Meter un supervisor sencillo, aunque sea una comprobación cada N pasos que corta cuando no hay progreso, suele ser la mejora con mejor relación entre esfuerzo y resultado. Y no depende de qué laboratorio ganó el último benchmark.
Relacionado
