El primer benchmark independiente de GPT-6 Astra moviendo brazos robóticos reales ya está publicado, y el resultado es contundente en una tarea y decepcionante en la otra. Robocurve puso a Astra, Claude Fable 5.1 y Claude Fable 5 a controlar brazos I2RT YAM durante 20 intentos por tarea. Astra metió el bloque en el cuenco 19 de 20 veces. Fable 5.1, 8.
Puntos clave
- Tarea 1, coger un bloque rojo y dejarlo en un cuenco: Astra 19/20 (95%), Fable 5.1 8/20 (40%), Fable 5 1/20 (5%).
- Coste por ejecución en esa tarea: 0,94 dólares Astra, 2,12 Fable 5.1, 2,69 Fable 5. Tiempo medio: 2,5 minutos, 6,8 y 8,2.
- Tarea 2, encajar una pieza circular de puzle en su hueco: Astra 2/20 y Fable 5.1 2/20. Empate en el 10%.
- Astra gasta muchos menos tokens de salida: 2.100 frente a los 12.900 de Fable 5.1 en la primera tarea.
- Los dos modelos se atascan exactamente en el mismo sitio del puzle: llegan al hueco y no completan la inserción.
Cómo está montado el experimento
El hardware son brazos bimanuales I2RT YAM, seis grados de libertad cada uno y pinzas de mordaza paralela. El modelo no ve vídeo continuo: recibe tres vistas de cámara (cenital, muñeca izquierda, muñeca derecha) más el estado propioceptivo del brazo, o sea dónde cree el robot que están sus articulaciones.
Para actuar, el modelo emite poses absolutas del extremo del brazo con una función `move_to`: x, y, z, giro, cabeceo, alabeo y estado de la pinza, por cada brazo. No hay política de control aprendida en medio. El modelo de lenguaje es el que decide las coordenadas.
Todas las ejecuciones usaron el mismo presupuesto: esfuerzo de razonamiento medio, 20 llamadas al modelo por intento, tope del 25% de velocidad y las barreras de seguridad por defecto.
El detalle que explica el coste
La diferencia de precio no viene de la tarifa por token, viene de cuánto habla cada modelo.
Astra resolvió la tarea del bloque con 2.100 tokens de salida de media. Fable 5.1 necesitó 12.900. Fable 5, 19.200. Casi diez veces más para acabar acertando ocho veces menos.
Eso es lo interesante para cualquiera que haya montado agentes: el modelo que menos razona en voz alta es el que más acierta. En control físico, deliberar de más se traduce en más pasos, más deriva acumulada y más oportunidades de que la pinza acabe donde no debe.
La puntuación por etapas lo confirma. En una escala de 0 a 4 (sin aproximación, contacto, levantado, posicionado sobre el destino, colocado), Astra promedió 3,95 en la tarea del bloque. Fable 5.1 se quedó en 2,40 y Fable 5 en 1,30.
Dónde fallan los dos por igual
La segunda tarea es la que enseña el techo. Coger una pieza redonda de puzle por el pomo central y encajarla en su ranura. Astra 2 de 20. Fable 5.1, 2 de 20.
El informe describe el modo de fallo con precisión: Astra llega a la ranura y se para en el mismo paso final que Fable. Por etapas, Astra promedia 2,00 y Fable 5.1 promedia 2,35, ligeramente mejor pese a empatar en éxitos.
Lo que separa las dos tareas no es la inteligencia, es la tolerancia. Dejar un bloque dentro de un cuenco perdona centímetros. Encajar una pieza en su hueco perdona milímetros, y ahí el bucle de "mira las cámaras, calcula una pose, muévete" no tiene la resolución necesaria.
Lo que los propios autores matizan
Robocurve lista sus limitaciones sin adornos, y conviene tenerlas delante antes de convertir el 95% en titular de estrategia: las ejecuciones no se intercalaron en el tiempo, parte de la comparativa usó plataformas físicas distintas, la corrección fue manual sabiendo qué modelo se estaba puntuando, y solo se probó esfuerzo de razonamiento medio.
Nada de eso invalida la brecha de 19 contra 8, que es demasiado grande para venir del sesgo del corrector. Sí invalida cualquier conclusión fina sobre coste o tiempo.
Por qué importa
Publicamos el 4 de septiembre que OpenAI lanzó GPT-6 Astra saturando ARC-AGI-3 con un 99,9%, y también que muchos suscriptores de pago se quedaron sin acceso. Este benchmark es la primera medición de ese modelo fuera del marketing y sobre hardware real.
La lectura para una empresa es la de siempre, pero con datos nuevos detrás. Un modelo generalista ya sirve para tareas físicas de baja precisión sin entrenar nada específico, y por menos de un euro por intento. Para tareas de precisión, sigue sin servir, y el fallo no se arregla cambiando de proveedor porque los dos se estrellan en el mismo punto.
Si alguien te vende automatización física con un LLM en el bucle, la pregunta es cuánta tolerancia admite tu tarea. Centímetros, adelante. Milímetros, todavía no.
Fuente original: openai.robocurve.org
Relacionado
