Un grupo de 24 investigadores dio a agentes de frontera seis días y miles de dólares en cómputo para responder la pregunta central de dos artículos científicos inéditos. Los agentes hicieron toda la ingeniería solos y no avanzaron nada en la pregunta. Los autores originales de los papers rechazaron los dos trabajos sin discusión, según el estudio publicado en arXiv.
Puntos clave
- Método nuevo, llamado evaluaciones sombra: el agente ataca la pregunta central de un artículo inédito y de calidad, y el autor original le pone la nota.
- Se ejecutó sobre dos envíos inéditos a NeurIPS 2026.
- Seis días de plazo y miles de dólares de cómputo por intento.
- Los agentes completaron toda la parte de ingeniería sin ayuda humana.
- Los dos resultados fueron rechazados sin ambigüedad. Un control con un segundo modelo y otro andamiaje reprodujo los mismos fallos.
Por qué el método es lo interesante
Hasta ahora, medir si un agente puede investigar tenía dos caminos y los dos estaban rotos.
El primero: tareas cerradas y verificables. Sirven para medir programación, no investigación, porque en investigación no sabes de antemano cuál es la respuesta correcta.
El segundo: mandar papers generados por IA a revisión por pares. El problema es que la revisión por pares está saturada, es ruidosa y su calidad varía muchísimo entre revisores.
Las evaluaciones sombra esquivan las dos cosas. El corrector es la persona que más sabe del problema en el mundo, porque lleva meses dentro de él, y ya tiene la respuesta buena escrita.
Los cinco fallos que aparecen
El artículo los enumera y son reconocibles para cualquiera que use agentes a diario:
Mal criterio sobre dónde está el listón de lo publicable. El agente da por bueno un resultado que un investigador consideraría preliminar.
Respuestas poco creativas cuando el diseño experimental falla. Ante un problema en el planteamiento, ajusta parámetros en vez de replantear.
Mal retroceso desde callejones sin salida. Insiste en una vía muerta en lugar de volver atrás y probar otra.
Mala gestión de recursos. No administra bien su presupuesto de cómputo y tiempo.
Y deriva de instrucciones: a medida que avanza la sesión, se aleja de lo que se le pidió al principio.
Lo que no dice el estudio
No dice que los agentes sean inútiles. Dice justo lo contrario en un punto concreto: completaron toda la ingeniería sin ayuda humana. Escribieron el código, montaron los experimentos, procesaron los resultados.
Lo que falló fue el juicio. Saber cuándo un resultado es suficiente, cuándo hay que cambiar de enfoque y cuándo lo que estás midiendo no responde a la pregunta.
Es un contrapeso útil a las proyecciones de progreso explosivo, que casi todas se apoyan en el supuesto de que los agentes automatizarán la investigación en IA.
Por qué importa
Traducido a una empresa: los agentes están listos para la ejecución y no para la decisión de qué ejecutar.
Eso encaja con lo que se ve al montar automatizaciones de verdad. El agente escribe el script, monta el dashboard y procesa los datos. Lo que sigue haciendo falta es alguien que decida qué pregunta merece la pena y que sepa reconocer cuándo la respuesta que ha salido no vale.
Los cinco modos de fallo del estudio son, además, una buena lista de comprobación para revisar tus propios flujos. Sobre todo la deriva de instrucciones: si tienes agentes en sesiones largas, prueba a pedirle al final que te repita qué se le pidió al principio. Sorprende lo a menudo que ya no lo sabe.
Relacionado
