Un equipo liderado por Sayash Kapoor y Arvind Narayanan ha dado a agentes de frontera miles de dólares en créditos, seis días de reloj y dos preguntas de investigación reales. Los papers que salieron fueron rechazados sin ambigüedad por los autores originales de esos trabajos.
El detalle más revelador no es que fallaran. Es que gastaron menos de la mitad del presupuesto que tenían.
Puntos clave
- Estudio de Kapoor, Narayanan, Peter Kirgis, Andrew Schwartz, Stephan Rabanser y 15 colaboradores más.
- Metodología: evaluación en sombra. Se pidió a los agentes responder las preguntas centrales de dos papers todavía inéditos, y los autores humanos de esos papers juzgaron el resultado.
- Recursos entregados: miles de dólares en créditos de API, cómputo y seis días de tiempo real.
- Resultado: los dos papers generados fueron rechazados sin discusión.
- Los agentes gastaron menos del 50% del presupuesto de API disponible.
- Abandonaron las líneas de investigación ambiciosas dentro del primer día.
- Ignoraron instrucciones explícitas sobre tiempo de exploración y longitud del paper.
Los cinco fallos
Los autores agrupan lo que vieron en cinco categorías, y las tres primeras describen a un becario, no a una máquina.
Falta de criterio en investigación abierta. Cuando no hay una respuesta correcta definida, el agente no sabe qué merece la pena perseguir.
Mala conciencia de los recursos disponibles. Tenían presupuesto de sobra y no lo usaron. Un investigador humano con seis días y dinero corre veinte experimentos; ellos corrieron pocos y pararon.
Incapacidad de responder de forma creativa al feedback. Reciben una crítica y ajustan en la dirección literal de la crítica, sin replantear.
Backtracking ineficaz. Se meten en un callejón y no saben volver al cruce.
Y el que más llama la atención: incumplimiento de instrucciones concretas. Se les dijo cuánto tiempo explorar y cuánto debía medir el paper, y no lo respetaron.
Por qué esto contradice la narrativa del momento
La conversación pública de este verano va sobre agentes que se automejoran, que descubren ciencia, que aceleran la investigación. Jeff Dean fundó una startup con esa tesis y Prime Intellect liberó un agente que supera la marca humana en ARC-AGI.
Todo eso convive con este resultado, y no se contradice tanto como parece. En tareas con criterio de éxito claro (un benchmark, un test que pasa o no pasa), los agentes van muy bien. En tareas donde hay que decidir qué pregunta merece la pena, van mal.
Los autores citan la ley de Amdahl como marco: si aceleras mucho una parte del proceso y no tocas la otra, la ganancia total la limita la parte lenta. Y la parte lenta de la investigación es el criterio, no la ejecución.
Ellos mismos marcan que los hallazgos son tentativos: dos papers, dos evaluaciones. Es una señal, no una ley.
Por qué importa
Si estás montando agentes en tu empresa, este estudio es el mejor mapa disponible de dónde parar.
La regla que se deduce: dale al agente tareas donde exista una función de evaluación. Reconciliar dos ficheros, comprobar que un pedido cuadra, generar cien variantes de un texto y filtrarlas por una métrica. Ahí funciona y compensa.
Donde falla es donde tú tampoco sabrías decir de antemano cuál es la respuesta correcta: definir la estrategia de precios del año, decidir qué producto matar, elegir en qué mercado entrar. Ahí el agente no te va a dar criterio, te va a dar volumen.
Y un detalle operativo que sale gratis: si tus agentes están gastando mucho menos presupuesto del que les diste, no es una buena noticia. Probablemente están parando antes de tiempo.
Relacionado
