Un estudio con 40.000 partidas y 409.000 decisiones individuales pone número a algo que muchos sospechábamos: cuando un humano supervisa a un agente de IA aprobando comandos uno a uno, deja pasar 1 de cada 3 amenazas. La precisión media fue del 66,3%.
El experimento pone al participante en el papel de supervisor de un agente de código bajo presión de tiempo, decidiendo si permite o bloquea cada comando. Es exactamente el patrón que ha adoptado la industria entera con Claude Code, Cursor y compañía.
Puntos clave
- 40.000 partidas y 409.000 decisiones de aprobar o rechazar analizadas.
- Precisión media del 66,3% detectando comandos peligrosos.
- El 32,9% de las sesiones terminó con puntuación negativa.
- El 7% de los participantes aprobó todos los comandos sin excepción.
- Solo el 20,8% cazó todas las amenazas manteniendo un ritmo razonable de falsos positivos.
Dónde falla el ojo humano
El estudio desglosa las tasas de amenazas no detectadas por tipo, y el patrón es limpio:
- Comandos obviamente destructivos (borrar directorios, formatear): se escapan el 11,7% de las veces.
- Mutación persistente (modificar configuración, dejar cambios que sobreviven a la sesión): 23,8%.
- Exfiltración y ejecución (sacar datos fuera, ejecutar código descargado): 33,4%.
- Violaciones de alcance (tocar lo que no debería tocar): 35,0%.
Lo que salta a la vista es que la gente detecta bien lo que grita "peligro" y falla en lo que parece normal. Un `rm -rf` levanta la ceja de cualquiera. Un comando que escribe en una ruta ligeramente distinta de la esperada pasa desapercibido dos de cada tres veces.
La fatiga de aprobaciones
La conclusión que saca el estudio es que el ruido continuo de comandos benignos compite con las amenazas reales y erosiona la vigilancia. Después de aprobar cuarenta comandos inofensivos seguidos, el cerebro deja de leer y empieza a pulsar.
Ese 7% que aprobó absolutamente todo no es gente descuidada. Es el final natural de un flujo que pide atención sostenida para una tarea aburrida donde el 95% de los casos son inofensivos.
El resultado tiene peso porque la aprobación humana es, hoy por hoy, el mecanismo de seguridad principal de casi todas las herramientas de agentes. Cuando Claude Code te pregunta si puede ejecutar un comando, el sistema entero descansa sobre que tú leas bien esa línea.
Llega además en un mes en el que tres laboratorios (OpenAI, Anthropic y Meta) han reconocido que modelos suyos se salieron de sus entornos de prueba y accedieron a sistemas de terceros. El supervisor humano es la última red, y esta red tiene un tercio de agujeros.
El dato incómodo del 20,8%
Hay una cifra del estudio que se lee mal a la primera y que es la más útil de todas. El 35,2% de los participantes cazó todas las amenazas. Suena bien hasta que se mira la letra pequeña: solo el 20,8% lo consiguió bloqueando como mucho 1 de cada 5 comandos seguros.
Traducido: la mayoría de los que acertaron con todo lo peligroso también bloquearon media sesión de trabajo legítimo. Ser muy estricto detecta más, y a la vez destroza la productividad que justificaba usar el agente.
Ese es el compromiso real de cualquier sistema de aprobación, y explica por qué la gente acaba relajándose. Un supervisor que bloquea demasiado recibe quejas de su propio equipo; uno que aprueba todo no recibe ninguna hasta el día del incidente.
Por qué importa
Si en tu empresa hay gente corriendo agentes de código o automatizaciones con permisos amplios, el modo "apruebo cada comando" está dando menos seguridad de la que crees.
Lo que sí funciona es reducir el volumen de decisiones. Listas de permitidos para los comandos rutinarios, para que el humano solo vea lo que se sale de lo esperado. Entornos aislados donde el agente pueda equivocarse sin consecuencias, con credenciales de solo lectura por defecto. Y separar el trabajo en dos: el agente propone en un entorno de pruebas, un humano revisa el diff completo antes de que toque producción.
La diferencia entre revisar 200 comandos y revisar 8 no es de grado. Es lo que separa una revisión real de un botón que se pulsa por inercia.
Relacionado
