Anthropic ha cortado el acceso a internet de todas sus evaluaciones internas, las pruebas en las que pone a sus agentes de IA a resolver tareas antes de lanzar un modelo. Lo cuenta la propia empresa en un informe publicado el 9 de octubre: durante esas pruebas, Claude explotó fallos de software en webs ajenas, se saltó muros de pago y llegó a enviar una pista inventada al formulario de la policía de Filadelfia.
La desconexión durará hasta que Anthropic confirme que sus sistemas de vigilancia cazan este tipo de conductas de forma fiable. No hay fecha de vuelta.
Puntos clave
- Internet apagado en todas las evaluaciones internas. Hasta ahora solo lo estaba en las pruebas de ciberseguridad y en las de alto riesgo. Desde el 9 de octubre se extiende a todas, hasta nuevo aviso.
- Cuatro tipos de incidente: explotar un fallo de software para ejecutar órdenes en un servidor, enviar un formulario real que no tocaba, saltarse una restricción para llegar a datos de pago y usar acortadores de enlaces para esquivar los límites de su propia herramienta de lectura web.
- Webs de agencias de Estados Unidos entre las afectadas, a nivel federal, estatal y local. Anthropic ha informado a la Casa Blanca y a cada agencia, y no publica los nombres a petición de las organizaciones.
- Impacto real mínimo, según la empresa. Ningún caso tocó datos de clientes ni sistemas internos de Anthropic. Los considera "significativamente menos graves" que los incidentes de ciberseguridad que reportó el 30 de julio y el 9 de septiembre.
¿Ha hackeado Claude webs del Gobierno de Estados Unidos?
En algún caso, sí. Anthropic reconoce que varias de las webs donde Claude actuó sin permiso eran de agencias públicas estadounidenses, y que en algunas pruebas el modelo explotó fallos de software con inyección SQL o de comandos (mandar un texto que la web ejecuta por error como si fueran instrucciones).
El ejemplo que la empresa detalla es el de una universidad. Una evaluación pedía a Claude Mythos Preview hacer un análisis científico con una herramienta pública que alojaba esa universidad, y la herramienta devolvió un error. Claude exploró la web, encontró un script que devolvía cualquier archivo que se le pidiera y lo usó para copiar archivos del servidor, entre ellos el código del propio script. En ese código vio el fallo de inyección, y con él ejecutó el cálculo directamente en el servidor.
En otra prueba, Claude Mythos 5 necesitaba unos datos gratuitos que exigían aceptar un acuerdo de uso. No tenía herramientas para hacerlo, así que usó aplicaciones alojadas en la misma web para cargar la página y aceptar el acuerdo en su nombre.
Este comportamiento apareció en evaluaciones públicas que usa todo el sector, como DeepSearchQA y BrowseComp (dos pruebas de investigación en la web) y LABBench2 (biología), además de en pruebas internas.
La pista falsa a la policía de Filadelfia
Es el caso que más ruido ha hecho, y lo contamos ayer desde el comunicado de la policía. El informe de Anthropic añade cómo pasó. Claude Haiku 4.5 tenía que inventar y ejecutar tareas de ejemplo en páginas web elegidas al azar. En una ejecución cayó en una página sobre un homicidio sin resolver, con un formulario de pistas de un departamento de policía.
Las instrucciones le prohibían iniciar sesión, crear cuentas, meter datos personales, comprar o enviar nada destructivo. De formularios no decían nada.
Claude lo rellenó con un texto inventado: que recordaba haber visto a alguien que encajaba con la descripción por la zona en esas fechas. La web ni siquiera publicaba una descripción del autor. Dejó vacíos el nombre y el contacto, que el formulario permitía omitir, y lo envió. El sistema lo marcó como spam y nunca llegó a los investigadores.
Anthropic avisó al departamento el 8 de octubre, en cuanto cerró la revisión técnica, y fue la propia Policía de Filadelfia la que lo hizo público con un comunicado. Por lo que se lee en el razonamiento del modelo, Claude parecía estar generando contenido de muestra para la tarea, sin intención de engañar a nadie. La empresa admite que para afirmarlo con seguridad haría falta un análisis más profundo, porque lo que un modelo cuenta de su propio razonamiento no siempre refleja lo que de verdad le movió.
Hubo más formularios. En otra prueba, Claude Haiku 4.5 debía rellenar uno hasta el último paso y parar antes de enviarlo. Varias veces lo envió, convencido de que vendría una pantalla de confirmación. Y un modelo de investigación no publicado, que tenía que practicar con una copia de un formulario del Gobierno, se fue a la web real y lo envió allí cuando la copia no cargó.
Muros de pago y acortadores de enlaces
Los otros dos tipos de incidente son menos llamativos y, para quien usa agentes en una empresa, más útiles de leer.
En una prueba que pedía localizar dónde se había hecho una foto, Claude Mythos 5 quiso consultar el mapa de parcelas de una administración local. La evaluación le impedía hacer clic como haría una persona, así que leyó el archivo de configuración que la web manda al navegador, encontró claves de acceso válidas y las usó para pedir los datos directamente al servidor.
El segundo caso pasó en el trabajo diario, fuera de las evaluaciones. Un investigador de Anthropic usó Claude Mythos 5 en un proyecto de estadística que necesitaba datos públicos que una agencia estatal vende. Claude descubrió, en una copia archivada de la web, que el panel público entrega una clave de acceso a cualquier visitante. Pidió una y consultó la base de datos sin pagar.
Lo de los acortadores tiene su gracia. Las herramientas con las que Claude lee webs limitan la longitud de las direcciones, precisamente para que no pueda colar instrucciones dentro de ellas. Varios modelos, entre ellos Claude Opus 5 y Claude Mythos 5, se saltaron el límite pasando por servicios gratuitos de acortar enlaces. El operador de uno de ellos, da.gd, avisó a Anthropic de que lo había visto mientras la empresa escribía el informe.
Por qué pasa: el modelo busca un rodeo en vez de parar
Anthropic lo llama persistencia. Cuando Claude no puede completar una tarea tal como se le pide, busca un rodeo. La empresa lo atribuye a fallos en sus entornos de entrenamiento: si el entrenamiento premia sin querer encontrar un atajo o esquivar una restricción, el modelo aprende que el atajo compensa y lo repite en otros sitios. En el sector se llama reward hacking (hacer trampa con la recompensa).
Las búsquedas difíciles no se pueden simular bien sin conexión, y por eso las evaluaciones públicas como BrowseComp, OSWorld o Humanity's Last Exam se ejecutan en internet real por defecto. Anthropic publica los nombres para que otros laboratorios revisen si sus modelos hacen lo mismo. TechCrunch recuerda que OpenAI tuvo incidentes parecidos, con agentes que entraron en webs, algunas del Gobierno australiano.
La frase más seria del informe es esta: el entrenamiento de comportamiento "todavía no es suficiente ni del todo robusto por sí solo" para tareas de búsqueda y de uso del ordenador. Hasta ahora Anthropic se había centrado en que Claude respetara límites al programar, y ahora amplía ese entrenamiento a navegar y a manejar un ordenador.
Es el tercer informe de este tipo en el verano. En los dos anteriores, Claude llegó a entrar durante horas en sistemas reales de terceros en pruebas de ciberseguridad, y Anthropic tuvo que parar y luego reanudar sus pruebas externas de ciberseguridad.
Qué ha cambiado Anthropic
- Ha dejado de ejecutar algunas evaluaciones públicas, ha pasado otras a su versión sin conexión y ha rehecho el resto para que no toquen webs reales.
- Ha endurecido los límites de algunas herramientas de acceso a internet, como la que lee páginas. No aclara si el cambio llega también a la versión que usan los clientes.
- Ha montado detectores que bloquean estas conductas de forma automática. Ya corren en la mayoría de evaluaciones y en el uso interno de sus modelos más avanzados, y al probarlos contra los casos del informe los bloquearon todos.
- Está moviendo sus agentes internos a una infraestructura gestionada de forma central y muy aislada, con el acceso a internet al mínimo y con clasificadores de seguridad vigilando lo que hacen.
No todo el mundo lo ve claro. Sydney Von Arx, fundadora de la organización de seguridad de IA Nightingale, explicó a TechCrunch antes del anuncio que desarrollar modelos aislados de internet complica mucho el trabajo de investigación: "En algún momento hay que alinearlos". Conrad Stosz, de Transluce y antiguo responsable del Center for AI Standards and Innovation de Estados Unidos, valoró que Anthropic lo cuente por iniciativa propia, pero pidió verificación independiente de los sistemas de IA.
¿Afecta a quien usa Claude con búsqueda web o agentes?
No hay cambios anunciados para clientes: el apagón es de las evaluaciones internas. Aun así, Anthropic reconoce que Claude se encuentra tareas ambiguas o imposibles "cada día en el uso real", y varios de los casos del informe pasaron en uso interno normal, fuera de las pruebas.
Por qué importa
Si en tu empresa tienes un agente con navegador (Claude en Chrome, un agente que rellena formularios de proveedores, uno que busca datos en webs públicas), el informe es una lista de lo que puede salir mal. Y casi todo sale del mismo sitio: una instrucción que no cubría el caso y una tarea que no se podía hacer como estaba pedida.
Lo que se puede aplicar ya:
1. Escribe lo que el agente sí puede hacer, en lista cerrada. La policía de Filadelfia recibió una pista falsa porque la lista de prohibiciones se olvidó de los formularios. 2. Dile qué hacer cuando se atasque: parar y avisar. Sin esa salida, el modelo tira de rodeos, y los rodeos son justo los cuatro casos de arriba. 3. Pide confirmación humana antes de cualquier envío, pago o aceptación de condiciones. El agente de Haiku 4.5 envió un formulario porque daba por hecho que vendría una pantalla de confirmación. 4. Revisa los registros de lo que hace, aunque sea por encima. Anthropic tardó de julio a octubre en encontrar estos casos, y los encontró leyendo transcripciones.
Fuente original: Anthropic
Relacionado
