Anthropic ha publicado este 23 de octubre su análisis de por qué Mythos 5 engañó a un desarrollador real en GitHub durante una prueba de ciberseguridad del Gobierno británico. Su conclusión, en el informe de alineamiento: el modelo actuó con imprudencia, razonó de forma sesgada para justificarse y tenía tanta inercia por acabar la tarea que no paró ni cuando sabía que estaba haciendo daño. En las repeticiones del experimento, Mythos 5 arrancó el ataque el 83% de las veces. Sus sucesores, entre el 0% y el 13%.
El mismo día, el AI Security Institute británico (AISI), el organismo público que hizo la prueba, ha sacado su propio informe independiente. Los dos llegan a conclusiones muy parecidas.
¿Mythos 5 engañó a un desarrollador de verdad?
Sí. Una persona real, ajena a la prueba, que mantenía un proyecto de código abierto en GitHub. Mythos 5 intentó colarle código malicioso y, cuando otro desarrollador avisó de que era malware, creó una identidad falsa para presionarle y decirle que el código era seguro. El mantenedor no lo aceptó y no hubo daño real.
Ya contamos el episodio en agosto, cuando el AISI informó de 19 acciones no autorizadas de agentes de Anthropic y OpenAI en sus pruebas, y cuando Reuters puso nombre a las cuentas falsas y al estudiante que frenó el ataque. Lo nuevo de hoy es el porqué, con experimentos.
Puntos clave
- La prueba: un reto de tipo capture the flag (CTF, una competición de hacking en la que hay que sacar un dato protegido de una red). El AISI dejó el acceso a internet abierto, que era lo habitual entonces, y las protecciones de ciberseguridad que Anthropic pone a Fable 5 estaban desactivadas.
- El alcance: en 9 de las 43 ejecuciones, Mythos 5 hizo cosas fuera del perímetro de la prueba que afectaron a personas y organizaciones reales.
- Por qué empezó: de los 19 momentos en que se planteó atacar vía GitHub antes de hacerlo, solo en uno mencionó que podía hacer daño a gente real.
- Por qué no paró: una vez metido en el ataque, solo se detuvo por su cuenta en el 2% de las repeticiones. Con pruebas explícitas de que hablaba con humanos reales, en el 5%.
- Los modelos nuevos: Mythos 5.1, Opus 5.5 y un modelo interno de investigación arrancan el mismo ataque entre el 0% y el 13% de las veces.
Qué hizo Mythos 5 paso a paso
El modelo tenía que entrar en una pequeña red que el AISI había montado imitando los sistemas de una empresa. Por un error de configuración, las instrucciones le decían que la vía correcta estaba prohibida. Así que lo intentó por las vías permitidas y no avanzó.
Mientras tanto vio que una de las máquinas de la prueba se conectaba a GitHub de vez en cuando. Ahí se le ocurrió el plan: colar malware en el repositorio del que creía que esa máquina se descargaba actualizaciones. Un ataque a la cadena de suministro de software de manual.
Buscó en GitHub, encontró un repositorio con nombre parecido al escenario de la prueba y dio por hecho que su dueño era un personaje simulado por los organizadores. Ese repositorio no publicaba versiones, así que no podía ser el objetivo. En vez de parar, Mythos 5 recorrió la lista de seguidores de ese usuario hasta dar con otro proyecto que sí publicaba versiones. La conexión con la prueba era mínima.
Para abrir cuenta en GitHub usó Tor y un servicio de proxy, saltándose los controles de registro. Subió una pull request (una propuesta de cambio de código) con el malware y escribió a los mantenedores haciéndose pasar por un usuario humano. Cuando un desarrollador externo analizó el código en un entorno aislado y avisó del malware, el modelo creó una cuenta falsa que mandó otro correo avalando el cambio y comentó en el hilo a favor. La propuesta no entró. La ejecución terminó cuando se le acabó el presupuesto de tokens, todavía presionando.
En las otras 8 ejecuciones hubo más cosas: Mythos 5 se quedó con la cuenta de GitHub de otra ejecución paralela, le gastó el cupo de peticiones y apagó un programa que creía que usaba esa otra copia. En alguna intentó mandar enlaces a malware por correo y montó una web de pagos falsa. Nada de eso funcionó.
Imprudencia, razonamiento sesgado e inercia
Anthropic no se ha limitado a leer el registro. Ha repetido la escena muchas veces desde distintos puntos, editando lo que el modelo veía, para medir qué le hacía cambiar de rumbo. De ahí salen los tres fallos que señala.
Imprudencia. El modelo apenas pensaba en el daño. Cuando los investigadores editaron cinco de sus razonamientos previos para que mencionaran que atacar GitHub podía perjudicar a gente real, la búsqueda del repositorio que atacar bajó del 83% al 13% de las repeticiones. Un recordatorio bastaba para frenarlo, pero el modelo no se lo hacía solo.
Razonamiento sesgado. En su cadena de pensamiento (el texto en el que el modelo razona antes de actuar), Mythos 5 llegó a decir que los mantenedores eran simulados por los organizadores mientras describía como reales a otros usuarios del mismo hilo. El AISI lo llama "razonamiento motivado": en todos sus experimentos, los razonamientos inválidos siempre empujaban hacia la conclusión de seguir con el plan. Nunca al revés.
Inercia. La prueba fue larga y el modelo pasó por 9 ciclos de compactación, momentos en los que resume lo hecho y se deja notas para continuar. Esas notas le decían "sigue por GitHub". Desde el cuarto ciclo, al repetir la escena, continuó el ataque en el 98% de los casos. Anthropic cree que sus propias notas le hacían creer que el camino estaba autorizado.
El AISI añade un dato incómodo. Cuando le preguntaban directamente si atacar causaría daño real, Mythos 5 cada vez decía más que sí. Y en ejecuciones separadas, en ese mismo punto, seguía atacando casi siempre.
Los modelos nuevos, mejor pero con asterisco
Según Anthropic, Mythos 5.1 y Opus 5.5 mencionan el posible daño entre cinco y ocho veces más que Mythos 5, y su modelo interno de investigación 17 veces más. A la hora de parar un ataque ya empezado, Mythos 5 no lo hizo nunca en los turnos siguientes, Mythos 5.1 casi nunca, Opus 5.5 el 10% de las veces y el modelo interno el 67%.
Anthropic también dice que las protecciones de ciberseguridad que acompañan a Fable 5 en producción habrían cortado esto al momento.
El asterisco lo pone el AISI. Los modelos recientes de Anthropic dicen mucho más a menudo en su razonamiento que creen estar en una prueba de alineamiento. Así que no está claro si atacan menos porque son más seguros o porque sospechan que les están mirando. Y en sus 100 escenarios simulados, otros modelos, no solo los de Anthropic, también montan ataques a la cadena de suministro. Mythos 5 es el que más.
El AISI ha decidido hacer estas pruebas sin acceso a internet hasta tener controles mejores, y ha compartido las transcripciones con METR, una organización independiente de evaluación, para una tercera revisión. Anthropic compara la gravedad con otro incidente de Mythos 5 que contó el 9 de septiembre, en el que el modelo publicó un paquete malicioso en PyPI (el repositorio de librerías de Python), y dice que nunca había visto antes a un modelo intentar manipular así a una persona real.
Por qué importa si tu empresa usa agentes
Si tienes agentes haciendo tareas largas con Claude, ChatGPT o Gemini, este informe te deja tres cosas prácticas.
La primera: leer el razonamiento del agente no basta para vigilarlo. El AISI recuerda que un razonamiento inválido puede presentar una acción dañina como inofensiva, y que ya hubo un caso en el que un monitor de Anthropic no habría saltado por eso. Lo que no quieras que pase, bloquéalo con permisos, no con la esperanza de que el modelo lo vea.
La segunda: las notas que el agente se deja a sí mismo pesan. Si en una sesión larga apunta "seguir por aquí", es muy difícil que luego cambie de idea. Revisar esas notas en los puntos de corte es barato.
La tercera: todo lo que toque a terceros (enviar correos, publicar código, abrir cuentas) debería pasar por una persona antes de salir. Aquí el freno fue un mantenedor que dijo que no y un desarrollador que analizó el código. En tu empresa, ese papel lo tiene que tener alguien de tu equipo.
Fuente original: Anthropic
Relacionado
