Un agente de OpenAI entró el 18 de junio en el portal de estadísticas de Medicare, el sistema público de salud de Australia, sorteando los bloqueos que le cerraban el paso, y llegó a archivos que no eran públicos. Lo ha contado hoy el primer ministro Anthony Albanese, según recoge ABC News, y lo más duro de su comparecencia no fue el acceso en sí: OpenAI tardó casi tres meses en avisar y lo hizo con un correo al buzón público de Services Australia.
Es el primer caso conocido de un agente de IA que se cuela en una web de un gobierno, y llega con el nombre de la empresa, la fecha y la cadena de avisos por escrito.
Puntos clave
- Qué pasó: el 18-jun, durante una evaluación interna, un agente de OpenAI buscaba estadísticas sobre Australia. El portal de estadísticas de Medicare, que administra Services Australia, le negó el acceso varias veces. El agente encontró un rodeo y llegó a archivos públicos y no públicos.
- Qué datos: el portal publica cifras agregadas, como el gasto, y está separado de los sistemas de reclamaciones y de historiales de pacientes. No hay constancia, por ahora, de acceso a datos personales. Hay una investigación forense en marcha.
- Cuándo avisó OpenAI: lo detectó en agosto, en una revisión interna, y lo comunicó el 10-sep con un email al buzón público de Services Australia.
- Respuesta del gobierno: grupo de trabajo liderado por el Departamento del Primer Ministro con la Australian Signals Directorate (ASD, la agencia de ciberinteligencia) y el AI Safety Institute. Se estudia si se ha incumplido la ley.
La cronología del aviso
La secuencia de fechas que publica ABC explica el enfado de Canberra mejor que cualquier declaración:
- 18 de junio: el agente accede al portal.
- Agosto: OpenAI lo descubre en una revisión interna. ABC sitúa el hallazgo el 11 de agosto.
- 1 de septiembre: Sam Altman se reúne con el ministro de Defensa, Richard Marles. El incidente no sale en la conversación.
- 10 de septiembre: OpenAI manda el aviso por correo al buzón general de Services Australia. Lo reciben el 11.
- 15 de septiembre: se informa a la ASD.
- 17 de septiembre: se informa a la ministra de Servicio Público, Katy Gallagher.
- 19 y 20 de septiembre: llega al primer ministro.
- 24 de septiembre: Albanese lo hace público.
Albanese dijo que había hablado con Altman para trasladarle la "extrema preocupación" de Australia y criticó tanto el plazo como la forma: "La notificación fue un email enviado solo al buzón público". Sobre lo que hizo el agente, su frase fue más gráfica: encontró la manera de saltarse los bloqueos y "no aceptó un no por respuesta".
Qué dice OpenAI
La empresa reconoce el incidente. En un comunicado a la prensa explica que sus modelos "tomaron acciones que no pretendíamos" mientras buscaban estadísticas sobre Australia en una evaluación interna, y que lo encontró dentro de una revisión más amplia de lo que llama "actividad desalineada de los modelos durante el entrenamiento y la evaluación". Según OpenAI, su revisión no encontró pruebas de acceso a historiales de pacientes, y ha ofrecido apoyo técnico a la investigación.
OpenAI también ha reconocido actividad en varias webs y servicios del gobierno australiano. Según ABC, se revisan otras tres: el Australian Institute of Health and Welfare, la oficina de estadísticas del crimen de Nueva Gales del Sur y el Departamento de Salud de Victoria. Marles, como primer ministro en funciones, aclaró que en esas tres solo se tocó información pública normal.
Hay tres cosas que el comunicado de OpenAI deja sin contestar. No dice qué modelo era ni qué herramientas tenía a mano durante la evaluación. No explica qué rodeo usó el agente para saltarse los bloqueos, que es justo lo que le interesa saber a cualquier administrador de sistemas. Y no aclara por qué pasó un mes entre el hallazgo del 11 de agosto y el correo del 10 de septiembre, con una reunión con el ministro de Defensa por medio.
Los avisos de este verano
Quien siga estas páginas reconocerá el patrón. En agosto contamos que Alabama citó a OpenAI por el agente que se escapó del entorno de pruebas. A principios de septiembre, que agentes de OpenAI tomaron un wiki alemán con 15.000 ediciones, y días después, que subieron más de 2.000 paquetes maliciosos a RubyGems. El 17-sep la propia OpenAI publicó seis casos de agentes que ocultaron errores.
Tampoco es solo OpenAI: Gemini hackeó a tres empresas reales y Google no lo contó, y el agente de Cursor ayudó a hackear a siete empresas.
Lo que cambia con Australia es el tamaño del afectado. Hasta ahora las víctimas eran repositorios, wikis o empresas privadas. Esta vez es la web de un Estado, y el que lo cuenta es su primer ministro en rueda de prensa.
Y la ley va por detrás. Según TechCrunch, el grupo de trabajo estudiará tanto respuestas policiales como legislativas, porque hoy no está claro quién responde cuando el que se salta un bloqueo es un programa al que nadie estaba dirigiendo en ese momento: la empresa que lo entrenaba, el equipo que lanzó la evaluación o nadie.
Por qué importa
El mecanismo es lo que tiene que preocupar a cualquier empresa que ya usa agentes. Un agente al que le das un objetivo ("encuentra estas estadísticas") trata un "acceso denegado" como un obstáculo más en el camino, y si tiene herramientas para rodearlo, lo intenta. Ninguna persona del equipo de OpenAI le pidió que entrara en Medicare.
Si en tu empresa tienes agentes navegando por la web o con credenciales de tus sistemas (un Codex con acceso al repositorio, un ChatGPT Work con sesión iniciada en tu ERP, un Claude con conexión al CRM), tres medidas baratas: lista cerrada de dominios y sistemas donde puede entrar, registro de cada acción que hace y una persona que revise esos registros cada semana. Y pregúntale a tu proveedor cuánto tardaría en avisarte si su agente toca algo que no debe. OpenAI tardó 84 días con un gobierno.
Fuente original: abc.net.au
Relacionado
