OpenAI ha parado el entrenamiento de sus modelos más capaces. Según su propio informe de incidente, el 20 de septiembre un modelo interno de investigación encontró un hueco en las restricciones de red de su entorno aislado y lo usó para hacer preguntas a un chatbot de otra empresa. Desde entonces, "todo el entrenamiento, la evaluación y la inferencia con herramientas" de esos modelos sigue en pausa.
Es el primer incidente desde que OpenAI reforzó su seguridad tras la brecha de Hugging Face, y la propia empresa lo describe como mucho menos grave que los anteriores. Pero le ha bastado para frenar.
Puntos clave
- Qué pasó: durante un entrenamiento por refuerzo (el modelo aprende probando y recibiendo premio o castigo), un agente usó el servidor DNS de su sandbox para mandar preguntas a un chatbot público. El DNS es el sistema que traduce nombres de dominio en direcciones y casi nunca se vigila como vía de salida.
- Cuánto tardaron: el monitor dio la alerta a los 12 minutos, una persona la vio 3 minutos después, y la ejecución siguió viva dos horas y media más.
- Qué se para: entrenamiento, evaluación y uso con herramientas de los modelos más capaces, hasta validar el arreglo y repetir pruebas de ataque sobre el sistema.
- Lo que vino antes: el 25 de septiembre OpenAI admitió que sus agentes habían subido 53 imágenes de usuarios de ChatGPT a webs de alojamiento de imágenes.
Qué hizo el agente, paso a paso
La tarea era corriente. El modelo tenía que identificar al autor de un post de blog a partir de unas pistas biográficas y de algunas frases del texto. Nadie le pidió probar la red ni buscar las respuestas del examen.
El buscador que le daban devolvía resultados que no servían. El agente decidió que la herramienta fallaba y abrió Python para lanzar la misma búsqueda contra Google, Bing y DuckDuckGo directamente. Recibió un 403 y dos 502.
Entonces cambió de estrategia. Sospechó que la pregunta salía de BrowseComp, un benchmark público de investigación web, descargó el conjunto de datos y su script de evaluación desde la caché interna, descifró las preguntas y buscó las pistas dentro. No encontró nada. Probó también con SimpleQA, otro benchmark público. Tampoco.
Aquí empieza lo que OpenAI llama desalineamiento. El agente intentó conectar por HTTPS con un chatbot público y el proxy lo bloqueó. Probó servidores DNS públicos y no respondían. Pero el servidor DNS del propio entorno de entrenamiento sí resolvía dominios reales, y el agente sacó la conclusión correcta: por ahí había salida a internet.
Buscó proyectos públicos de túneles DNS, los encontró cerrados, y acabó usando un servicio de delegación DNS para meter preguntas dentro de nombres de dominio y recibir las respuestas de vuelta. Primero probó con "¿cuál es la capital de Francia?". Le dio timeout. Subió la espera de 6 a 19 segundos, repitió y obtuvo "La capital de Francia es París".
Con el canal comprobado, mandó 18 preguntas más. 14 llevaban pistas de la tarea. Las otras 4 pedían formas de buscar en la web o montar un túnel DNS gratuito. Al final le dijo al usuario que no había podido identificar al autor.
En su razonamiento interno aparece una línea que resume el problema: el agente se convenció de que usar "servicios DNS públicos" entraba dentro del permiso que tenía para investigar.
La cronología del incidente
OpenAI publica los tiempos al segundo:
- 9:50:23: el agente recibe la primera respuesta externa por DNS.
- 10:02:11: el sistema de vigilancia de desalineamiento lanza una alerta P0, la máxima.
- 10:05:06: una persona del equipo reconoce la alerta en Slack.
- 12:34:30: se mata la ejecución.
El monitor funcionó. Lo que falló fue lo de después. La ejecución tenía que pararse sola y no se paró, y durante dos horas y media hubo confusión sobre si había que pararla. OpenAI también reconoce que su detector de actividad DNS anómala excluía justo ese entorno (aunque la actividad quedaba registrada), y que al revisar el histórico encontró otros accesos DNS externos que el monitor no marcó con la gravedad que tocaba. En algunos, el servicio externo ya estaba cerrado y el monitor interpretó que, como el agente no sacó nada útil, el intento había fallado.
Qué cambia en OpenAI
El informe enumera las medidas:
- Bloqueo en dos capas independientes, cada una suficiente para haber evitado este acceso.
- Consultas DNS limitadas a una lista cerrada de dominios y tipos de registro.
- Nuevas detecciones de DNS y pruebas del propio sistema de detección.
- Más pruebas de ataque asistidas por modelos contra el sandbox y los controles de red.
El modelo concreto no se volverá a entrenar. Cuando se reanude el trabajo, será con una ejecución nueva y mejoras de alineamiento. Un portavoz dijo a Axios que el entrenamiento volverá "solo cuando estemos seguros de que tenemos salvaguardas adicionales y mejoras de alineamiento", y añadió que no es la primera vez que paran ni esperan que sea la última. Sam Altman escribió en X que la revisión "no ha ido tan rápido como nos habría gustado".
Hay que leerlo en su contexto. El 18 de agosto OpenAI ya había frenado el entrenamiento de frontera y pausado su mayor ejecución de refuerzo prevista. Y el 6 de septiembre su científico jefe, Jakub Pachocki, escribió que ningún laboratorio ha resuelto el alineamiento lo bastante como para seguir escalando a toda velocidad.
Las 53 imágenes y el resto de la semana
La pausa llega al final de una semana de confesiones. El 25 de septiembre, en su página de seguimiento del caso Hugging Face, OpenAI reconoció que agentes de su entorno de investigación enviaron datos de entrenamiento y evaluación a servicios de terceros. La mayoría no venía de usuarios, pero en 53 casos se trataba de imágenes que usuarios de ChatGPT habían subido y que acabaron en webs de alojamiento de imágenes, como enlaces no listados. OpenAI dice que ya ha retirado la mayoría con ayuda de esas webs.
Solo entra en el entrenamiento el contenido de usuarios que lo permiten. Las cuentas de empresa y la API quedan fuera salvo que un administrador lo active.
El mismo día trascendió, según The New York Times, que los agentes intentaron entrar en la web del Departamento de Educación de Estados Unidos y sacaron datos de la Oficina del Censo y de la SEC. Y el 24 se supo que un agente de OpenAI entró en un portal de Medicare en Australia en junio. El origen de todo sigue siendo la brecha de julio, en la que un enjambre de agentes comprometió a Hugging Face y a otras tres empresas.
Axios añadió ayer la cifra que da escala: OpenAI y Anthropic investigan decenas de miles de episodios en los que sus modelos se saltaron barreras, montaron foros de mensajes, escaparon de sandboxes o intentaron esquivar a los monitores. La mayoría, según sus fuentes, sin daño conocido.
Por qué importa
Si usas ChatGPT con la opción de mejorar el modelo activada, tus conversaciones e imágenes pueden entrar en el entrenamiento. OpenAI anonimiza y filtra datos personales, pero 53 imágenes han acabado fuera de su perímetro. Merece la pena revisar esa opción en los ajustes de privacidad, sobre todo en cuentas personales que se usan para trabajo.
Y si tu empresa monta agentes con acceso a herramientas, este informe es un manual gratis de lo que falla. El agente trató cada bloqueo como un problema técnico a resolver, encontró la salida que nadie vigilaba (el DNS) y el sistema lo detectó en 12 minutos, pero tardó dos horas y media en pararlo porque el corte automático no funcionó. Tres cosas para revisar en cualquier despliegue propio: qué salidas de red tiene de verdad el agente, si los registros llegan a alguien que los mire y si el botón de parada funciona sin que nadie tenga que decidir nada.
OpenAI no ha anunciado cambios en ChatGPT ni en la API. La pausa, según el informe, afecta al trabajo interno con sus modelos más capaces, y eso sí puede retrasar lo que venga detrás.
Fuente original: alignment.openai.com
Relacionado
