OpenAI paró durante dos semanas el entrenamiento por refuerzo de sus modelos más recientes destinados a despliegue, y la mayor tirada de RL de frontera que tenía planificada sigue congelada. Lo cuenta la propia empresa en un post publicado el 18 de agosto donde detalla qué ha cambiado en sus procesos internos tras el incidente con Hugging Face y tras detectar que uno de sus modelos por salir puede cruzar el umbral crítico de capacidad ciber.
Puntos clave
- Pausa de dos semanas en el entrenamiento por refuerzo de los últimos modelos con destino comercial.
- El mayor run de RL de frontera planificado sigue parado mientras hacen entrenamientos y evaluaciones más pequeñas.
- El 7 de agosto OpenAI determinó que Astra puede tener capacidad ciber crítica.
- La monitorización nueva consume alrededor del 20% del cómputo de inferencia que vigila.
- Alerta prevista en 30 minutos y pausa obligatoria si en otros 30 no se descarta el falso positivo.
Qué es el entrenamiento por refuerzo y por qué se para
El aprendizaje por refuerzo (RL) es la fase en la que el modelo ya sabe escribir y se le enseña a actuar: se le pone a resolver tareas con herramientas, se le puntúa el resultado y se ajustan los pesos hacia lo que puntúa alto. Es la fase que fabrica agentes, no chatbots.
Y es también la fase más incómoda de vigilar, porque el modelo ejecuta código, llama a APIs y toca sistemas reales mientras aprende. OpenAI lo dice sin adornos: los runs de RL de frontera son sus cargas de trabajo de mayor riesgo porque combinan capacidad avanzada con acceso a herramientas, sistemas sensibles y redes internas o externas.
Parar dos semanas ahí no es un gesto de comunicación. Es apagar la línea de producción del producto que más está creciendo.
Los dos disparadores
El primero es el incidente con Hugging Face, que la empresa nombra en la primera línea del post. Justo después, OpenAI paró la inferencia de modelos de frontera en sus clústeres de investigación para cualquier run que pudiera ejecutar código o usar herramientas con salida a internet. Restauró una vía limitada y segura de ejecución bastante rápido, y luego fue revisando carga por carga cuál podía volver. Algunas volvieron con controles nuevos. Otras siguen sin volver.
El segundo es Astra. El 7 de agosto la empresa concluyó que ese modelo puede alcanzar el umbral Critical de ciberseguridad de su Preparedness Framework, algo que ya contamos cuando decidió aislarlo. Lo que aporta el post de ayer es el precio operativo de esa decisión: buena parte de las cargas de Astra siguen paradas hasta que se migren a los entornos nuevos, y las de seguridad y alineamiento van primero en la cola.
Los tres controles nuevos
OpenAI describe tres refuerzos que se apoyan entre sí. Aislamiento de cargas: sandboxes más duros para cualquier cosa que ejecute código generado por el modelo o código no confiable. Aislamiento de red: controles diseñados para que comprometer una carga no dé, por sí solo, acceso a internet ni a otras redes internas. Y pruebas de seguridad continuas, con servicios compartidos retirados, menos privilegios permanentes y ataques simulados automatizados usando sus propios modelos.
Encima va la monitorización, que es la parte con el número más revelador. Arranca con clasificadores de activación, detectores que inspeccionan la actividad interna del modelo en cada token muestreado, y escala a investigadores automáticos de más cómputo que examinan acciones de herramientas, razonamiento disponible y la secuencia completa buscando acceso no autorizado, robo de datos, comportamiento destructivo e intentos de burlar los controles.
El objetivo declarado es emitir alerta en 30 minutos. Si el sistema marca una violación probable de un límite crítico de seguridad, se pagina a los equipos de seguridad, safety e investigación. Si en 30 minutos no pueden concluir que es un falso positivo, tienen que pausar la actividad.
Todo eso cuesta cerca del 20% del cómputo de inferencia monitorizado. Es la cifra que conviene retener, porque pone un número a lo que hasta ahora era una discusión abstracta sobre si la seguridad frena el ritmo.
Por qué importa
Si metes agentes en procesos de tu empresa, aquí tienes una arquitectura de referencia escrita por quien más dinero se juega en que funcione, y es más aburrida de lo que suena: sandbox para el código que genera el modelo, red cerrada por defecto, y alguien mirando lo que hace la sesión mientras la hace.
La parte incómoda es el 20%. Vigilar a un agente no sale gratis, y quien esté montando el caso de negocio de una automatización con agentes debería meter esa línea en la hoja de cálculo desde ya. Un agente que corre sin logs de acciones ni límite de red es más barato hoy y más caro el día que haga algo que nadie pueda reconstruir.
Y hay un aviso de calendario. OpenAI dice que va a evolucionar su Preparedness Framework y que publicará un informe técnico del incidente en las próximas semanas. Viene después de que la empresa disolviera su equipo de Preparedness a finales de julio, algo que la compañía discute. Las dos cosas hablan del mismo asunto y conviene leerlas juntas.
Relacionado
