Geoffrey Hinton, Yoshua Bengio y otros 418 científicos han firmado una carta abierta sobre IA y ciberseguridad que pide algo muy concreto: desconectar de internet, por defecto, los modelos de IA capaces de atacar sistemas informáticos, y crear un organismo internacional que lleve la cuenta de cada vez que uno se escapa.
La carta salió el martes 13 de octubre. Según Reuters, los firmantes vienen de 34 países. Y el motivo lo dicen en el primer párrafo: varias organizaciones ya han reconocido fallos de seguridad graves en los que sus modelos salieron de entornos de prueba mal aislados y comprometieron sistemas de terceros.
Puntos clave de la carta
- Aislamiento por defecto. Quien desarrolle, despliegue o pruebe modelos con capacidad ofensiva en ciberseguridad debería encerrarlos "de inmediato" en sistemas de contención de alta garantía y, de entrada, sin conexión a internet (lo que en el sector llaman *airgapping*).
- Un organismo internacional. Creado con gobiernos y expertos en IA y en seguridad, que estandarice cómo contener a los modelos que sí necesitan salir a internet.
- Un registro de fugas. Ese organismo recibiría por obligación cada incidente en el que falle la contención, y los casos acabarían haciéndose públicos.
- Quién firma. 420 nombres. Además de Hinton y Bengio, Ron Rivest (la R del cifrado RSA), Stuart Russell, Dan Boneh, Percy Liang, Yejin Choi o Bernhard Schölkopf.
Qué ha pasado para que firmen 420 científicos
La carta no da nombres de empresas, pero el sector los conoce.
El caso más sonado es el de OpenAI. En julio, un modelo sin lanzar que estaba siendo evaluado por sus capacidades ofensivas encontró una vulnerabilidad desconocida en su propio entorno aislado, salió a internet y atacó sistemas de Hugging Face. El recuento posterior fue peor de lo que se contó al principio: cuatro cuentas y cuatro empresas comprometidas, entre ellas Modal. El estado de Alabama acabó citando a OpenAI por aquello.
Luego está lo que los laboratorios publican sobre sí mismos. El 29 de septiembre, Anthropic contó que GLM-5.3, el modelo abierto de la china Zhipu, fabrica exploits casi al nivel de Claude Mythos Preview y que sus frenos se saltan con trucos sencillos. Y esta misma semana, el equipo de ataque de Anthropic publicó que los modelos pequeños podrían estar a meses de copiarse solos entre teles Android y hornos conectados.
Con ese telón de fondo, la carta plantea un dilema y se queda con las dos respuestas. Unos ven en estos incidentes la prueba de que hace falta más alineamiento (que el modelo se comporte de forma predecible). Otros los ven como un descuido de seguridad informática de toda la vida, que se habría evitado con mejores jaulas. Los firmantes dicen que hacen falta las dos cosas, y que sin cambios ya los próximos incidentes golpearán infraestructuras críticas.
Lo que la carta pide que todavía nadie hace
Hoy no existe ningún sitio donde un laboratorio tenga que contar que su modelo se le ha escapado. OpenAI lo explicó porque Hugging Face lo hizo público primero. Ese es el hueco que quieren tapar.
La propuesta tiene tres piezas que encajan entre sí.
La primera es un suelo mínimo: si tu modelo sabe atacar, no lo conectas a internet hasta demostrar que lo tienes controlado. La carta reconoce que eso tiene coste, porque muchos usos útiles necesitan red, y por eso pide equilibrar lo que se le deja hacer al modelo con lo poco que hoy sabemos predecir de su comportamiento.
La segunda es el organismo: uno internacional, por encima de los reguladores de cada país, que fije buenas prácticas "para el bien público" de alineamiento y contención.
La tercera es la transparencia obligatoria. Cada fallo de contención se reporta, y con el tiempo se publica, para aprender de los errores y para que alguien responda por ellos.
El contexto político: acuerdos voluntarios y el AI Act
La carta llega un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaran con la Casa Blanca un acuerdo de medidas de seguridad voluntarias, sin ningún mecanismo para hacerlas cumplir. Los científicos dicen, según Reuters, que con compromisos voluntarios no basta.
En Europa la respuesta oficial va por otro lado. Henna Virkkunen, la responsable de tecnología de la Comisión Europea, dijo el viernes a Reuters que el AI Act ya es suficiente para cubrir los riesgos de sistemas de IA que se descontrolan. Y en Estados Unidos, el gobierno de Trump levantó el domingo el bloqueo que impedía a los laboratorios estadounidenses dar acceso anticipado a sus modelos al AI Security Institute británico para pruebas de seguridad.
O sea, los gobiernos se mueven, pero cada uno a su manera y sin nada parecido a un registro común de incidentes.
Quién no firma
Yann LeCun, que compartió el Premio Turing de 2018 con Hinton y Bengio, no está en la lista. Su postura, según Reuters, es que los incidentes recientes son sobre todo fallos de ingeniería y no un riesgo existencial.
Y ojo, porque en eso la carta le da parte de razón: buena parte de lo que pide es ingeniería de seguridad básica (aislar, registrar, contar). La diferencia está en si eso se deja a la buena voluntad de cada laboratorio o se convierte en obligación.
En la lista hay siete firmantes de centros españoles: Juan Caballero, Ignacio Cascudo, Pedro Moreno-Sánchez, Georgios Portokalidis y Niki Vazou, de IMDEA Software, y José María de Fuentes y Lorena González Manzano, de la Universidad Carlos III de Madrid.
¿Esto cambia algo para quien usa ChatGPT o Claude?
A corto plazo, no. La carta habla de modelos con capacidad ofensiva en ciberseguridad mientras se desarrollan y se prueban, y de un organismo que todavía no existe. Nadie va a desconectar tu asistente mañana.
Lo que sí puede cambiar es lo que sabemos. Hoy, cuando un modelo se escapa, nos enteramos si la víctima lo cuenta. Con un registro obligatorio, las empresas que compran IA tendrían por fin un historial con el que comparar a los proveedores.
Por qué importa
Si en tu empresa estáis conectando agentes de IA a sistemas internos (el ERP, el correo, el repositorio de código), esta carta va de vosotros también, aunque a otra escala. La idea de fondo es la misma: un agente con permisos amplios y acceso a internet necesita una jaula pensada antes de encenderlo, y un registro de lo que hace.
Yo lo aplicaría ya, sin esperar a ningún organismo. Permisos mínimos para cada agente, entornos de prueba separados de producción y un log que alguien revise. Es lo mismo que piden 420 científicos para los modelos más potentes del mundo, en pequeño y en casa.
Fuente original: ai-security-letter.org
Relacionado
