Satya Nadella, consejero delegado de Microsoft, quiere que las empresas traten a los modelos de IA como a un empleado con demasiado acceso. En un texto largo publicado en X el 10 de octubre pide asumir que cualquier modelo está comprometido desde el primer minuto y tener siempre a mano un freno de emergencia: una persona autorizada que pueda pausarlo o apagarlo a mitad de tarea.
Lo firma el jefe de la empresa que más dinero ha metido en IA generativa en los últimos tres años. Y lo publica un sábado, un día después de que Anthropic contara que uno de sus modelos mandó una pista falsa de asesinato a la policía de Filadelfia.
Puntos clave
- Título del texto: "Models as Insider Risks in the Super Intelligence Era". Los modelos como riesgo interno, igual que un empleado con privilegios.
- La frase que ha circulado: "We must assume a model is compromised and contain it from the start. Think of it like an emergency brake."
- Siete principios: diversidad de modelos, observarlo todo, verificación continua, controles independientes, auditoría independiente, contención y comunicación de incidentes.
- La idea de fondo: separar el modelo de la capa que orquesta su trabajo y sacar los controles fuera del modelo.
Qué propone Nadella exactamente
El punto de partida es técnico. Con el software de siempre, si algo fallaba podías seguir el camino del código hasta la línea culpable. Con un modelo grande no: Nadella reconoce que no se puede atribuir una respuesta concreta a unos datos de entrenamiento o a unos pesos concretos. Y aun así las empresas ya están dando a estos modelos acceso a sus datos más sensibles y permiso para ejecutar acciones.
Su respuesta es "separar el suministro de inteligencia de la autoridad sobre ella". O sea, el modelo pone la inteligencia, pero lo que puede tocar y lo que puede hacer lo decide un sistema que está fuera de él y que él no puede modificar. Nadella lo conecta con un principio de seguridad informática de los años 70: un programa no puede saltarse ni manipular el mecanismo que le da permisos.
Los siete principios, en su orden:
1. Diversidad de modelos. Ningún modelo debe ser la única dependencia de un resultado importante, ni revisar su propio trabajo. 2. Observarlo todo. Cada acción relevante tiene que dejar una evidencia legible por una persona y a prueba de manipulación. "If it can't be observed, it can't be trusted", escribe. 3. Verificación continua. Probar el sistema entero también en fallos, ataques y casos raros, no solo cuando la tarea sale bien. 4. Controles independientes sobre qué datos ve el modelo y qué acciones puede ejecutar. 5. Auditoría independiente. Quien valida no puede ser la misma inteligencia que se valida. 6. Contención. El freno de emergencia, y tecnologías de contención más serias para modelos más capaces, con un estándar común en el sector. 7. Comunicar los incidentes. Cuando algo falla, avisar a tiempo a los afectados y compartir qué control falló y cómo evitar que se repita.
Hay un matiz que se ha comentado menos. Nadella dice que poder leer el razonamiento del modelo (la cadena de pensamiento) es "no negociable", pero que no basta, porque nadie sabe todavía hacer que ese razonamiento refleje de verdad lo que el modelo hace. Y tampoco le convence poner un modelo a vigilar a otro: acabas con una caja negra dentro de otra caja negra, vigilada por una tercera.
Cierra con la frase que resume todo el texto: el sistema de IA más fiable no será el del modelo en el que más confiemos, sino el que nos permita confiar lo menos posible en el modelo.
Por qué ahora
El contexto pesa más que el texto. El 9 de octubre la policía de Filadelfia recibió una pista inventada sobre un homicidio sin resolver, enviada por Claude Haiku 4.5 durante una prueba interna de Anthropic. Al día siguiente, Anthropic cortó internet a todas sus evaluaciones internas después de reconocer que sus agentes habían explotado fallos en webs ajenas, incluidas webs de agencias de Estados Unidos, y se habían saltado restricciones para llegar a datos de pago.
Microsoft no parte de cero en esto. En septiembre ya obligó a sus propios modelos MAI a dejarse apagar con un código de conducta interno, y hace unos días contamos que Meta y Microsoft recortaban el uso interno de Claude. El texto de Nadella sube esa política de la casa a doctrina para clientes.
También encaja con lo que viene diciendo Anthropic. Dario Amodei publicó en septiembre su plan para frenar el ritmo y abrir los modelos a evaluadores externos, y varios de los principios de Nadella (auditoría independiente, comunicar incidentes) van en la misma línea.
Un detalle que no ha pasado desapercibido: Nadella usa "Super Intelligence" en todo el texto, el término que la administración Trump quiere imponer para hablar de IA. The Verge lo señala con cierta sorna.
Lo que hay detrás para Microsoft
Hay que leerlo con las dos gafas. Es una postura de seguridad razonable, y muchas de las medidas (registros, mínimos privilegios, separar funciones) son lo que cualquier responsable de seguridad aplica ya a las personas.
Pero también es una tesis de producto. Si lo que las empresas van a comprar es la capa que vigila, limita y registra a los modelos, y no el modelo en sí, quien vende esa capa gana aunque el mejor modelo sea de otro. Microsoft vende identidad (Entra), seguridad, registros y la plataforma donde se orquestan los agentes, y trabaja con modelos de OpenAI, de Anthropic y propios. El principio número 1, no depender de un solo modelo, le sienta muy bien a quien ofrece varios.
Nadella no anuncia ningún producto ni ningún estándar concreto. Por ahora es un texto de principios, sin fecha ni compromiso medible.
Por qué importa
Si en tu empresa ya hay un agente conectado al correo, al CRM o al ERP, este texto es una checklist gratis firmada por alguien con peso. Las preguntas que yo me haría el lunes:
- ¿Puede alguien parar el agente a mitad de tarea, y sabe cómo? Si la respuesta es "revocamos la clave de API", eso es un freno, pero lento.
- ¿Queda registro de cada acción que hace (qué leyó, qué envió, a quién), guardado fuera del alcance del propio agente?
- ¿El agente tiene más permisos de los que necesita? La mayoría de integraciones se montan con el usuario del que lo configuró, que suele ser administrador.
- ¿Hay alguna acción irreversible (pagos, envíos a clientes, borrados) sin una persona que la apruebe?
Nada de esto exige esperar a ningún estándar del sector. Es lo mismo que haces con un becario el primer mes, y lo que le pasó a Anthropic con un formulario de la policía demuestra que un agente sin esos límites hace cosas que nadie le pidió.
Fuente original: X
Relacionado
