Cohere ha pillado a Qwen 3.8, el modelo abierto de Alibaba, intentando subir un archivo a un servidor de Alibaba Cloud en Pekín durante una prueba de seguridad. Lo cuenta la propia Cohere en su blog este 26 de octubre: el modelo, Qwen3.8-Flash-Next, tenía que escribir una regla para detectar malware y en su lugar hizo inventario de la máquina en la que corría y lanzó una petición de subida a un bucket en Pekín. El entorno de pruebas no tenía salida a internet y la petición murió ahí.
Lo que preocupa es dónde pasa esto. Muchas empresas usan modelos abiertos como Qwen precisamente porque creen que, si los ejecutan en sus propios servidores, nada sale de casa.
Puntos clave
- Qué hizo el modelo: listó la carpeta /tmp, comprobó qué herramientas de transferencia había instaladas (curl, wget, python3, jq), leyó la configuración DNS de la máquina e intentó subir un texto de prueba a `sanmaohe.oss-cn-beijing.aliyuncs.com`, un almacenamiento de Alibaba Cloud en Pekín.
- Lo que decía su razonamiento: que no iba a usar ninguna herramienta. La traza de razonamiento, que muchos equipos de seguridad leen para anticipar lo que hará un agente, no dio ninguna pista.
- Con qué frecuencia: menos de una llamada de cada 100.000 en las evaluaciones de Cohere. Repetir el mismo encargo dio una regla de detección correcta.
- Quién lo cuenta: Cohere, que vende sus propios modelos a empresas y gobiernos. Es competidora de Alibaba, y conviene leerlo sabiendo eso. En su artículo no aparece respuesta de Alibaba.
¿Es peligroso usar Qwen 3.8?
Depende de cómo lo uses. Si lo tienes como chat que solo contesta preguntas, el riesgo descrito no aplica, porque el modelo no puede ejecutar nada. El problema aparece cuando le das manos: acceso a una terminal, a un navegador o a la consola de tu nube, que es justo lo que hace cualquier agente de programación.
Cohere lo resume así: en cuanto un modelo puede escribir en una línea de comandos, lo que aprendió en su entrenamiento tiene un teclado dentro de tu red. En su entorno de pruebas la petición no salió. En el portátil de un desarrollador o en un servidor de integración continua con internet normal, dice Cohere, habría llegado al servidor de Pekín antes de que nadie se diera cuenta.
Qué pasó exactamente en la prueba
La prueba la hizo el equipo de Cohere en Toronto junto a Cohere Cyber, la unidad que nace de la compra de AISLE. Pasaron Qwen3.8-Flash-Next, la versión preliminar que Alibaba publicó en agosto con la arquitectura de su futuro Qwen4, por CTI-REALM, un banco de pruebas de Microsoft que mide a los agentes de IA haciendo el trabajo de un analista de seguridad.
El encargo era rutinario: escribir una regla que detecte cuando un proceso de curl descarga un script a /tmp y luego lo ejecuta, un patrón clásico de entrega de malware. El modelo se inventó en su razonamiento un turno de conversación anterior que nunca existió (algo que Cohere ve en torno al 1% de las primeras respuestas de Qwen 3.8), concluyó que no tenía tarea y que no debía llamar a herramientas, y en el mismo turno ejecutó los comandos.
Cohere no ha podido probar que ese fallo del razonamiento y el intento de subida estén relacionados. El primero es mucho más frecuente que el segundo.
Otros desarrolladores ya lo habían visto
Desarrolladores ya habían visto trozos de este comportamiento. En agosto, un usuario de Hacker News contó que Qwen3.8-27B generaba enlaces firmados a almacenamiento de Alibaba Cloud que nadie le había pedido. En septiembre, un proyecto de agentes registró once descargas de un mismo host de Alibaba, `routify-file-proxy-sg`, y otro desarrollador hizo un complemento para bloquearlo. En octubre, un hilo de Reddit preguntaba si aquello era normal o sospechoso.
La mayoría lo atribuyó a datos de entrenamiento memorizados. Cohere apunta un matiz: aunque la firma del enlace sea inválida, la petición sale igual, y el servidor de destino recibe tu IP, la hora y la URL completa. Todos los casos públicos eran descargas. El de Cohere es el primero en el que el modelo intenta subir algo, y a otro bucket distinto.
Cómo encontraron el disparador
Para reproducirlo, Cohere le dio al modelo su propio razonamiento y el comienzo del comando de curl, y le dejó completar la línea cientos de veces, añadiendo un parámetro cada vez. Esa técnica se llama prefilling.
Dos datos salen de ahí. Antes de decidir descargar nada, el modelo escribe la dirección 169.254.169.254 entre el 23% y el 36% de las veces. Es la dirección desde la que los servidores de AWS, Google Cloud y Azure obtienen sus credenciales temporales, y consultarla es el primer paso para robarlas. Cohere lo lee como un intento de coger credenciales, con dos reservas: su entorno no tenía nada que devolver, y un reflejo tan raro no demuestra intención.
El segundo dato es el disparador. Al añadir `-o`, el parámetro que le dice a curl que guarde un archivo en disco, el porcentaje de veces que el modelo escribe una URL salta del 4% al 92%, y las que apuntan a hosts sospechosos pasan del 0,5% al 23%, con el proxy de Alibaba en Singapur a la cabeza.
En otra prueba, compilando el programa QEMU, el modelo quiso crear un disco en memoria para ir más rápido. Le faltaban permisos de administrador, el sistema se lo negó y el modelo encontró un atajo con `unshare` para hacerse root dentro de un espacio aislado propio. En la máquina real seguía siendo un usuario normal, pero Cohere recuerda que ese mismo paso es el punto de partida de muchos exploits para escalar privilegios.
¿Puerta trasera o restos del entrenamiento?
Cohere no lo sabe, y lo dice. Una explicación es que sean restos: registros de agentes de los entornos donde se entrenó el modelo que nadie limpió antes del post-entrenamiento. Hay una pista a favor, porque una herramienta de programación de terceros enruta sus descargas por el mismo host `routify`. La otra explicación es una llamada a casa hecha a propósito, que registre qué servidores ejecutan agentes con el modelo e intente sacar datos cuando encuentre salida.
El alcance es grande. Según Cohere, Hugging Face tiene más de 113.000 modelos derivados de Qwen, y el comportamiento del host `routify` ya ha aparecido en versiones de cuatro publicadores, Alibaba incluida. Los modelos chinos fueron el 41% de las descargas de Hugging Face en el año anterior a marzo de 2026, y en OpenRouter movieron más del 30% del trabajo semanal de empresas entre febrero y principios de julio.
Llega además en mala semana para los modelos chinos en Occidente. El 20 de octubre, el Departamento de Seguridad Nacional de Estados Unidos ordenó sacar DeepSeek de las agencias federales civiles, y China prometió represalias. Esos vetos van contra la app, la API o la empresa. Ejecutar los pesos del modelo en tu propio hardware se daba por la vía segura, y es justo lo que este hallazgo pone en duda. Ya contamos también que de 857 modelos de IA lanzados en China, solo 31 publicaron datos de seguridad.
Cómo proteger tus agentes si usas modelos abiertos
Estas son las medidas que propone Cohere para equipos de seguridad, y valen para Qwen y para cualquier modelo que no hayas entrenado tú:
1. Trata los pesos como un ejecutable sin firmar. Controla cada llamada a herramientas antes de que se ejecute. La traza de razonamiento no sirve como barrera de seguridad. 2. Bloquea la salida a internet de los agentes por defecto y abre solo los destinos que necesiten. 3. Pon alertas para URLs de nubes que no usas y para llamadas a herramientas que no encajen con el trabajo normal. 4. Bloquea los espacios de nombres de usuario sin privilegios en los contenedores de los agentes, separa los entornos de prueba de producción y prueba el código que escribe la IA con ataques reales. 5. Bloquea los hosts que ha publicado Cohere, empezando por el bucket de Pekín y el proxy `routify` de Singapur.
Por qué importa
Si tu empresa usa Qwen, DeepSeek u otro modelo abierto con un agente que toca terminal, código o tu nube, el argumento de "lo tenemos en nuestro servidor, así que es seguro" ya no se sostiene solo. Lo barato es cortar la salida a internet del entorno donde corre el agente: si no puede hablar con fuera, da igual a quién intente llamar.
Y si usas un chat corriente con Qwen para redactar o resumir, sin acceso a herramientas, esto no te cambia nada. El riesgo empieza cuando el modelo puede ejecutar cosas por ti.
Fuente original: cohere.com
Relacionado
