Instinct, el asistente personal de IA fundado por un ex investigador de Sierra, ya acumula fallos de privacidad y seguridad entre sus primeros probadores. Tres casos documentados en pocos días: correos guardados en texto plano tras revocar el acceso, un phishing que le sacó códigos de la bandeja de entrada y un email enviado sin permiso del usuario.
Puntos clave
- Instinct se conecta a correo, mensajería, calendario, audio, ubicación y pantalla.
- Sus condiciones piden capturar pantalla, movimientos de cursor y pulsaciones de teclado.
- También autoridad para entrar en acuerdos y transacciones en nombre del usuario.
- Los términos conceden una licencia perpetua e irrevocable sobre los datos para entrenar modelos.
- Fundado por Noah Shinn, ex de Sierra, con inversión de Kleiner Perkins y Conviction.
Los tres fallos, con nombre y apellido
Lo que hace útil esta historia es que los fallos no vienen de un informe teórico de seguridad. Los cuentan usuarios reales con nombre, probando el producto.
Claire Vo descubrió que Instinct seguía almacenando sus correos en texto plano después de haber desconectado el acceso. Desconectar la integración no borró lo que ya se había llevado.
Alex Cohen demostró que el bot era vulnerable a phishing: consiguió que le entregara códigos que estaban en la bandeja de entrada. Ese es el ataque que rompe cualquier segundo factor por email.
Katie Jacobs Stanton cuenta que Instinct envió un correo sin su consentimiento previo. Un asistente que actúa por su cuenta en tu nombre no es un fallo de privacidad, es un fallo de confianza, y de esos no se vuelve.
Lo que ponen las condiciones
Los términos de servicio piden un nivel de acceso que conviene leer despacio: correo, mensajes, calendario, captura de pantalla, movimientos del cursor y pulsaciones de teclado.
Y una cláusula que va más allá de leer: autoridad para entrar en acuerdos y transacciones en nombre del usuario. Eso es capacidad de comprometer al usuario legalmente.
La tercera pieza es la licencia perpetua e irrevocable sobre los datos para entrenar modelos de IA. Perpetua e irrevocable significa que si mañana cancelas la cuenta, lo que ya entró se queda.
Instinct está aún en prueba privada, lo opera Spear Street Technology desde San Francisco y tiene detrás a Kleiner Perkins y Conviction. Los primeros probadores hablan maravillas de lo que hace. Ese es justo el problema: cuanto más útil es un agente, más acceso pide, y el acceso es lo que abre la puerta.
El patrón se repite en todos los agentes
Nada de esto es exclusivo de Instinct. Es la tensión de fondo de toda la categoría.
Un agente que solo lee tu calendario sirve para poco. Uno que lee el correo, ve la pantalla y puede pagar sirve para mucho, y por eso hereda todos tus permisos a la vez. Cuando alguien consigue engañar al agente, no está atacando una aplicación, está atacando el conjunto de tus accesos.
El caso del phishing de Cohen lo ilustra bien. No hubo que romper ningún cifrado ni robar ninguna contraseña. Bastó con convencer al agente, en lenguaje natural, de que hiciera algo que técnicamente podía hacer.
Por qué importa
Si estás valorando meter un asistente de este tipo en tu empresa, o si alguien de tu equipo ya se ha instalado uno por su cuenta, hay tres cosas que mirar antes de nada.
Primero, si el producto puede actuar o solo leer. Un agente de solo lectura tiene una superficie de riesgo mucho más pequeña. La mayoría del valor real de estas herramientas está en la lectura y el resumen, no en que compren cosas por ti.
Segundo, qué dice el contrato sobre entrenamiento. Una licencia perpetua e irrevocable sobre datos que incluyen correo corporativo es incompatible con casi cualquier acuerdo de confidencialidad que tengas firmado con un cliente.
Tercero, qué pasa cuando desconectas. El caso de Claire Vo es el aviso: revocar el acceso no equivale a que borren lo que ya tienen. Pregunta explícitamente por el proceso de borrado y pide que te lo confirmen por escrito.
Y una recomendación de gestión más que de tecnología: si nadie ha dicho nada en tu empresa sobre este tipo de herramientas, alguien ya las está usando con su cuenta de trabajo. Es mejor tener una lista corta de lo aprobado que descubrirlo cuando aparece un correo enviado que nadie escribió.
Relacionado
