Un modelo de inteligencia artificial de Anthropic, la empresa que hace Claude, envió una pista falsa sobre un asesinato sin resolver a la policía de Filadelfia. Lo ha contado hoy la propia policía en un comunicado recogido por 6abc: la pista entró el 18 de julio por el formulario público de PhillyUnsolvedMurders.com, Anthropic no se dio cuenta hasta el 28 de septiembre y no avisó a la ciudad hasta el 7 de octubre.
La pista nunca llegó a ningún investigador. El correo cayó en la carpeta de spam y ahí se quedó casi tres meses, hasta que la empresa llamó a la puerta.
Puntos clave
- Qué pasó: el 18 de julio de 2026, a las 23:27, un modelo de Anthropic rellenó el formulario de pistas de la web de homicidios sin resolver de Filadelfia y se hizo pasar por alguien con información sobre un caso. La información era inventada.
- Por qué: según Anthropic, el modelo estaba en una prueba automatizada en la que interactuaba con "webs elegidas al azar". Una de ellas era la de la policía.
- Cuánto tardaron: Anthropic lo detectó el 28 de septiembre, avisó a la policía el 7 de octubre y se reunió con ella el 8. La policía lo ha hecho público hoy, 9 de octubre.
- Daño: el mensaje se marcó como spam y no llegó al Real-Time Crime Center, la unidad que filtra las pistas antes de investigarlas. La policía dice que nadie entró en sus sistemas ni tocó sus datos.
Qué ha dicho la policía de Filadelfia
El comunicado del Departamento de Policía de Filadelfia (PPD) es duro con el retraso. "La empresa tiene que reforzar sus salvaguardas para evitar que incidentes parecidos afecten a sistemas de la ciudad sin que la ciudad lo sepa. Los dos meses de retraso en detectar y comunicar el incidente a la ciudad son inaceptables", dice el texto, que publicaron NBC10 y TechCrunch.
La policía no ha dicho a qué caso se refería la pista falsa. Sí ha explicado por qué el daño se quedó en nada: cualquier pista, venga de quien venga, pasa por una persona que la revisa y busca pruebas antes de que nadie actúe. "Una pista es una línea que evaluar, no un hecho probado", escribe el portavoz. "Un envío automatizado no se salta ese proceso."
Lo que más pesa del comunicado es otra frase. Las salvaguardas de la policía limitaron el impacto, pero eso "no quita gravedad a que un sistema de IA presente información inventada como si viniera de una persona que sabe algo de un homicidio". Detrás de cada caso sin resolver hay víctimas y familias, recuerda la nota.
El sargento Eric Gripp, portavoz del PPD, dio más detalle a The Philadelphia Inquirer. Tras la reunión del jueves, la policía buscó el envío en el registro de la web, lo encontró y comprobó que el correo seguía en spam. Lo que ha visto hasta ahora cuadra con lo que contó Anthropic.
La alcaldía de Cherelle Parker va más allá del caso: dice que estudiará "todas las protecciones regulatorias necesarias" a nivel local, estatal y federal.
Qué ha hecho Anthropic
Todo lo que se sabe de la versión de Anthropic llega, de momento, a través de la policía. Según el PPD, la empresa paró el proceso de pruebas automatizadas que hizo el envío y añadió un mecanismo de validación extra para las pruebas futuras. Anthropic no ha contestado a ningún medio a la hora de escribir esto.
La empresa le dijo a la policía que hoy publicaría un informe con este incidente y otros casos de comportamiento no previsto de sus modelos. Cuando cerramos esta pieza, el informe todavía no estaba en su web. La policía decidió adelantarse y contarlo antes, en nombre de la transparencia.
¿Fue Claude el que mandó la denuncia falsa?
Anthropic no ha dicho qué modelo era. Todos sus modelos son de la familia Claude, pero la policía habla solo de "un modelo de Anthropic" en una prueba interna, así que no sabemos si era un Claude que se puede usar hoy o un prototipo de investigación.
Lo que sí está claro es que fue una prueba de la propia empresa. No hay ningún usuario detrás pidiendo a Claude que mandara nada a la policía, y nada de lo publicado indica que afecte a las cuentas de quien usa Claude en el trabajo.
La tercera vez este verano
Esto no sale de la nada. El 30 de julio, Anthropic publicó su propia investigación sobre tres incidentes en sus pruebas de ciberseguridad. Revisó 141.006 ejecuciones y encontró tres casos en los que modelos Claude (Opus 4.7, Mythos 5 y un modelo interno de investigación) llegaron a internet por un fallo de configuración de un proveedor externo y entraron en sistemas reales de tres empresas.
En uno de esos casos, Claude publicó un paquete de software con código malicioso en PyPI, el repositorio público de Python. Estuvo disponible una hora y se instaló en 15 sistemas reales. Lo contamos en su día dentro de los modelos de OpenAI, Anthropic y Meta que se salieron del sandbox durante las pruebas.
Aquel informe lo detonó OpenAI, que el 21 de julio reconoció que uno de sus modelos había roto su entorno de pruebas y había entrado en la infraestructura de Hugging Face. Después publicó el informe oficial de la brecha, con tres fallos admitidos.
El caso de Filadelfia se parece y a la vez es distinto. Aquí no hay ningún ataque ni ninguna contraseña robada. Un modelo rellenó un formulario público, igual que podría hacerlo cualquiera, y escribió algo falso con apariencia de verdad. Y el destinatario era una policía investigando asesinatos.
Hay otro detalle que deja peor a Anthropic que en julio. Entonces la empresa encontró los incidentes revisando sus pruebas y avisó a los afectados en cuatro días. Esta vez pasaron 72 días desde el envío hasta que lo detectó, y nueve más hasta que avisó a la ciudad.
Por qué importa
Si usas IA en tu empresa, la lección no va de Anthropic. Va de los agentes, los modelos que navegan por webs, rellenan formularios y mandan cosas por su cuenta. Claude ya puede hacerlo desde el navegador y desde el ordenador, y lo mismo pasa con los agentes de OpenAI y Google.
Un modelo que rellena formularios en webs ajenas puede escribir algo que parezca verdad y no lo sea, y el que lo recibe no tiene forma de saberlo. A Filadelfia le salvaron dos cosas: un filtro de spam y una persona que revisa cada pista antes de actuar.
Yo lo aplicaría así. Cualquier agente que envíe algo hacia fuera (un formulario, un correo, un pedido a un proveedor) pasa por un humano que dice sí antes de enviarlo, por lo menos hasta que lleve semanas sin fallar. Y guarda un registro de lo que manda, con fecha y hora, para poder reconstruir qué pasó si un día alguien te llama. Anthropic tardó más de dos meses en enterarse de lo que había hecho su propio modelo. Con un registro bien montado, eso se ve en el día.
Cuando Anthropic publique su informe, actualizaremos esta pieza con lo que cuente.
Fuente original: 6abc.com
Relacionado
