El bufete que defiende a State Farm en un pleito de Los Ángeles ha admitido que siete citas de casos que aparecían en sus escritos no existían. Las generó una herramienta de IA y se repartieron por ocho presentaciones distintas antes de que nadie lo detectara.
El caso interesa por el mecanismo del fallo, que es exactamente el que se repite en cualquier empresa que mete IA en un proceso.
Puntos clave
- Siete citas de casos inexistentes, distribuidas en ocho escritos judiciales.
- Además de casos falsos, había títulos incorrectos y citas entrecomilladas que no aparecían en las sentencias reales.
- El bufete responsable es Musick, Peeler & Garrett, que defiende a State Farm, un contratista, su aseguradora y un perito.
- La abogada Jacquelene Robinson usó la herramienta Irys creyendo, incorrectamente, que estaba conectada a Westlaw y verificaba las citas.
- El abogado principal, Kenneth Katel, asumió "plena responsabilidad por nuestros escritos".
El fallo no fue la alucinación
Aquí está lo que conviene leer con calma. Que un modelo se invente una cita judicial es un comportamiento conocido, documentado y esperable. No es el fallo.
El fallo fue que Robinson creía que la herramienta verificaba. Pensaba que Irys estaba enlazada con Westlaw, la base de datos jurídica de referencia, y que cada cita quedaba comprobada contra el repositorio real antes de salir. No lo estaba.
Ese es el punto ciego: no la IA que se equivoca, sino la persona que da por hecho que hay una comprobación donde no la hay. Y eso escaló porque nadie más en la cadena la buscó tampoco. Ocho escritos.
El coste de no separar redactar de verificar
Hay precedente reciente en California. Una abogada recibió una multa de 10.000 dólares, la más alta hasta ahora en el estado, por presentar un escrito con 21 citas falsas de 23.
La lección operativa es la misma en un despacho que en un departamento financiero o de compras: redactar y verificar tienen que ser dos pasos distintos, hechos con herramientas distintas y, cuando importa, por personas distintas.
Un flujo que funciona, y que se puede aplicar mañana:
1. Pedirle al modelo que liste todas las afirmaciones factuales, cifras, citas y fuentes del borrador, con el texto literal del documento original para poder buscarlo. 2. Abrir cada fuente y comprobarla a mano. Si no respalda directamente la afirmación, se reescribe o se borra. 3. No pedirle al modelo que "arregle" una cita que se inventó. Se empieza desde una fuente real.
Lo que hace peligrosa a una herramienta vertical
Un detalle que se pasa por alto: el problema aquí lo agrava que Irys sea una herramienta jurídica especializada, no un chatbot genérico.
Cuando alguien usa ChatGPT para redactar un escrito legal sabe que está usando una herramienta general y desconfía. Cuando usa una herramienta vendida específicamente para su profesión, asume que las comprobaciones de su profesión están dentro. Esa asunción es la que falló.
Por qué importa
Si en tu empresa hay IA generando documentos que salen fuera (propuestas comerciales, informes a cliente, memorias técnicas, documentación regulatoria), la pregunta no es si el modelo puede inventarse un dato. Puede.
La pregunta es quién comprueba, con qué, y si esa persona sabe que le toca a ella. En la mayoría de flujos que he visto montados deprisa, cada uno asume que comprueba el siguiente.
Y una comprobación concreta que cuesta diez minutos: coge la herramienta de IA vertical que estéis usando y averigua exactamente qué verifica y contra qué. No lo que dice su web, lo que hace. Es la diferencia entre este caso y no tenerlo.
Fuente original: laist.com
Relacionado
