El Tribunal Supremo de Nuevo México ha multado con 5.000 dólares al abogado penalista Stephen Aarons por presentar un escrito de apelación con testigos y testimonio policial inventados por ChatGPT. Lo declaró en desacato y lo apartó del caso, según recogió Al Jazeera. Aarons lleva más de 40 años ejerciendo.
Puntos clave
- Multa de 5.000 dólares, declaración de desacato y retirada del caso.
- El escrito contenía nombres de testigos inventados y testimonio policial fabricado, incluidos detalles como un tirador con pantalones oscuros y camisa blanca.
- Aarons metió transcripciones del juicio y material del caso en ChatGPT esperando lo que él describió como "un resumen a prueba de balas".
- Los escritos fueron anulados y la apelación tiene que empezar desde el principio.
- El asunto se ha remitido al consejo disciplinario de abogados de Nuevo México.
- Aarons dijo a Reuters que no entendía hasta qué punto la IA podía inventarse hechos.
Lo que hizo mal no es lo que parece
El error no fue usar ChatGPT. Fue lo que le pidió.
Aarons no le pidió al modelo que redactara desde cero. Le dio las transcripciones reales del juicio y le pidió un resumen. Eso es exactamente el caso de uso que todo el mundo considera seguro: el modelo tiene el material delante, solo tiene que condensarlo.
Y aun así se inventó testigos que no existían y declaraciones policiales que nadie hizo. Con el documento real cargado en la conversación.
Esa es la parte que merece atención de cualquiera que use IA sobre documentos propios. Tener la fuente en el contexto reduce las invenciones, no las elimina. Un modelo que resume rellena huecos cuando el material no le da lo que la estructura de la respuesta le pide.
El coste real no son los 5.000 dólares
La multa es lo de menos en este caso. Lo caro es el resto.
El abogado ha perdido el cliente y está apartado. La apelación de una condena por asesinato vuelve a empezar de cero, con los plazos que eso implica para alguien que está cumpliendo pena. Y el expediente está en el consejo disciplinario, donde se decide si sigue ejerciendo.
Cuarenta años de carrera comprometidos por un documento que nadie releyó contra la fuente.
No es el primero y no será el último
Los casos de escritos judiciales con citas inventadas se cuentan por decenas desde 2023. Lo que cambia aquí es la naturaleza del error: no son sentencias falsas citadas de memoria por el modelo, es testimonio fabricado sobre un expediente real que el modelo tenía delante.
Encaja con lo que estamos viendo esta semana en otro terreno. El conflicto entre OpenAI y los matemáticos va sobre lo mismo desde otro ángulo: una salida que parece correcta y que nadie ha verificado contra la fuente.
Por qué importa
Este caso vale como política interna entera, y se resume en una regla.
Cualquier dato que salga de un modelo y vaya a un documento con consecuencias, un contrato, un informe a un cliente, una presentación al consejo, se comprueba contra la fuente antes de firmar. No se revisa por encima. Se comprueba dato a dato.
La segunda parte es de gestión. Aarons tenía 40 años de oficio y creyó que el resumen era "a prueba de balas" porque el texto sonaba bien. La experiencia profesional no protege contra esto. Al contrario: cuanto mejor conoces el tema, más natural te suena un párrafo bien escrito que dice algo falso.
Quien revisa un documento generado con IA tiene que tener la fuente delante. Si no la tiene, no está revisando.
Fuente original: aljazeera.com
Relacionado
