Un experimento con 1.559 jueces en Pakistán acaba de medir algo que muchas empresas intuyen y casi nadie prueba: dar acceso a una herramienta de IA no mueve la aguja por sí solo, y la formación específica sí. El estudio, firmado por Sultan Mehmood, Christoph Goessmann y Elliott Ash, repartió a los jueces en tres grupos y midió el resultado en los registros administrativos de los juzgados. Es el primer experimento de campo a escala nacional sobre IA generativa en un sistema judicial, y está publicado como paper del NBER.
Puntos clave
- 1.559 jueces de primera instancia, en torno a la mitad de los jueces de instancia del país y el 70% de los juzgados de distrito, repartidos en 118 sedes.
- Tres grupos aleatorios: acceso a JudgeGPT con formación específica sobre su uso judicial; acceso con formación genérica sobre tecnología y derecho; y solo formación genérica, sin acceso.
- La formación específica multiplicó por cuatro el uso sostenido de la herramienta frente a la formación genérica.
- En el distrito de exposición mediana, 1.848 casos más resueltos al año, un 6,3% sobre la media.
- 38,5 dólares de ahorro en el sistema judicial por cada dólar gastado en JudgeGPT. Con supuestos conservadores, el retorno sigue siendo de al menos 10 a 1.
El diseño separa el acceso de la formación
Este es el detalle que hace útil el estudio. Casi todo lo que se publica sobre productividad e IA compara "gente con la herramienta" contra "gente sin la herramienta", y ahí se mezclan dos cosas: tener la licencia y saber usarla.
Aquí se separan. El grupo dos recibió exactamente la misma cuenta de JudgeGPT que el grupo uno, un asistente construido a medida para los juzgados de instancia paquistaníes y alimentado con el corpus de sentencias y leyes del país. La única diferencia fue el curso: uno específico sobre cómo usar la herramienta en el trabajo judicial, frente a uno genérico sobre tecnología y derecho.
El resultado se ve en los registros de uso. El grupo con formación específica usó la herramienta cuatro veces más y siguió usándola con el tiempo. El de formación genérica se quedó atrás. Y solo el primero movió las cifras de casos resueltos.
Los registros de conversación explican por qué. La formación específica desplazó el uso hacia tareas acotadas (mejorar un texto, resumir) y lo alejó de consultas jurídicas abiertas, donde verificar la respuesta cuesta más y el riesgo de alucinación es mayor. Enseñar a la gente qué NO pedirle al modelo resultó ser la mitad del valor.
La calidad no cayó
La objeción evidente a "resolvieron más casos" es que los resolvieran peor. Los autores lo miran por tres vías y ninguna la respalda.
Las apelaciones bajan ligeramente donde hay más exposición a la IA. Las sentencias posteriores a la intervención contienen más texto clasificado como generado por IA, sí, pero la legibilidad, la longitud y una evaluación de calidad validada por expertos no empeoran. Si acaso mejoran algo. Tampoco aparecen cambios sistemáticos de sesgo en el lenguaje judicial por género o religión, que era el otro miedo razonable.
Y los jueces tratados no declaran trabajar más horas ni tener peor conciliación. Las ganancias no salen de apretar a la gente.
El retorno, con sus cautelas
Los autores hacen un cálculo aproximado y lo etiquetan como tal. Como los jueces con JudgeGPT resuelven más casos al mes, producir esa misma capacidad por la vía tradicional exigiría nombrar más jueces. Tomando el coste salarial equivalente de esa capacidad y comparándolo con lo que costó la infraestructura del asistente, salen 38,5 dólares de ahorro por cada dólar invertido. Con parámetros conservadores, el retorno sigue siendo de al menos 10 a 1.
Es una estimación de sobre, no una auditoría, y los propios autores lo dicen. Aun así, el orden de magnitud aguanta bastante castigo antes de dejar de ser interesante.
La robustez del resto de resultados sí está trabajada: los grupos salieron equilibrados en características observables y actitudes previas, las estimaciones sobreviven a los ajustes por abandono con las cotas de Lee, y también a la corrección por comparaciones múltiples con p-valores de Romano-Wolf. Como el efecto en resolución se mide a nivel de distrito, añaden pruebas de equilibrio de distrito, inferencia por aleatorización y errores estándar por bootstrap.
El punto de partida importa
Antes del experimento, solo alrededor del 25% de los jueces decía estar familiarizado con modelos de lenguaje como ChatGPT. Es un contexto de adopción cero, que es exactamente el de la mayoría de departamentos de empresa española fuera de tecnología y marketing.
El estudio recibió el visto bueno del Comité de Ética de ETH Zúrich y estaba preregistrado en el AEA RCT Registry. No es una encuesta de un proveedor.
Por qué importa
La conclusión operativa cabe en una frase: comprar licencias no es implantar IA. Si repartes cuentas de Claude o de ChatGPT en tu empresa y te limitas a un curso genérico de "esto es la inteligencia artificial", los datos dicen que la mayoría lo probará y lo dejará.
Lo que multiplicó el uso por cuatro fue formación pegada al trabajo real: qué tareas concretas de tu día a día conviene pasarle al modelo, y cuáles no. Y el retorno medido (38,5 dólares por cada dólar invertido en la herramienta) sale precisamente de esa parte, no de la licencia.
Para un director de operaciones que esté decidiendo presupuesto de IA para el año que viene, el reparto que sugiere este experimento es incómodo: la parte cara no debería ser el software.
Hay un segundo aprendizaje, más fino. La formación específica no solo aumentó el uso, cambió para qué se usaba. Los jueces formados pidieron más mejoras de texto y resúmenes, y menos consultas jurídicas abiertas. Es decir, aprendieron a distinguir dónde el modelo aporta y dónde el coste de verificar la respuesta se come el beneficio.
Ese criterio es el que hay que enseñar en una empresa, y no se transmite con una demo. Se transmite mostrando ejemplos concretos del trabajo propio: esto sí, esto no, y esto solo si alguien lo revisa. Tres listas cortas hechas con los procesos reales del equipo valen más que cualquier curso genérico de prompting.
Relacionado
