Un equipo del MIT, Stanford y Columbia ha medido qué pasa cuando personas con distinto nivel de conocimiento usan la misma herramienta de IA médica. El resultado, publicado en *Nature Medicine*: la misma herramienta ayuda a unos y perjudica a otros.
Los médicos rindieron mejor cuando la IA solo les daba la predicción, sin explicarse. Los no expertos mejoraron sus aciertos, pero por una razón poco tranquilizadora: hacían caso al sistema.
Puntos clave
- Firman el trabajo Orson Xu (Columbia), Marzyeh Ghassemi (MIT) y Roxana Daneshjou (Stanford), con equipo del MIT y la Jameel Clinic.
- Se probaron dos poblaciones: personas sin formación médica juzgando si un lunar era canceroso, y médicos de atención primaria haciendo diagnóstico diferencial dermatológico.
- Se compararon cuatro formatos de asistencia: predicción con nivel de confianza, imágenes similares, mapas de calor sobre la zona relevante y una explicación en lenguaje natural generada por un modelo.
- Los no expertos mejoraron, pero "en gran medida por deferencia al sistema", y se creyeron las explicaciones en lenguaje natural incluso cuando eran incorrectas.
- Los médicos no se dejaron arrastrar por asistencia errónea y obtuvieron su mejor resultado con la predicción a secas.
- Xu lo resume así: "la misma herramienta acaba siendo un activo para un usuario y un lastre para otro".
La explicación en lenguaje natural es el hallazgo incómodo
Durante años se ha dado por hecho que una IA que explica su razonamiento es más segura que una que suelta un veredicto. Este estudio dice que depende de quién lo lea.
Para el que sabe, la explicación es material de contraste: puede detectar que el razonamiento es flojo y descartarlo. Para el que no sabe, la explicación es lo que hace creíble el error. Un texto bien redactado y seguro de sí mismo convence más que un número.
Y ahí está el problema, porque el formato que las empresas están poniendo en todos los productos es justo ese: el modelo que te cuenta por qué cree lo que cree, en párrafos claros.
Deferencia algorítmica, dicho en cristiano
Ghassemi usa el término "deferencia algorítmica": la tendencia a aceptar la respuesta de la máquina porque viene de la máquina.
No es lo mismo que acertar más. Un no experto que mejora su porcentaje de acierto porque siempre hace caso al sistema no ha aprendido a diagnosticar. Ha aprendido a obedecer. En cuanto el sistema se equivoca, y se equivoca, no hay nadie ahí para pararlo.
Es exactamente lo contrario de lo que quieres en un proceso con supervisión humana. La persona está para atrapar el fallo del modelo. Si su criterio depende del propio modelo, la supervisión es decorativa.
Cómo trasladar esto fuera de la medicina
El hallazgo no es sobre dermatología. Es sobre cualquier proceso donde una persona revisa una salida de IA.
Piensa en el equipo de finanzas revisando una conciliación generada por IA. O en atención al cliente aprobando una respuesta automática. O en marketing validando datos de una campaña. En los tres casos, la pregunta que decide si el control funciona es la misma: ¿la persona que revisa sabría detectar el error si la IA no le hubiera dado su explicación?
Si la respuesta es no, no tienes un revisor. Tienes un botón de aceptar con un humano al lado.
Tres decisiones prácticas que salen de aquí
Elige quién revisa por criterio, no por disponibilidad. El estudio dice que el valor de la supervisión depende del conocimiento previo del supervisor. Poner al junior a validar lo que hace la IA porque el senior está ocupado invierte el orden de las cosas.
Cuidado con enseñar la explicación al que no puede juzgarla. En procesos internos, plantéate mostrar la predicción y la confianza, y guardar el razonamiento largo para quien tenga el criterio de rebatirlo.
Mide los falsos aciertos. No basta con medir cuántas veces el proceso acierta. Hay que medir cuántas veces la persona corrigió al modelo. Si ese número es cero durante semanas, la revisión no está ocurriendo.
Aplica igual en una clínica que en un departamento de administración. Y es de las pocas cosas de este oficio que se pueden comprobar con un dato, no con una opinión.
Relacionado
