Un benchmark independiente llamado NOHARM ha pasado 1.100 casos clínicos reales por las cuatro principales IA médicas y ha recogido unas 13.000 anotaciones de médicos para puntuarlas por daño al paciente. Lo construyeron investigadores de Stanford, Harvard y la red ARISE, y Fortune lo ha cubierto junto con la pelea que ha desatado.
Puntos clave
- Los modelos evaluados fueron Doximity, OpenEvidence, GPT-5.6 Sol de OpenAI y Claude Fable 5 de Anthropic.
- Doximity Ask salió primero en la clasificación.
- OpenEvidence discute la validez del resultado y señala que el estudio no está revisado por pares.
- El hallazgo que comparten los cuatro: incluso el que mejor puntúa sigue dejándose cosas.
Qué mide NOHARM y por qué es distinto
Casi todos los benchmarks médicos que se citan en las notas de prensa miden aciertos en preguntas tipo test, normalmente de exámenes de acceso a la profesión. Eso mide conocimiento enciclopédico, que es la parte fácil para un modelo de lenguaje.
NOHARM mide otra cosa. Coge 1.100 casos clínicos reales, los pasa por cada sistema y hace que médicos anoten las respuestas buscando potencial de daño al paciente. Las 13.000 anotaciones humanas son el trabajo caro del estudio y lo que le da valor: alguien con criterio clínico leyendo salida por salida.
La diferencia entre las dos formas de evaluar es la que separa "sabe medicina" de "no le hace daño a un paciente". Un modelo puede recitar la guía clínica correcta y a la vez omitir el contexto que cambia la decisión en ese caso concreto.
La pelea que ha montado
OpenEvidence no ha encajado bien el resultado. Su consejero delegado, Daniel Nadler, cuestionó la metodología con una frase que apunta a las repeticiones de prueba: "una metodología rigurosa no permite que IAs con memoria perfecta pidan repetir el test".
La compañía añadió que el estudio NOHARM ni siquiera está revisado por pares, y lo llamó "el requisito mínimo en medicina para hasta la conclusión médica más endeble".
El reproche sobre la revisión por pares es razonable en el contexto médico y conviene tenerlo delante. También conviene tener delante quién lo hace: la empresa que ha quedado por detrás en la clasificación. Doximity, que ha quedado primera, ha publicado el resultado en su propio blog como titular.
Con todo eso encima de la mesa, lo que queda del estudio es lo que ninguna de las dos partes discute.
El fallo que comparten los cuatro
Ese es el dato con el que hay que quedarse, por encima del orden de la clasificación. Los cuatro sistemas, incluidos los modelos generalistas de OpenAI y Anthropic y los especializados en medicina, siguen dejándose información relevante en casos reales.
No es un fallo de conocimiento, es de exhaustividad. En un caso clínico real hay veinte datos y tres importan; el sistema recupera la respuesta correcta al problema evidente y no señala el detalle que lo cambia todo.
Por qué importa fuera de la sanidad
Aunque no trabajes en salud, aquí hay una lección de método que se aplica a cualquier proceso donde la IA asiste una decisión con consecuencias.
La primera: los benchmarks públicos que enseña un proveedor están elegidos por el proveedor. Si vas a meter un modelo en un proceso con riesgo, la evaluación que vale es la tuya, con tus casos reales y con tu gente puntuando. Cien casos propios bien anotados informan más que cualquier tabla de resultados.
La segunda: el fallo típico no es la respuesta equivocada, es la omisión. Un modelo que contesta bien a la pregunta que le haces y no te avisa de la que deberías haber hecho pasa desapercibido en las pruebas y aparece en producción. Diseñar el proceso para que el humano vea de dónde salen las respuestas y qué no se ha mirado es lo que atrapa ese tipo de fallo.
Y la tercera, más incómoda: si un consorcio de Stanford y Harvard con 13.000 anotaciones médicas encuentra fallos de omisión en los cuatro líderes, la probabilidad de que el sistema que montaste en dos semanas no los tenga es baja.
Relacionado
