OpenAI ha auditado SWE-Bench Pro, uno de los exámenes de código más usados para medir a los modelos de IA, y ha llegado a una conclusión que incomoda a media industria: ya no mide de forma fiable lo que dice medir. Encontró que alrededor de un tercio de las pruebas están rotas y ha retirado su recomendación de que la comunidad lo use como referencia. Es la segunda vez que hace algo así en poco tiempo.
Para entender por qué importa hay que saber qué es este examen. SWE-Bench Pro coge incidencias reales de repositorios de código de GitHub y le pide al modelo que las resuelva: entender el fallo, escribir el arreglo y pasar los tests del proyecto. La idea es buena, porque se parece al trabajo de verdad de un programador y no a un problema de juguete. El problema no es la idea, es cómo están montadas muchas de esas pruebas.
Qué encontró la auditoría
OpenAI cruzó dos métodos. Un sistema automático de análisis marcó 200 tareas defectuosas, el 27,4% del total. Una campaña de revisión humana, con cinco ingenieros de software con experiencia revisando los casos de forma independiente, marcó 249, el 34,1%. De ahí sale ese "casi un tercio" que ha dado la vuelta. Sobre un examen de unas 730 tareas, no es un margen de error: es una parte grande del examen que no vale.
Los fallos son de dos tipos, y los dos son reveladores. Por un lado, tests demasiado estrictos que exigen que el código se escriba de una forma concreta que el enunciado nunca pedía. El modelo resuelve el problema bien, pero de otra manera, y el test lo da por fallado. Por otro, enunciados incompletos que se callan requisitos que luego los tests ocultos sí comprueban. El modelo no puede acertar algo que no le han pedido. En los dos casos, la nota que sale no mide capacidad, mide ruido.
Por qué esto no es un tecnicismo
Aquí está el contexto que lo hace grande. OpenAI ya había pasado por esto. Antes había investigado SWE-bench Verified, otro examen muy citado, y le había encontrado problemas de diseño y de contaminación de datos. En su momento animó a la comunidad a cambiarse a SWE-Bench Pro. Ahora retira también esa recomendación. O sea: los dos exámenes de referencia que se usan para decir qué modelo programa mejor tienen agujeros serios.
Y estos son los números que salen en las notas de prensa cuando un laboratorio lanza modelo. "El mejor en SWE-Bench", "supera a X en programación agéntica". Si el examen que hay detrás tiene un tercio de preguntas rotas, ese titular vale mucho menos de lo que parece.
Qué se lleva de aquí quien elige con qué IA trabaja
La lección no es que los benchmarks no sirvan. Sirven como orientación. La lección es que no son la palabra de Dios, y que casar una decisión de empresa con un número de una clasificación es frágil.
Si estás eligiendo con qué modelo va a trabajar tu equipo, el examen que de verdad importa no es el de la web del laboratorio. Es el tuyo. Coge tus propias tareas reales, las que hace tu gente cada día, y prueba dos o tres modelos sobre ellas antes de mover un proceso entero. Cuál te resuelve mejor tu caso, con tus datos y tu contexto, dice más que cualquier ranking público.
Es la misma regla de siempre con la IA. No te cases con un solo proveedor, no te fíes de un número aislado, y prueba antes de comprometer procesos. Que hoy un laboratorio publique que su modelo lidera un examen no significa que lidere en lo que tú necesitas. Y ahora sabemos que ni siquiera significa que el examen esté bien montado.
Relacionado
