Claude Opus 4.7 ha reimplementado desde cero un programa de bioinformática de unas 16.000 líneas de código, sin ver el original, y ha pasado 2.000 de los 2.001 tests. Tardó 14 horas y costó 251 dólares. El dato viene de MirrorCode, el benchmark que Epoch AI ha construido con METR para responder a una pregunta concreta: cuál es el proyecto de software más grande que una IA puede terminar sola.
Para comparar: una ingeniera humana sin ayuda de IA tardaría entre 2 y 17 semanas en ese mismo trabajo.
Puntos clave
- El programa reimplementado es gotree, un kit de bioinformática en Go con más de 40 comandos.
- Resultado: 2.000 de 2.001 tests de comportamiento superados, sin acceso al código fuente original.
- Coste total del intento: 251 dólares y 14 horas de ejecución.
- El benchmark incluye 25 programas objetivo, con presupuestos de hasta 2.600 dólares y hasta 19 días por intento.
Qué mide MirrorCode y por qué es distinto
Los benchmarks de programación habituales, tipo SWE-bench, dan al modelo un repositorio y le piden que arregle un fallo concreto. Es una tarea de minutos u horas, con el contexto ya servido.
MirrorCode hace otra cosa: le da al modelo la especificación de comportamiento de un programa y le pide que lo construya entero, de principio a fin, sin acceso al código original. Luego lo evalúa contra tests de comportamiento final, incluidos casos que el modelo no ha visto.
Los detalles de diseño importan porque cierran las trampas típicas. El modelo trabaja en un sandbox sin internet, así que no puede buscar el proyecto original ni copiar de GitHub. Los tests finales están ocultos, así que no puede optimizar para el examen. Y los 25 programas cubren dominios distintos: utilidades Unix, serialización, bioinformática, intérpretes y criptografía.
El número que de verdad cuenta
Lo llamativo no es que un modelo escriba 16.000 líneas. Es que las escriba coherentes entre sí durante 14 horas.
El problema clásico de estos sistemas nunca fue generar código, fue mantener el hilo. Un programa con más de 40 comandos exige que la decisión que tomas en la hora 2 siga teniendo sentido en la hora 11. Ahí es donde los modelos se rompían: perdían el contexto, se contradecían y acababan produciendo piezas que no encajaban.
El otro número que hay que mirar es el de coste. 251 dólares por un trabajo de entre 2 y 17 semanas de una persona. Aunque le sumes las horas de la persona que supervisa, revisa y corrige, la aritmética no se parece a nada de lo que había en 2024.
Y conviene leer el presupuesto máximo del benchmark para ver el otro lado: Epoch permite hasta 2.600 dólares y 19 días por intento. Que el caso de gotree saliera por 251 dólares no significa que todos los proyectos salgan por ahí. Los que fallan, fallan caro.
Lo que este resultado no dice
Reimplementar no es lo mismo que diseñar. En MirrorCode el modelo recibe una especificación clara de qué tiene que hacer el programa, y ese enunciado es el trabajo que en una empresa real cuesta más: decidir qué hay que construir, con qué prioridades y con qué compromisos.
Tampoco hay mantenimiento, ni integración con sistemas antiguos, ni datos sucios, ni una persona de operaciones diciendo que ese flujo no funciona así desde 2019. El sandbox limpio es el mejor amigo del benchmark.
Por qué importa
Si tienes una herramienta interna que nadie mantiene, un script heredado del que depende un proceso o un software antiguo con licencia cara, este resultado te habla directamente. Reimplementar contra especificación es exactamente ese caso: sabes qué tiene que hacer porque lo estás usando, y lo que no tienes es a nadie que lo reescriba.
La forma de aprovecharlo no es pedir "hazme el sistema". Es escribir la especificación de comportamiento antes de tocar nada: qué entra, qué sale, qué casos raros existen. Ese documento es el que convierte 14 horas de cómputo en algo utilizable, y es trabajo humano que sigue sin poder delegarse.
En mis empresas la parte que más tiempo me lleva no es la generación de código, es dejar claro qué tiene que pasar exactamente. Este benchmark mide justo lo que viene después.
Relacionado
