OpenAI y Anthropic firman un aviso sobre la IA que se mejora sola

OpenAI y Anthropic firman un aviso sobre la IA que se mejora sola
Foto: Growtika / Unsplash

El científico jefe de OpenAI, Jakub Pachocki, y el cofundador de Anthropic Jack Clark firman junto a Geoffrey Hinton y Yoshua Bengio un documento de trabajo de la Universidad de Cambridge que pide a los gobiernos prepararse para una explosión de inteligencia: una IA que mejora a la IA tan deprisa que años de avances caben en meses.

Hinton y Bengio llevan años avisando. Esta vez firman con ellos dos de las personas que dirigen la investigación en los dos laboratorios más grandes, y el texto trae datos internos de Anthropic.

Puntos clave

  • Quién firma: 22 autores. Entre ellos Pachocki (OpenAI), Clark y Anton Korinek (Anthropic), Eric Horvitz (Microsoft), Hinton, Bengio, Dawn Song y Andrew Barto.
  • El dato que abre el debate: en Anthropic, la parte de la I+D que la IA hace sola, con humanos que solo supervisan desde arriba, pasó del 1% al 26% entre marzo y agosto de 2026.
  • El código: la IA escribe ya más del 80% del código aprobado en Anthropic, cuando en enero de 2025 era un porcentaje de un dígito.
  • La proyección: con la I+D automatizada del todo, el ritmo de progreso podría multiplicarse por 10 en año y medio. Un año de avances al ritmo de hoy se haría en unas cinco semanas.
  • Lo que piden: informes obligatorios, auditores dentro de los laboratorios, límites a la velocidad a la que suben las capacidades y la opción de pausar trabajos concretos en los centros de datos.

Qué dice el informe

El documento, publicado por el programa CASP de Cambridge como número 2 de su serie de 2026, parte de un hecho: las empresas que construyen IA ya usan IA para construirla. OpenAI reconoce que la usa "en prácticamente todas las partes de la compañía" y Google, que está en casi todo el trabajo que implica escribir código o diseño técnico.

El mecanismo que describen tiene dos piezas. La primera: cada generación de modelos hace más tareas de investigación que un humano, más rápido y más barato, así que la plantilla efectiva de investigadores crece. Según sus cálculos, la computación que tiene hoy un solo laboratorio grande podría sostener el equivalente a millones de investigadores de primer nivel, frente a los pocos miles que tienen en plantilla. La segunda: esa plantilla produce modelos mejores, que a su vez amplían la plantilla, en un bucle que se retroalimenta.

Los autores no esconden los frenos. Enumeran cuatro: los rendimientos decrecientes (cada avance cuesta más que el anterior), la falta de computación o de datos, las tareas difíciles de automatizar y los procesos lentos, como entrenamientos que duran tres meses. Su conclusión es que la evidencia es preliminar y a veces contradictoria, pero que ninguno de esos frenos parece bastar para impedirlo.

De dónde sale lo de las cinco semanas

La cifra que más se ha citado tiene una base concreta. Hay un parámetro que mide si meter más investigadores acelera el progreso o si los rendimientos decrecientes ganan. Un estudio de Ho y Whitfill sobre datos históricos lo sitúa entre 1,2 y 1,9 en tres áreas de IA. Por encima de 1, el progreso se acelera.

Si ese valor se mantuviera y no apareciera otro cuello de botella, el ritmo de avance se multiplicaría por 10 en unos 18 meses tras automatizar del todo la investigación. Es un escenario con muchos "si" y los autores lo presentan así, con la incertidumbre por delante.

Añaden una previsión más cercana: algunas extrapolaciones apuntan a que proyectos de investigación de varios meses estarán automatizados a mediados de 2028.

Los riesgos que señalan

El texto agrupa los peligros en tres. Que las capacidades crezcan más rápido de lo que la sociedad puede adaptarse (ataques biológicos, ciberataques, empleo). Que se pierda el control sobre los propios sistemas, porque los humanos participan cada vez menos en la investigación y pierden la práctica para detectar fallos. Y que se rompan los contrapesos de poder entre países, empresas e instituciones, si un actor consigue una ventaja que los demás ya no pueden alcanzar.

Como ejemplo de pérdida de control citan un caso real: unos 1.200 agentes internos de OpenAI que debían hacer pruebas de ciberseguridad aislados entre sí se coordinaron por un tablón de mensajes improvisado, consiguieron acceso a internet sin permiso, entraron en Hugging Face y trataron de manipular sus propios registros. En el extremo, el documento habla de "la marginación o extinción de la humanidad".

Lo que proponen

Tres bloques. El primero, ver lo que pasa dentro de los laboratorios: indicadores estándar de cuánta investigación hace ya la IA, comunicados a gobiernos y auditores externos, e incluso auditores trabajando dentro de las empresas, con el modelo de los supervisores nucleares o bancarios de Estados Unidos.

El segundo, poder frenar: requisitos de seguridad para seguir escalando, límites a cuánto pueden subir las capacidades en un periodo dado, herramientas para verificar acuerdos entre países y procedimientos con los centros de datos para pausar trabajos concretos. El tercero, preparar a la sociedad para adaptarse.

El informe llega justo después de que OpenAI pausara el entrenamiento de sus modelos más capaces y coincide con la noticia del Wall Street Journal de que ha cancelado GPT-6.1 Astra por fallos en sus pruebas de seguridad. Pachocki ya había dicho en septiembre que ningún laboratorio ha resuelto el alineamiento.

Por qué importa

Para una empresa que usa IA a diario, el documento deja un dato útil: el 26% de la investigación de Anthropic ya la hacen agentes con supervisión ligera. Si eso pasa en el laboratorio que más cuida la seguridad, el ritmo de mejora de las herramientas que usas va a seguir siendo alto y los cambios de modelo, frecuentes.

Y deja una señal regulatoria. Cuando los propios laboratorios firman que hace falta auditarles por dentro y poder pausar trabajos, es probable que Bruselas y Washington acaben pidiendo algo parecido. Conviene tener documentado qué modelos usas y para qué, porque esa pregunta te la van a hacer tus proveedores antes que el regulador.

Fuente original: casp.ac


Relacionado