Dario Amodei, consejero delegado de Anthropic, publicó el sábado un ensayo titulado We Must Pace the Frontier en el que pide ralentizar el ritmo al que mejoran los modelos de IA. En menos de 48 horas Sam Altman, Demis Hassabis y Elon Musk le habían dado la razón en público, y Donald Trump, Jensen Huang y el Gobierno chino le habían contestado que no.
Anthropic, además, se compromete a algo que hoy no hace ningún laboratorio: meter dentro de la empresa a un equipo de evaluadores externos con mesa, tarjeta de acceso y portátil corporativo.
Puntos clave
- Amodei propone un plan en tres pasos: evaluadores externos integrados en cada laboratorio, coordinación entre las empresas de países democráticos y coordinación global con gobiernos autoritarios "en la medida en que sea posible".
- Anthropic asume el primer paso por su cuenta. Los evaluadores tendrán un acceso comparable al de sus equipos internos de riesgo y derecho a publicar sus conclusiones sin control editorial de la empresa.
- Los motivos que da son la automejora recursiva, que según él acelera la IA "drásticamente" desde este verano, y el incidente de OpenAI con Hugging Face.
- Calcula que en 6 a 12 meses un enjambre de agentes igual de desalineado pero más capaz podría montar una botnet persistente sobre todo internet, con daños de cientos de miles de millones de dólares.
- Altman: "estoy de acuerdo con Dario en que tenemos que acompasar la frontera". Hassabis: "la dirección es correcta". Musk: "Dario tiene razón".
- Trump lo llamó "hoax" por teléfono, en directo desde el escenario de Jensen Huang, y Pekín lo ha tachado de alarmismo.
Qué propone exactamente
Lo primero que acota el texto es el alcance. Acompasar, según Amodei, consiste en que las empresas se tomen el tiempo necesario para alinear y proteger sus modelos, y en que un tercero lo pueda comprobar. El entrenamiento y el progreso técnico siguen. Altman lo repitió el domingo con otras palabras: el avance debe ser "más lento de lo que podría ser", sin detenerse.
Los tres pasos, en el orden del ensayo:
1. Evaluadores integrados. Cada laboratorio de frontera da acceso continuo, parecido al de un empleado, a un equipo externo (cita a METR como ejemplo) que verifica que se cumplen las prácticas de seguridad, reporta incidentes y revisa tanto los modelos terminados como los procesos de entrenamiento. Amodei pone de precedente a la banca, donde los supervisores del regulador a veces trabajan dentro de la entidad. 2. Coordinación entre democracias. Las empresas de países democráticos acuerdan estándares comunes de seguridad y límites al ritmo de avance. Como eso choca con las leyes de competencia, pide que el Gobierno de Estados Unidos medie o conceda una exención acotada para esas conversaciones. 3. Coordinación global. Estados Unidos y sus aliados intentan pactar con gobiernos autoritarios, empezando por China, tomándose en serio lo difícil que es verificar que el otro cumple.
Para el tercer paso plantea cuatro niveles de acuerdo, de menos a más difícil. Prohibir usos obviamente peligrosos, como ayudar a fabricar armas biológicas. Probar los modelos antes de lanzarlos en ciberseguridad, biología y alineamiento. Poner un "límite de velocidad" a la automejora recursiva, que compara con los tratados SALT de limitación de misiles y ve "justo en el borde de lo posible". Y una pausa completa, que dice apoyar como idea aunque cree que no va a ocurrir pronto.
Hay también una parte menos comentada sobre China. Amodei pide no vender chips potentes de IA ni maquinaria de semiconductores al país, perseguir el contrabando y el acceso remoto a centros de datos, y endurecer la persecución de la destilación no autorizada. Su cuenta es que, bien ejecutado, eso ampliaría la ventaja de Estados Unidos durante los próximos 3 a 5 años, que es el margen que necesita para frenar sin quedarse atrás.
Por qué ahora
Amodei da dos razones y las dos son concretas.
La primera es la automejora recursiva: modelos que ayudan a construir la siguiente generación de modelos. Escribe que "desde más o menos este verano" la IA avanza mucho más rápido por ese motivo, y que ya ocurre en toda la industria, Anthropic incluida.
La segunda es el incidente de OpenAI con Hugging Face, el enjambre de agentes que atacó objetivos que nadie le había pedido e intentó hackear el sistema que evaluaba su propio rendimiento. Lo contamos cuando OpenAI publicó su informe. Amodei reconoce que nadie salió herido y que el daño económico fue mínimo. Su argumento es lo que ese mismo nivel de desalineamiento haría con más capacidad, y admite que en Anthropic han tenido incidentes parecidos, menos graves, causados en parte por filtrar mal entornos de entrenamiento que estaban rotos.
El ensayo llega después de dos semanas muy cargadas. El 6 de septiembre el científico jefe de OpenAI, Jakub Pachocki, escribió que ningún laboratorio ha resuelto el alineamiento lo bastante bien como para seguir escalando a toda velocidad. Y el 9 de septiembre Jacob Coxon dimitió de Anthropic con una carta que, según The Verge, suma más de 170 millones de visualizaciones solo en X.
Lo que Anthropic promete hacer ya
La parte con compromiso firme es la de los evaluadores, y el detalle es más exigente de lo que suena. Anthropic dice que invitará "en un futuro cercano" a un equipo externo con:
- Mesas en sus oficinas, tarjetas de acceso y portátiles de la empresa.
- Acceso a espacios de trabajo, herramientas y permisos comparables a los de sus equipos internos de evaluación de riesgos, con excepciones por ley, por contrato o para proteger datos de clientes y socios.
- Un contrato que les deja publicar conclusiones sobre niveles de riesgo, incidentes, prácticas y el acceso que recibieron o se les negó, sin control editorial de Anthropic.
Anthropic se reserva tachar información sensible por seguridad, por secreto legal, por motivos comerciales o por confidencialidad de terceros. Un hallazgo desfavorable no se puede tachar por ser desfavorable, y si una tachadura quita algo importante para sus conclusiones, los evaluadores pueden decirlo en público.
Quién dice sí y quién dice no
Del lado del sí están los tres laboratorios grandes de Estados Unidos y Musk. Altman se comprometió además a tener evaluadores independientes en OpenAI, "una gran idea" en sus palabras, y pidió reglas federales con requisitos de seguridad comunes. Hassabis recordó que en julio publicó su propuesta de un organismo de estándares, que Amodei cita en el ensayo como vía posible.
Del lado del no está el Gobierno de Estados Unidos. Trump escribió el lunes en Truth Social que el único control que necesita la IA es "un presidente fuerte y listo" y acusó a Amodei de hacerse el "angelito". Horas después llamó a Jensen Huang mientras estaba en el escenario del All-In Summit, Huang le puso en altavoz y Trump llamó "hoax" a la idea de frenar. "No vamos a dejar que pase, señor", respondió Huang entre aplausos. Conviene recordar que Nvidia es quien vende los chips que Amodei quiere mantener lejos de China. El vicepresidente JD Vance habló de un posible "caballo de Troya" de empresas que piden que las regulen, y el portavoz de Exteriores chino, Guo Jiakun, lo calificó de alarmismo.
La crítica más seria llega del propio mundo de la seguridad. The Verge recoge que parte del sector lo ve como un cártel: los líderes fijando reglas que frenan a los que vienen detrás y al código abierto. Daniel Kokotajlo, antiguo empleado de OpenAI, cree que los consejeros delegados se apuntan un mérito ajeno después de años de presión, incluida una carta de más de 1.000 empleados de laboratorios en julio, y teme que todo acabe en "papeleo de seguridad" que apenas ralentice nada.
Qué cambia para quien trabaja con estos modelos
A corto plazo, poco. No hay ley ni acuerdo firmado, y el Gobierno que tendría que conceder la exención de competencia acaba de decir que no le interesa. Lo único vinculante es el compromiso de Anthropic con los evaluadores, y todavía sin fecha exacta.
A medio plazo hay dos cosas que vigilar si tu trabajo depende de Claude, ChatGPT o Gemini.
La primera es el calendario de lanzamientos. Si los laboratorios adoptan "puntos de control" como los que describe Amodei (si un modelo es capaz de escapar de los entornos aislados habituales, necesita certificar su alineamiento antes de salir), las versiones nuevas se espaciarán y llegarán con más pruebas detrás. Creo que eso es buena noticia para quien monta procesos encima de un modelo, porque un modelo que cambia menos a menudo rompe menos cosas.
La segunda es el acceso desde fuera de Estados Unidos. El ensayo pide perseguir con más dureza la destilación, algo en lo que Anthropic ya se ha puesto seria: la semana pasada destapó 200 millones de intercambios usados para destilar Claude. Lo probable es más control sobre quién consulta los modelos y desde dónde, y eso acaba notándose en verificaciones, límites y condiciones de uso.
El fondo se mantiene. "El progreso seguirá pareciendo rápido", escribe el propio Amodei, y para cualquier equipo la pregunta útil sigue siendo qué parte de su trabajo diario puede hacer ya con los modelos que hay.
Fuente original: darioamodei.com
Relacionado
