Jacob Coxon, investigador de preentrenamiento en Anthropic, ha dimitido acusando a su empresa y a OpenAI de correr hacia la superinteligencia que se automejora sin actuar de forma responsable. Lo llamativo no es la carta. Es que su jefe de alineamiento le ha dado parte de la razón en público, según recoge Forbes.
Puntos clave
- Coxon tiene 27 años y ha pasado tres haciendo investigación de preentrenamiento, primero en OpenAI y luego en Anthropic.
- Su frase sobre la carrera entre laboratorios: "apostando con nuestras vidas".
- Su predicción concreta: "vamos camino de muchos de los escenarios más agresivos, donde para finales del año que viene las cosas podrían estar ya fuera de control".
- Evan Hubinger, responsable de Alignment Science en Anthropic, respondió que ve más de un 10% de probabilidad de que la IA cause la extinción humana en la próxima década.
- Hubinger acota: los modelos actuales le parecen de riesgo relativamente bajo. Su preocupación son los sistemas superinteligentes con automejora recursiva.
El matiz que se está perdiendo en los titulares
Media prensa ha titulado esto como "investigador dice que la IA nos va a matar". El argumento de Coxon es más incómodo que eso, y bastante más interesante.
Él no dice que el trabajo de seguridad de Anthropic sea falso. Dice que es insuficiente por culpa de la competencia.
Su descripción de las dos casas es distinta. En OpenAI, según él, la plantilla no ha "interiorizado profundamente lo que está en juego a nivel civilizatorio". En Anthropic, en cambio, sí se entiende bien. El problema es que la empresa está atrapada en una carrera por llegar primero, con la lógica de que si no lo hacen ellos, nadie más actuará con responsabilidad.
Esa es la trampa. Cada laboratorio corre porque cree que es el más responsable. Y correr es exactamente lo que reduce el margen de seguridad de todos.
La respuesta interna es la noticia
Que un empleado se vaya dando un portazo público no es raro en este sector. Que el responsable de la ciencia de alineamiento de la misma empresa salga a decir que ve más de un 10% de probabilidad de extinción humana en diez años, y siga trabajando allí, sí lo es.
Hubinger separa presente de futuro con cuidado. Los modelos de hoy, dice, presentan un riesgo relativamente bajo. Lo que le preocupa es lo que viene: sistemas capaces de mejorarse a sí mismos de forma recursiva.
Es una postura coherente aunque parezca contradictoria. Se puede pensar que el riesgo a diez años es alto y a la vez creer que el mejor sitio para reducirlo es dentro del laboratorio, no fuera. Coxon ha llegado a la conclusión contraria.
Dónde encaja esto
Anthropic lleva unas semanas de titulares densos. El acuerdo de 1.500 millones con autores y editoriales. La salida a bolsa retrasada a mediados de octubre. Los 517.000 millones comprometidos en cómputo.
Una dimisión por motivos de seguridad justo antes de una salida a bolsa tiene un peso que no tendría en otro momento. Los inversores que van a comprar en octubre están leyendo esto.
Por qué importa
Para una empresa que ya usa estos modelos en producción, el debate sobre extinción es ruido a corto plazo. Pero hay una lectura práctica.
Cuando el propio responsable de alineamiento de tu proveedor te dice que los modelos actuales son de riesgo bajo y que su miedo está en la generación siguiente, te está diciendo algo útil: lo que despliegues hoy con supervisión humana en los puntos críticos es razonable, y cada salto de capacidad merece revisar esa supervisión en vez de darla por resuelta.
Traducido a tu casa: no quites el human-in-the-loop de los procesos que tocan dinero, clientes o datos personales solo porque el modelo nuevo va mejor. La confianza se gana por proceso, no por versión.
Fuente original: forbes.com
Relacionado
