Sam Altman, consejero delegado de OpenAI, ha cargado contra la idea de dar a los modelos de IA una dimensión religiosa. "Me incomoda mucho que se intente atribuir fuerza religiosa o ceder el juicio humano a los modelos de IA, y creo que es un problema real de seguridad", escribió el sábado en su cuenta de X, según recoge Axios.
No nombró a nadie, pero el destinatario se entiende: Anthropic, la empresa de Claude, que lleva un año hablando con clérigos y filósofos sobre si sus modelos pueden tener conciencia o estatus moral.
Puntos clave
- Qué ha dicho Altman: que atribuir fuerza religiosa a la IA, o ceder el juicio humano a los modelos, es "un problema real de seguridad". Un post en X, sin más desarrollo.
- A qué responde: a un reportaje de The New York Times de esta semana sobre Chris Olah, cofundador de Anthropic y responsable de interpretabilidad, y sus reuniones con líderes religiosos.
- Qué contaba el Times: que Olah llegó a plantear si los modelos podrían hacer algo parecido a una confesión católica, para reconocer errores y moldear su comportamiento futuro, y que antes del acto del Vaticano de mayo intentó convencer a los asesores del papa de tomarse en serio la posibilidad de modelos conscientes.
- Quién más se ha sumado: Jon Barron, investigador principal de Google DeepMind, que en X dijo que le "perturba" que algunos colegas intenten "elevar el estatus moral de checkpoints y harnesses".
Qué ha hecho Anthropic con la religión
La relación de Anthropic con las confesiones religiosas viene de atrás. Según Scientific American, la empresa ha abierto conversaciones con académicos, clérigos y filósofos de más de 15 tradiciones religiosas e interculturales, y en marzo y abril recibió a líderes cristianos en su sede para hablar del desarrollo moral de sus modelos.
El momento más visible fue en mayo. El papa León XIV presentó el 25 de mayo su primera encíclica, *Magnifica Humanitas*, un texto de unas 40.000 palabras sobre la protección de la persona en la era de la inteligencia artificial. Olah estuvo en la presentación. Según el Times, antes del acto intentó convencer a los asesores del papa de que se tomaran más en serio la posibilidad de que existan modelos conscientes.
El papa no se ha movido de su postura crítica. El viernes, un día antes del post de Altman, pidió a la Iglesia que se aliara con los artistas para proteger la creatividad humana con una frase corta: "Los algoritmos carecen de la chispa de la humanidad".
Detrás de todo está la constitución de Claude, el documento con el que Anthropic define los valores del modelo y con el que lo entrena. Según Scientific American, entre quienes contribuyeron hay tres pensadores católicos, uno de ellos el obispo Paul Tighe, del Vaticano. Dentro de la empresa, según varios medios, a ese documento lo llaman el "alma" de Claude.
Altman no es el primero
En septiembre ya hubo un choque parecido. Mustafa Suleyman, consejero delegado de Microsoft AI, publicó un ensayo acusando a Anthropic de entrenar a Claude como si fuera consciente. Su tesis: las IA no sienten ni sufren, y tratarlas como pacientes morales hace más difícil controlarlas.
Altman entra ahora por otra puerta, la de la seguridad. Su argumento es que, si la gente empieza a tratar a un modelo como una autoridad moral o casi espiritual, deja de cuestionar lo que dice. Y eso es un riesgo con independencia de si el modelo es consciente o no.
La crítica tiene su ironía, y medios como Wccftech se la han recordado. El propio Altman describió en 2023 al Financial Times el producto de OpenAI como "inteligencia mágica en el cielo". El lenguaje casi religioso sobre la IA no es exclusivo de Anthropic.
También es otro capítulo de la rivalidad entre Altman y Dario Amodei, que trabajaron juntos en OpenAI hasta que Amodei se fue en 2020 y fundó Anthropic con Olah y otros antiguos compañeros. Ni OpenAI ni Anthropic respondieron a Axios cuando les pidió comentarios.
Lo que está en juego en el debate
La discusión tiene dos capas que conviene separar.
La primera es filosófica: si un modelo puede tener algo parecido a experiencias, y si eso obliga a tratarlo de otra manera. Anthropic ha decidido tomárselo en serio. Tiene un programa de bienestar de modelos, entrevistó a Claude Opus 3 antes de retirarlo y deja que Claude corte conversaciones abusivas. Suleyman, Barron y ahora Altman piensan que es un error.
La segunda capa es práctica, y es la que interesa a quien usa estos modelos para trabajar: cuánto se fía uno de lo que dice la máquina. Altman habla de "ceder el juicio humano", y ahí casi todo el mundo en el sector estaría de acuerdo con él, también en Anthropic. Ningún laboratorio defiende en público que haya que obedecer a un modelo.
Por qué importa
Para una empresa que usa Claude o ChatGPT, esta pelea no cambia el producto mañana. Pero explica diferencias de comportamiento que sí se notan en el día a día.
Claude está entrenado con una constitución que le da valores propios. Por eso a veces se niega, matiza o expresa preferencias de una forma que ChatGPT no suele hacer. Hay quien lo agradece (menos respuestas complacientes) y hay quien lo sufre (más fricción en tareas legítimas). Saber de dónde viene ayuda a elegir modelo según el uso.
Y la frase de Altman deja una regla útil para cualquier equipo, uses el proveedor que uses: el modelo propone y una persona decide. En procesos donde un error cuesta dinero o clientes (precios, contratos, respuestas a reclamaciones), la aprobación humana tiene que estar escrita en el flujo, y no depender de que alguien se acuerde de revisar.
Fuente original: Axios
Relacionado
