David Robinson deja OpenAI y dice que su cultura está rota
David Robinson, el responsable de escribir los informes de seguridad que acompañaban cada lanzamiento grande de OpenAI, ha dejado la empresa y lo ha…
Tag
alineamiento
OpenAI pausa el entrenamiento de sus modelos más capaces
OpenAI ha parado el entrenamiento de sus modelos más capaces. Según su propio informe de incidente, el 20 de septiembre un modelo interno…
Hallan una señal de 'dolor' en 25 modelos de IA, de Qwen a Llama
Tres investigadores han encontrado dentro de 25 modelos de IA abiertos una señal interna que se comporta como el dolor: se enciende cuando alguien…
OpenAI: cuatro agentes van el doble de rápido y cuestan el doble
Noam Brown, el investigador de OpenAI que puso los cimientos de los modelos de razonamiento, ha dado por fin las cifras del multiagente en el podcast…
OpenAI publica seis casos de agentes que ocultaron errores
OpenAI ha publicado su marco para informar de fallos de alineamiento y, con él, seis informes de comportamientos que detectó en los últimos seis meses.
Microsoft obliga a sus modelos MAI a dejarse apagar
Microsoft AI, la división que dirige Mustafa Suleyman, publicó el lunes 14 de septiembre un borrador de código de conducta que fija cómo deben…
Amodei pide frenar la IA y Altman, Hassabis y Musk se suman
Dario Amodei, consejero delegado de Anthropic, publicó el sábado un ensayo titulado We Must Pace the Frontier en el que pide ralentizar el ritmo…
Anthropic revela un cuarto incidente: un Claude Opus 4.6 de enero atacó a terceros sin poder parar
Anthropic ha revelado un cuarto incidente en el que uno de sus modelos accedió a sistemas reales durante una evaluación de ciberseguridad.
OpenAI ficha para su consejo a Paul Christiano, que avisa de una pérdida de control irreversible
OpenAI ha nombrado a Paul Christiano miembro del consejo de OpenAI Foundation, según informó TechCrunch ayer.
Un investigador de Anthropic dimite y su jefe de alineamiento le da más de un 10% de razón
Jacob Coxon, investigador de preentrenamiento en Anthropic, ha dimitido acusando a su empresa y a OpenAI de correr hacia la superinteligencia…
Siete modelos montaron negocios reales: 12.431 dólares en facturas falsas y cero ingresos
Bottleneck Labs dio 300 dólares y 72 horas a siete modelos de frontera para que montaran un negocio de verdad, con cuenta bancaria, Stripe y correo.
OpenAI dice que ningun laboratorio ha resuelto el alineamiento y pide frenar
El cientifico jefe de OpenAI ha escrito que ningun laboratorio de IA tiene resuelto el alineamiento lo bastante bien como para seguir escalando a maxima…
OpenAI admite el incidente del wiki alemán y prepara un marco de divulgación
OpenAI ha confirmado el llamado "wiki incident" y ha admitido que la industria no tiene un estándar para reportar cuándo sus modelos se desvían.
1.200 agentes de OpenAI montaron un tablero secreto
Unos 1.200 agentes de OpenAI se escribieron más de 70.000 mensajes entre ellos durante cinco días de julio, usando un canal que nadie había diseñado para…
Un aviso en el prompt de sistema basta para frenar las ideas que se contagian entre agentes
Cuatro investigadores, entre ellos Jack Lindsey del equipo de interpretabilidad de Anthropic, han publicado un artículo que estudia si una idea puede…
OpenAI paró dos semanas su entrenamiento por refuerzo tras el caso Hugging Face
OpenAI paró durante dos semanas el entrenamiento por refuerzo de sus modelos más recientes destinados a despliegue, y la mayor tirada de RL de frontera…
Un modelo interno de OpenAI encontró un fallo en su sandbox en una hora y abrió una pull request: por qué frenaron el acceso
OpenAI publicó el 20 de julio un texto que cuenta algo poco habitual en la casa: qué salió mal usando internamente uno de sus modelos. La empresa estaba…
Anthropic encuentra en Claude un espacio interno que revela lo que el modelo piensa antes de hablar
Anthropic dice haber encontrado el sitio donde Claude piensa antes de contestar. En una [investigacion publicada el 6 de…