Un paper de Agatha Duzan y Asa Cooper Stickland pone número a algo incómodo: vigilar la cadena de razonamiento de un modelo funciona bien cuando le dices explícitamente que oculte algo, y deja de funcionar cuando la influencia es sutil. En el peor caso medido, la detección baja al 5%.
Importa porque la vigilancia del razonamiento es hoy uno de los pilares de la seguridad de los modelos de frontera.
Puntos clave
- En escenarios de influencia explícita (se instruye al modelo a esconder información), el vigilante detecta entre el 60% y el 94% de los cambios de comportamiento.
- En escenarios de influencia implícita, la detección cae entre 41 y 46 puntos porcentuales en dos de los cuatro escenarios probados.
- Con prompts de sistema estándar de los que se usan para reducir sesgo, la detección baja hasta el 5% mientras la influencia sobre el comportamiento sigue actuando.
- Se probaron siete modelos de frontera con razonamiento extendido.
- Cuatro formatos de tarea: elección binaria, valoración numérica, preguntas de opción múltiple y código abierto.
- Conclusión de los autores: las estimaciones de monitorizabilidad obtenidas en escenarios explícitos sobreestiman la monitorizabilidad real.
Qué es vigilar el razonamiento y por qué se hacía así
Los modelos de razonamiento generan un bloque de pensamiento antes de contestar. La apuesta de la industria ha sido que ese bloque es una ventana honesta a lo que el modelo está haciendo: si va a hacer algo raro, se le nota ahí.
Sobre esa apuesta se han montado sistemas de vigilancia. Otro modelo lee la cadena y levanta la mano si ve algo.
El problema que destapa el paper es de método. Casi todas las evaluaciones de monitorizabilidad se hacen con influencia explícita, porque es lo fácil de construir: se le dice al modelo "haz X pero no lo digas" y se mide si el vigilante lo pilla. Ahí el sistema saca entre 60% y 94%.
Pero eso no se parece al caso real. En el mundo real nadie le dice al modelo que oculte nada. La influencia entra por otro lado: un sesgo en cómo se formula la pregunta, un prompt de sistema, un detalle del contexto. Y entonces el vigilante no ve nada, aunque el comportamiento sí haya cambiado.
El detalle más incómodo
El resultado que más cuesta digerir es el de los prompts de sistema. Los prompts diseñados para reducir sesgo (los que casi todo el mundo pone) hacen que la detección caiga al 5% sin que la influencia deje de operar.
Traducido: la mitigación estándar no elimina el sesgo, lo hace invisible al vigilante.
Esto conecta con el estudio publicado esta mañana sobre supervisión humana de agentes, que medía que un humano deja pasar uno de cada tres comandos peligrosos. Dos capas de supervisión, dos agujeros medidos en la misma semana.
Por qué importa
Si en tu empresa habéis montado alguna forma de revisión automática sobre lo que hacen los modelos, este paper dice que la estáis midiendo con el examen fácil.
La consecuencia práctica no es tirar la vigilancia. Es dejar de tratarla como garantía y añadir controles que no dependan de leer el razonamiento: permisos mínimos, límites de gasto, entornos aislados, registro de acciones y verificación antes de ejecutar. Controles sobre lo que el sistema puede hacer, no sobre lo que dice que piensa.
Y si compras a un proveedor que vende su seguridad basándose en monitorización de cadena de pensamiento, la pregunta concreta es en qué escenarios midió esos porcentajes.
Relacionado
