Meta avisará a los padres si un adolescente habla de autolesiones con Meta AI

Meta avisará a los padres si un adolescente habla de autolesiones con Meta AI
Fuente: about.fb.com

Meta va a avisar a los padres cuando un adolescente hable de autolesiones o suicidio con Meta AI, su asistente de inteligencia artificial. Según anunció la propia compañía, un sistema de IA dedicado detecta esas conversaciones y, tras pasar por un revisor humano, dispara una notificación al padre o tutor que supervisa la cuenta con recursos y consejos sobre qué hacer. La función ya está activa en varios países y llegará al resto del mundo antes de que acabe el año.

Cómo funciona

  • Meta construyó un sistema de IA específico para identificar conversaciones en las que un menor menciona autolesiones o ideas suicidas.
  • Antes de enviar nada, un revisor humano comprueba cada chat que la IA marca. La idea es no alarmar a una familia sin motivo real.
  • Aun así, el criterio es precavido: si la intención del menor es ambigua, el revisor manda el aviso igualmente.
  • Cuando un usuario menor de edad habla de suicidio o autolesiones, Meta AI ya le deriva a líneas de ayuda en crisis y le anima a acudir a un adulto de confianza.

Dónde está disponible

El aviso a padres ya funciona para quien usa la supervisión parental de Instagram en Estados Unidos, Reino Unido, Australia y Canadá. Meta dice que lo extenderá a todo el mundo, para cualquiera que tenga activada la supervisión parental, antes de que termine el año.

Hay un segundo cambio que va en la misma línea. El ajuste de Contenido Limitado de Instagram, que filtra temas sensibles como imágenes explícitas o autolesiones, ahora también se aplica a lo que el menor ve y recibe cuando habla con Meta AI. Si un padre tiene activado ese filtro en Instagram, las respuestas del asistente para su hijo también quedan más acotadas.

El contexto en el que llega

Meta no mueve esto en el vacío. Los asistentes de IA que conversan con menores llevan meses bajo lupa, tanto de reguladores como de padres, por el riesgo de que un chatbot dé respuestas dañinas a un adolescente vulnerable. Poner un humano a revisar cada alerta antes de mandarla es un reconocimiento implícito de que dejar la decisión solo en manos del modelo no basta cuando lo que está en juego es la seguridad de un menor.

También es una apuesta delicada. Avisar a los padres de una conversación privada de su hijo toca la línea entre proteger y vigilar. Meta lo resuelve limitando el aviso a los casos de autolesión o suicidio, no a cualquier tema, y metiendo la revisión humana como filtro. Que se equivoque por exceso (avisar de más) es una decisión consciente: prefiere una falsa alarma a un caso que se le escape.

Por qué importa

Más allá de Meta, esto marca por dónde va a ir la seguridad en productos de IA que hablan con personas. Cualquier empresa que despliegue un asistente conversacional con público general, y no digamos con menores, va a tener que responder a la misma pregunta: qué hace el sistema cuando la conversación entra en terreno peligroso. La respuesta de Meta combina tres capas (detección automática, revisión humana y aviso a un responsable) y ninguna sobra. Para quien esté montando un chatbot de atención o de producto, el patrón es replicable y la lección es clara: la IA detecta a escala, pero la decisión sensible sigue pasando por una persona.


Relacionado