Harvard y el MIT sueltan 8.300 millones de agentes-persona para probar productos

Harvard y el MIT sueltan 8.300 millones de agentes-persona para probar productos
Foto: Rob Curran / Unsplash

Un equipo de más de 200 científicos de Harvard y el MIT ha publicado MatrAIx, una infraestructura de simulación con 8.300 millones de agentes-persona pensada para probar productos y sistemas de IA con usuarios que no existen. Cada agente lleva su propio perfil, construido sobre 1.290 atributos.

Puntos clave

  • 8.300 millones de agentes-persona, aproximadamente la población mundial.
  • 1.290 atributos por persona. Los perfiles parten de registros públicos reales y se completan con agentes sintéticos.
  • Soporta más de 1.000 aplicaciones.
  • Cuatro tipos de prueba: encuestas, testeo de chatbots, evaluación de prototipos web y evaluación de producto en app.
  • Funciona en tres capas: Persona (quién), Entorno (dónde y cómo) y Aplicación (qué y por qué), con informes de evaluación y telemetría como salida.
  • Se presenta como comunidad de investigación de código abierto, con playground, documentación y repositorio en GitHub.

Para qué sirve esto de verdad

La frase que usan en la web resume la apuesta: "la siguiente frontera para los agentes es entender a la humanidad, y aprender a comportarse como nosotros".

Suena grandilocuente. La aplicación práctica es mucho más terrenal: probar una encuesta, un chatbot o un prototipo con miles de perfiles distintos antes de enseñárselo a un humano. En vez de reclutar 200 personas para un test de usuario, lanzas 200.000 agentes con perfiles distintos y miras dónde se rompe.

Es la misma idea que llevan años usando los equipos de producto con datos sintéticos, pero con dos diferencias: la escala, y que los perfiles arrancan de registros públicos reales en vez de inventarse la distribución.

Dónde está la trampa

Un agente-persona no es una persona. Es un modelo de lenguaje al que le has contado quién debe fingir ser, y responde según lo que el modelo cree que diría alguien así.

Eso tiene un sesgo obvio y bien documentado: los modelos reproducen los estereotipos del texto con el que fueron entrenados. Preguntarle a un agente-persona qué opina un electricista de 52 años de Albacete sobre un producto te va a devolver lo que internet cree que opinaría, no lo que opina.

Para encuestas de opinión eso es un problema serio. Para lo otro, para detectar dónde se atasca un flujo, qué pregunta rompe un chatbot o qué instrucción se malinterpreta, es bastante más defendible. Los fallos de usabilidad se parecen mucho entre personas, y ahí la simulación sí aporta.

Por qué sale ahora

Porque evaluar se ha convertido en el cuello de botella. Montar un agente hoy es cuestión de horas. Saber si funciona bien con usuarios reales, en casos raros, sin romperse, es cuestión de meses.

La industria entera está buscando cómo automatizar esa parte, y todo el mundo ha llegado a la misma respuesta: usar modelos para probar modelos. MatrAIx es la versión académica y abierta de eso, con el añadido de la escala.

Por qué importa

Si estás montando un asistente interno o un chatbot de atención, la pregunta que te va a joder el proyecto no es qué modelo usas. Es cómo sabes que funciona antes de ponerlo delante de un cliente.

Aquí hay una herramienta gratuita para hacer esa prueba a escala, y una advertencia que conviene llevar puesta: lo que salga sirve para encontrar roturas, no para predecir opiniones. Usa los agentes para el primer barrido y guarda las diez entrevistas con humanos de verdad para lo que de verdad decides. Sale más barato que hacerlo al revés.


Relacionado