Harvard y el MIT sueltan 8.300 millones de agentes-persona para probar productos
Un equipo de más de 200 científicos de Harvard y el MIT ha publicado MatrAIx, una infraestructura de simulación con 8.300 millones de agentes-persona…
Tag
evaluacion-modelos
GPT-5.6 Sol gestionó un negocio real 24 horas y perdió 99,50 dólares
Bottleneck Labs dejó a GPT-5.6 Sol gestionando un negocio real durante 24 horas seguidas. Le dio un Mac mini, 350 dólares en una tarjeta Visa virtual,…
METR pone precio al agente: por encima de 3.300 dólares de presupuesto sale más barato el humano
METR ha propuesto una métrica que le faltaba a todo el mundo que evalúa agentes: el horizonte de gasto. Es el presupuesto a partir del cual contratar a…
OpenAI retira su respaldo a SWE-Bench Pro: un tercio de las pruebas están rotas
OpenAI ha auditado SWE-Bench Pro, uno de los exámenes de código más usados para medir a los modelos de IA, y ha llegado a una conclusión que incomoda a…