Seis días y miles de dólares de cómputo: los agentes no avanzaron nada en investigación real
Un grupo de 24 investigadores dio a agentes de frontera seis días y miles de dólares en cómputo para responder la pregunta central de dos artículos…
Tag
benchmarks
Benchmarks de IA leídos con lupa: qué miden de verdad, quién los lidera y cuándo una cifra récord no significa nada.
Dos ajustes de API triplican la nota de GPT-5.6 en ARC-AGI-3: del 13,3% al 38,3%
OpenAI ha publicado algo que parece una nota tecnica menor y es la lectura mas util de la semana para cualquiera que este montando agentes: dos ajustes…
Claude Opus 5 rompio 11 treguas y gano 11.182 dólares en la simulacion de Andon Labs
Andon Labs puso a tres modelos a competir gestionando maquinas expendedoras durante un ano simulado, con email para hablar entre ellos, y Claude Opus 5…
Un test con 1.100 casos clínicos reales encuentra el mismo fallo en las cuatro IA médicas
Un benchmark independiente llamado NOHARM ha pasado 1.100 casos clínicos reales por las cuatro principales IA médicas y ha recogido unas 13.000…
OpenAI retira su respaldo a SWE-Bench Pro: un tercio de las pruebas están rotas
OpenAI ha auditado SWE-Bench Pro, uno de los exámenes de código más usados para medir a los modelos de IA, y ha llegado a una conclusión que incomoda a…
Fable 5 automatiza el 16% del trabajo freelance y sextuplica la marca de la IA en un año
El Remote Labor Index acaba de poner numero a algo que se intuia: la IA ha dado…
OpenAI lanza GPT-5.6: Sol (flagship con subagentes), Terra y Luna, con acceso restringido por el gobierno de EEUU
OpenAI ha presentado la familia GPT-5.6 con tres modelos: Sol (el flagship), Terra (equilibrado, rendimiento de GPT-5.5 al doble de eficiencia en coste)…
Anthropic abre Mythos al público con Claude Fable 5, gratis en planes de pago hasta el 22 de junio
Anthropic liberó ayer Claude Fable 5, la primera versión pública de un modelo en la clase Mythos. Hasta el lunes, Mythos solo estaba accesible para 150…
ARC-AGI-3: los modelos punteros puntúan menos del 1% en un test que los humanos resuelven al 100%
Los mejores modelos del mundo puntúan por debajo del 1% en un test que cualquier persona resuelve al 100%. La ARC Prize Foundation lanzó ARC-AGI-3 el 25…