Levent Alpöge, matemático de Anthropic, afirma que reprodujo aproximadamente la mitad de los diez avances matemáticos que OpenAI atribuyó a su modelo interno Astra, usando el Claude que cualquiera puede contratar y en 24 horas. Lo recogió Gary Marcus el 3 de agosto, un día después de que OpenAI publicara el anuncio. Si la afirmación aguanta, cambia bastante la lectura de la semana.
Puntos clave
- Alpöge declara las condiciones: totalmente autónomo, prompt genérico, sin acceso a internet y con controles para asegurarse de que no se filtrara información del anuncio.
- Reprodujo alrededor de la mitad de los diez resultados en unas 24 horas.
- Marcus lo describe como replicación parcial, hecha con lo poco que OpenAI publicó.
- Noam Brown, de OpenAI, reconoció que el equipo intentó otros problemas importantes sin éxito, sin decir cuántos ni a qué coste.
Qué anunció OpenAI y qué pone en duda esto
El 2 de agosto OpenAI presentó diez resultados de Astra sobre problemas abiertos de geometría, criptografía, computación cuántica y matemática pura. Entre ellos, la primera mejora desde 1978 de un límite de empaquetamiento de esferas en dimensiones altas y la construcción de un grupo no sófico que refuta la conjetura de rigidez de Connes.
El marco del anuncio era que un modelo aún no lanzado alcanzaba un umbral que los públicos no alcanzan. Ahí es donde muerde la réplica de Alpöge: si un modelo ya disponible saca la mitad en un día, el umbral no es del modelo secreto, es de la técnica.
Marcus lo formula así: puede que la aportación real de OpenAI fuera identificar qué problemas se prestan a búsqueda masiva más verificación automática, y no tener un modelo cualitativamente superior.
El detalle técnico que sostiene toda la historia
Nada de esto funcionaría sin el verificador. Los humanos que trabajaron con Astra convirtieron cada demostración a Lean, un asistente de pruebas cuyo comprobador valida paso lógico a paso lógico.
Esa es la razón de que las matemáticas sean el primer campo donde este bucle rinde. Hay una señal de correcto o incorrecto automática, barata y sin ambigüedad. El modelo puede intentar diez mil caminos y el verificador tira los 9.999 malos sin que nadie lea nada.
Marcus insiste en el límite obvio: la investigación en cáncer, la estrategia militar y casi cualquier decisión empresarial no tienen un Lean que diga sí o no. Ahí el bucle se rompe.
El número que falta
El denominador. OpenAI publicó diez éxitos, un paper de 249 páginas y los ficheros de Lean, y contó que un token de solución válida costaría alrededor de 2.000 dólares a precios de API de Sol.
Lo que no publicó es cuántos problemas se intentaron en total, cuánta guía humana llevó cada uno y qué costó el conjunto de intentos fallidos. Sin eso, la tasa de acierto es una selección de los mejores resultados, no una medida.
La prueba creíble sería una lista de problemas abiertos comprometida de antemano, donde cada fallo cuente. Nadie ha propuesto todavía correr esa prueba.
Por qué importa
Para una empresa que usa IA a diario esto no va de matemáticas. Va de cómo leer los anuncios de los laboratorios.
El patrón se repite: se enseña un resultado espectacular con un modelo que aún no puedes contratar, y a las 48 horas alguien saca algo parecido con el modelo que ya tienes pagado. Antes de rediseñar un proceso porque salió un modelo nuevo, mira si tu problema tiene un verificador automático. Si lo tiene, cualquier modelo decente en bucle te vale y lo que decide es el coste por intento. Si no lo tiene, ningún modelo te va a resolver la parte difícil, que es saber si el resultado está bien.
Relacionado
