La CFO de OpenAI propone medir la IA por 'inteligencia útil por dólar', no por tokens

La CFO de OpenAI propone medir la IA por 'inteligencia útil por dólar', no por tokens
Fuente: openai.com

La directora financiera de OpenAI, Sarah Friar, ha publicado un marcador para juzgar si el gasto en IA de una empresa merece la pena, y su idea central se resume en una frase: "inteligencia útil por dólar". En su escrito, Friar propone dejar de mirar el coste por token y empezar a mirar cuánto cuesta producir un resultado que de verdad sirva.

Es un cambio de vara de medir que llega en buen momento. Muchas empresas pasaron el último año gastando en IA sin mirar la factura, y ahora toca justificar el retorno.

Las cuatro preguntas del marcador

Friar reduce la evaluación a cuatro preguntas:

  • ¿La IA está completando trabajo que importa?
  • ¿Cuánto cuesta cada tarea que sale bien?
  • ¿Se puede depender del resultado, o hay que revisarlo siempre?
  • ¿El valor crece cuando lo escalas?

La pregunta económica de fondo, según Friar, es si el valor del trabajo que la IA completa crece más rápido que el coste de producirlo. Y ahí es donde el coste por token engaña: un modelo barato por token puede salir caro si falla la mitad de las veces y alguien tiene que rehacer el trabajo. Lo que cuenta es el coste completo de un resultado exitoso frente al valor que ese resultado genera.

El ejemplo, y la trampa

Para ilustrarlo, OpenAI recurre al benchmark de programación DeepSWE, donde su modelo Sol puntúa 2,8 puntos por encima de Fable 5, el modelo tope de Anthropic, con una factura de API estimada un 36,2% menor. El mensaje es claro: más acierto y menos coste por tarea terminada.

Conviene leerlo con distancia. El marcador lo firma la CFO de un laboratorio frontera, y está inclinado a su favor: gradúa la IA por trabajo terminado en vez de por precio, lo que vende un modelo caro como la mejor opción en valor. El argumento es sólido, pero no es neutral. Es la misma lógica que Databricks resume como pasar del "tokenmaxxing" al "valuemaxxing", y que Nvidia empaqueta como inteligencia por dólar. Todo el sector empuja a la vez hacia la misma forma de contar, y a todos les conviene.

El contexto: la resaca del gasto en IA

Este marcador no sale de la nada. Después de dos años comprando IA por miedo a quedarse atrás, muchas empresas están mirando la factura y moviendo trabajo a modelos más baratos. La pregunta ya no es "¿tenemos IA?", es "¿esta IA me devuelve más de lo que me cuesta?". El escrito de Friar es la respuesta de OpenAI a esa resaca, y llega justo cuando los modelos abiertos y baratos aprietan por abajo.

El riesgo del marcador es que se use para justificar lo caro. "Nuestro modelo cuesta más por token pero acierta más, así que sale más barato por tarea" puede ser cierto o puede ser una excusa. La única forma de saberlo es medirlo en tu propio caso, con tus tareas y tus datos, sin fiarte del benchmark de nadie.

Por qué importa

Quitando el interés de OpenAI, el marco es útil de verdad para quien decide en una empresa. Si estás metiendo IA en tus procesos, la pregunta correcta no es cuánto cuesta el token ni qué modelo puntúa más alto en un ranking. Es cuánto te cuesta cada tarea que sale bien de principio a fin, cuántas veces hay que repetirla, y si el ahorro crece cuando lo aplicas a más volumen.

Un ejemplo aterrizado: si automatizas el procesado de facturas, no midas el coste por documento. Mide el coste por factura procesada sin que nadie tenga que corregirla, incluidas las que el modelo falla y hay que rehacer a mano. Ese número, y no el precio de lista del modelo, es el que te dice si la IA te está ahorrando dinero o solo moviéndolo de sitio.


Relacionado