Newsletter
Tag
La inferencia, el coste oculto de la IA: servir modelos a escala, chips especializados y la economía de cada respuesta.
La startup francesa Kog dice haber sacado 3.000 tokens de salida por segundo en una sola petición sobre un nodo de ocho AMD MI300X. Sin decodificación…
Google ha publicado en abierto TPU Raiden, la biblioteca que mueve la caché de atención entre sus chips durante la inferencia. Va con licencia Apache 2.0…
AMD ha comprado Taalas, una startup de Toronto que fabrica chips de inferencia con una idea poco ortodoxa: en lugar de cargar los pesos del modelo desde…
Etched, la startup de chips de IA fundada por tres ex alumnos de Harvard, dobla su valoración hasta los 10.300 millones de dólares con una apuesta que…
Fireworks ha levantado 1.505 millones de dólares a una valoración de 17.500 millones, según [el anuncio publicado por la propia…
SambaNova, fabricante de chips de inferencia de IA, ha captado 1.000 millones de dólares en el primer cierre de una ronda Serie F que la valora en 11.000…
DeepSeek, el laboratorio chino que sacudió el sector con su modelo R1, está diseñando su propio chip de inferencia para depender menos de Nvidia y…
Hugging Face y Cerebras han montado un asistente de voz que responde en tiempo real, y el truco no está en el micrófono ni en el altavoz. Está en el…
OpenAI ya no quiere depender solo de Nvidia para mover sus modelos. El 24 de junio, junto a Broadcom, presentó Jalapeño, su primer chip propio. No es…
Etched acaba de salir del sigilo con un ataque directo al punto mas caro de la IA: la inferencia, es decir, el coste de que un modelo responda millones…
Google DeepMind ha publicado DiffusionGemma, un modelo open source experimental que cambia cómo se genera texto. En lugar de predecir un token detrás de…