La startup francesa Kog dice haber sacado 3.000 tokens de salida por segundo en una sola petición sobre un nodo de ocho AMD MI300X. Sin decodificación especulativa, con lote de tamaño 1 y precisión FP16, o sea, en el escenario menos favorable de todos. En ocho Nvidia H200 la cifra baja a 2.100.
Puntos clave
- 3.000 tokens/s por petición en 8× AMD MI300X y 2.100 en 8× Nvidia H200.
- Lote de tamaño 1, FP16, sin decodificación especulativa. Nada de trucos que inflen la cifra.
- Modelo de demostración: Laneformer 2B, 2.300 millones de parámetros y 50% en HumanEval, publicado en abierto.
- Contexto de 4.096 tokens hoy, con 128k en desarrollo.
- 5 millones de dólares levantados con Varsity VC y el programa Deep Tech de Bpifrance. Equipo de 11 personas.
Qué hacen distinto
El motor de Kog es lo que llaman un monokernel: un único programa de GPU que se queda residente en la tarjeta, en lugar de lanzar y cerrar cientos de kernels por token. Cada uno de esos lanzamientos cuesta microsegundos, y en generación token a token esos microsegundos son la mayoría del tiempo.
Está escrito a mano en CUDA con ensamblador PTX en Nvidia, y en HIP con ensamblador de la ISA CDNA en AMD. Es el nivel más bajo al que se puede bajar sin fabricar el chip. También han montado su propia capa de comunicación entre GPUs, KCCL, con latencia por debajo de 3 microsegundos en operaciones all-reduce, y una arquitectura, Laneformer, con paralelismo tensorial retardado para solapar comunicación con cálculo útil.
La tesis técnica está en un número que dan ellos mismos: alcanzan un 36% de utilización del ancho de banda de memoria en el modelo de 2B. La generación de tokens está limitada por memoria, no por potencia de cálculo, y ahí es donde dicen que los motores actuales dejan rendimiento sin usar.
Es la misma pelea que OpenAI resolvió con Cerebras para su modo Ultrafast, llegando a 750 tokens por segundo. La diferencia es el camino: OpenAI cambió de silicio, Kog dice llegar más lejos sobre GPUs de datacenter estándar.
Las salvedades que hay que leer
El modelo de la demostración tiene 2.300 millones de parámetros. Es pequeño, y en inferencia el tamaño lo cambia todo: los cuellos de botella de un 2B y los de un 70B no se parecen. Kog dice que en septiembre desplegará su primer modelo grande a 10 veces la velocidad, y esa es la cifra que habrá que mirar de verdad.
El contexto de 4.096 tokens también es corto para casi cualquier uso real de 2026. Los 128k están en desarrollo, según ellos.
Y el 50% en HumanEval del Laneformer 2B es un resultado modesto. La noticia aquí es el motor, no el modelo: la calidad del 2B es casi un detalle, sirve de banco de pruebas para enseñar la velocidad.
Los 5 millones levantados encajan con lo que son: 11 personas apostando por optimización a bajo nivel, con Bpifrance y el sello French Tech 2030 detrás. El fundador, Gaël Delalleau, viene de física del estado sólido en la Politécnica y de seguridad ofensiva, que es un perfil coherente con reescribir kernels en ensamblador.
Por qué importa
Para casi cualquier empresa esto todavía no se toca. Es infraestructura, y aún sin validar en modelos grandes.
Importa por lo que señala. Si un equipo de 11 personas triplica el rendimiento de una GPU estándar reescribiendo la capa de software, el margen de mejora en inferencia sin comprar hardware nuevo es enorme. Y eso presiona el precio del token por abajo, que es lo que acaba llegando a tu factura de API.
El otro dato que merece atención es que la mejor cifra sale en AMD, no en Nvidia. Si el software deja de ser la ventaja de Nvidia, la conversación sobre qué GPU comprar cambia. Ahí es donde esto puede acabar tocando a quien nunca vaya a instalar el motor de Kog.
Relacionado
