Google ha publicado en abierto TPU Raiden, la biblioteca que mueve la caché de atención entre sus chips durante la inferencia. Va con licencia Apache 2.0 en GitHub, y es la pieza que le faltaba a sus TPU para que alguien de fuera pudiera servir modelos grandes en ellas sin reinventar la fontanería.
Puntos clave
- Raiden gestiona la transferencia de KV-cache, la memoria intermedia que un modelo mantiene mientras genera una respuesta larga.
- Cubre cuatro casos: traspaso directo entre chips de una misma máquina, traspaso entre máquinas TPU por red, descarga de bloques a la RAM del host y un modo de memoria compartida para que la caché persista en DRAM.
- El equivalente en el mundo Nvidia es NIXL, que ya viene integrado en vLLM y en la plataforma Dynamo, y que además soporta RDMA, NVMe y S3. Raiden está acotado a TPU.
- SemiAnalysis fue quien detectó la publicación del repositorio.
Por qué una biblioteca de caché es una noticia estratégica
Suena a detalle de ingeniería y es una pieza de negocio. Cuando sirves un modelo grande con muchas peticiones a la vez, el cuello de botella deja de ser el cálculo y pasa a ser mover la caché de atención de un sitio a otro sin duplicarla ni recalcularla. Quien no resuelve eso bien paga el doble en hardware para el mismo tráfico.
Nvidia lleva años resolviéndolo, y no solo con chips. Su ventaja real es que todo el software de servido asume que por debajo hay una GPU suya: vLLM, SGLang, TensorRT, el ecosistema entero. Ese es el foso del que se habla siempre y del que casi nadie enseña la pieza concreta.
Al abrir Raiden, Google quita una de las excusas técnicas para no considerar TPU fuera de Google Cloud. No la quita entera, porque Raiden hace una cosa y NIXL hace esa y varias más. Pero mueve la conversación de "no hay software" a "hay menos software".
El contexto financiero explica la prisa
SemiAnalysis publicó esta semana un análisis con cifras que aclaran la jugada. Calcula un backlog de sistemas TPU por encima de 150.000 millones de dólares y proyecta unos 120.000 millones en ventas de TPU al cierre de 2027, además de unos 73.000 millones de ingresos de terceros en infraestructura de IA. Google Cloud creció un 82% en el segundo trimestre de 2026.
El dato que mejor explica el movimiento es otro: más del 20% de los envíos de TPU previstos entre el tercer trimestre de 2026 y el cuarto de 2027 van directos a Anthropic, con cientos de miles de unidades ya alquiladas y más comprometidas también con Meta. Google está vendiendo cómputo a los competidores directos de Gemini, y le sale a cuenta.
Ahí está la tensión que la propia SemiAnalysis señala sin rodeos: la división de nube va mejor que nunca justo mientras DeepMind pierde terreno. Vender la infraestructura es un negocio distinto de ganar la carrera de modelos, y Google parece haber decidido cuál de los dos prioriza.
Por qué importa
Para una empresa que ya paga inferencia, esto no cambia nada mañana. Pero cambia algo a doce meses: cuanto más software de servido funcione en algo que no sea una GPU de Nvidia, más presión de precio hay en la única partida de tu factura de IA que crece sola con el uso.
El coste de inferencia es el que se te come el margen cuando una automatización pasa de prueba interna a proceso diario. La competencia real en ese tramo no la trae un modelo nuevo, la trae que existan dos ecosistemas de hardware capaces de servirlo. Raiden es un paso pequeño en esa dirección, publicado por el único actor que fabrica sus propios chips y además vende la nube.
Relacionado
