Nvidia ha ampliado NVLink Fusion con NVHBM, una memoria de alto ancho de banda que mueve el controlador al die base del propio HBM en lugar de dejarlo dentro del chip de cómputo. El resultado son tres cifras: 30% más ancho de banda, 15% menos consumo y 25% más superficie libre para calcular.
Puntos clave
- 30% más ancho de banda de memoria frente al HBM4E estándar.
- 15% menos de consumo en la parte de memoria.
- 25% más de área disponible en el die de cómputo del XPU, al sacar de ahí el controlador.
- Annapurna Labs, la filial de chips de Amazon, es la primera en trabajar con NVHBM, para su futuro Trainium4.
Qué se ha movido de sitio
En un acelerador de IA convencional, el controlador de memoria vive dentro del chip que hace las cuentas. Ocupa silicio que no calcula nada, solo gestiona el tráfico hacia la memoria.
NVHBM lo traslada al die base de la pila de HBM. Ese espacio liberado, un 25% del área de cómputo, vuelve a lo que se supone que hace un acelerador: multiplicar matrices.
La mejora de ancho de banda y la de consumo salen de lo mismo. Con el controlador pegado a la memoria, el camino que recorre cada dato es más corto, y cada bit movido cuesta menos energía.
Por qué esto le importa a Nvidia ahora
El coste de la memoria le está comiendo el margen. En los resultados presentados esta misma semana, el margen bruto se resiente por el precio del HBM, disputado por todos los fabricantes de aceleradores a la vez.
Una memoria que rinde un 30% más por el mismo silicio es una respuesta directa a ese problema. Y plantearla como implementación estándar disponible desde varios proveedores de memoria, en lugar de un diseño exclusivo, le da a Nvidia margen de negociación con los fabricantes.
El detalle de Amazon
Que el primer socio sea Annapurna Labs es lo más interesante del anuncio.
Annapurna diseña Trainium, el acelerador propio de Amazon, que existe precisamente para depender menos de Nvidia. Y ahora la siguiente generación de ese chip va a llevar memoria diseñada por Nvidia dentro.
Nafea Bshara, vicepresidente de Annapurna, firma la declaración de la nota esperando que la colaboración beneficie a los futuros diseños de infraestructura de AWS. Es el mismo día en que AWS anunció 2 millones de GPUs adicionales de Nvidia.
Competir y comprarse componentes a la vez. Así funciona hoy el mercado de chips de IA.
Por qué importa
Esto no cambia nada en tu empresa esta semana. Es infraestructura de 2027 y 2028.
Lo que sí cuenta es la dirección. NVLink Fusion existe para que otros construyan aceleradores semi-personalizados con piezas de Nvidia dentro, y NVHBM baja el esfuerzo de ingeniería necesario para hacerlo.
Más gente diseñando aceleradores significa más competencia en la capa de silicio en 2028, y ahí es donde puede llegar la bajada de precio de inferencia que hoy no llega, porque la demanda supera al suministro. Vale la pena tenerlo en el radar al planificar contratos de nube a largo plazo: firmar a tres años vista, hoy, es firmar en el peor momento del ciclo.
Fuente original: NVIDIA
Relacionado
