La B200 de Nvidia llega a GTC: Blackwell está hecha para inferencia

En GTC 2024, la conferencia de developers de Nvidia en San Jose, la empresa presentó su próxima GPU, la B200, construida sobre la nueva arquitectura Blackwell. Los números de la propia Nvidia: 4 veces el rendimiento de entrenamiento de la Hopper H100, hasta 30 veces el de inferencia y hasta 25 veces más eficiencia energética. Son claims de vendor todavía no verificados por terceros, pero las specs de abajo son concretas.

Dos dies que actúan como un chip

La B200 concentra unos 1.600 milímetros cuadrados de procesador en dos dies de silicio de 800 mm², unidos en el mismo package por una conexión de 10 terabytes por segundo, de modo que se comportan como un solo chip de 208 mil millones de transistores. Los dies se fabrican con el proceso N4P de TSMC, que según Nvidia da un 6% de rendimiento más que el N4 usado en las GPU Hopper como la H100.

La memoria es donde el salto se ve fácil: 192 GB de HBM3e, frente a los 141 GB de la H200, y el ancho de banda se duplica a 8 TB/s desde los 4.8 TB/s. La memoria de alto ancho de banda es cada vez más el límite de latencia y consumo en los modelos grandes de IA, así que es el tipo de número que los equipos de infraestructura miran de cerca. La arquitectura lleva el nombre de David Harold Blackwell, el primer black en ingresar a la U.S. National Academy of Sciences.

Menos bits por número

El proceso de fabricación hizo parte del trabajo, pero Nvidia atribuye la mayor parte de las ganancias de Blackwell a hacer cálculos con números más chicos. En IEEE Hot Chips el año pasado, Bill Dally, chief scientist de Nvidia, dijo que la mayor parte de las ganancias de rendimiento en IA de la compañía habían venido de usar cada vez menos bits para representar números en los cálculos.

Hopper introdujo lo que Nvidia llama transformer engine: hardware que inspecciona cada capa de la red neuronal y decide si puede correrla con menor precisión, hasta floating point de 8 bits. Blackwell da un paso más: sus unidades manejan matrix math en floating point de 4 bits, y pueden aplicarse a partes de una capa en vez de capas enteras, un nivel de granularidad que, según Ian Buck, VP de HPC de Nvidia, no tenían antes. Los números más chicos se computan más rápido y barato, y ocupan menos memoria y silicio.

De una card a un SuperPOD

La historia de escala se apoya en NVLink, ya en su quinta generación: 1.8 TB/s de ancho de banda bidireccional entre GPUs, el doble que en Hopper, con comunicación de alta velocidad entre hasta 576 GPUs. Las piezas de construcción son los superchips Grace Blackwell, una CPU Grace y dos GPU Blackwell en un solo módulo conectados por NVLink. Una DGX GB200 incluye 36 de esos superchips, y ocho DGX GB200 arman un DGX SuperPOD de 576 GPUs al que Nvidia dice que llega a 11.5 exaflops en precision de 4 bits, escalando con Quantum InfiniBand hasta decenas de miles de GPUs.

Blackwell también suma un engine de confiabilidad dedicado que, según Nvidia, usa diagnósticos basados en IA para predecir problemas de hardware, con el objetivo de que los clusters enormes de entrenamiento corran semanas sin interrupciones. Nvidia dice que los SuperPODs y otros sistemas Blackwell estarán disponibles a fines de este año, y además anunció GR00T, un foundation model para robots humanoides.

Por qué importa

Para un equipo que corre modelos en la nube o está evaluando GPU on-prem, el número que de verdad importa es el costo por token, y Nvidia todavía no publicó precios. Si los resultados de inferencia en 4 bits se sostienen en workloads de producción, ese número podría bajar de forma importante, pero "hasta 30x" es un techo medido en condiciones específicas, y algunos ya lo tratan como el número de marketing al que hay que medirle la palabra a Nvidia. El hardware llega a fines de 2024, así que el movimiento práctico es esperar a los deployments reales y a los benchmarks de terceros antes de comprometer presupuesto.