NVIDIA publicó los últimos puntos de referencia de costos de inferencia para su plataforma Blackwell Ultra GB300 NVL72 en el blog de desarrolladores NVIDIA y en GTC 2026, afirmando $0.123 por millón de tokens a 116 tokens por segundo por interactividad del usuario utilizando software TensorRT-LLM y Dynamo. Esta reducción de costos de 35x versus Hopper (H100) establece un nuevo piso para cargas de trabajo de IA agenética de baja latencia en producción y establece costo por token—no solo FLOPS brutos o consumo de energía solo—como la única métrica que importa para TCO de inferencia.
El GB300 NVL72 logra esto a través del codiseño de pila completa: 72 GPUs Blackwell Ultra, 288 GB HBM3e por GPU y una estructura NVLink unificada de 130 TB/s que actúa como un único sistema a escala de rack. Para modelos mixture-of-experts como DeepSeek-R1 y DeepSeek V4 Pro, la plataforma ofrece 50x mayor rendimiento por megavatio versus Hopper. La optimización de software continuo es un multiplicador clave: los ajustes de software solo han rendido mejoras de rendimiento de 4x en GB200 en tres meses, con ganancias adicionales a medida que se optimizan los kernels TensorRT-LLM para inferencia de modelos de código abierto y cerrado.
NVIDIA enmarca la métrica como 'ingresos por megavatio': una inversión de $5M en un sistema GB200 NVL72 puede generar $75M en ingresos de token, implicando un ROI de 15x. Este posicionamiento centrado en economía está dirigido a proveedores de servicios de inferencia (CoreWeave, DeepInfra, Together AI, Fireworks AI) que operacionalizan costos de token de inmediato. Para un mundo restringido por energía, la implicación es que las generaciones de hardware ahora mejoran en una sola variable: cuántos tokens de alto valor por vatio.
Para equipos de infraestructura, esto codifica lo que muchos sospechaban: la generación Blackwell terminó la era de escasez de GPU e inició la carrera de optimización de costos de token. Los proveedores de inferencia que aún no han optimizado pilas de software (DynoSim, estrategias de cuantización, enrutamiento de expertos) en Blackwell están dejando margen real en la mesa. El umbral para inferencia de IA agenética a nivel de entrada es ahora la capacidad de ejecutar modelos MoE listos para producción con márgenes <$0.15/MT.