A NVIDIA publicou últimos benchmarks de custo de inferência para sua plataforma Blackwell Ultra GB300 NVL72 no blog de desenvolvedores NVIDIA e na GTC 2026, afirmando $0,123 por milhão de tokens a 116 tokens-por-segundo por interatividade do usuário usando software TensorRT-LLM e Dynamo. Esta redução de custo de 35x versus Hopper (H100) estabelece um novo piso para cargas de trabalho de IA agenência de baixa latência em produção e estabelece custo por token—não apenas FLOPs brutos ou consumo de energia sozinho—como a única métrica que importa para TCO de inferência.
O GB300 NVL72 consegue isso através do codesign completo de stack: 72 GPUs Blackwell Ultra, 288GB HBM3e por GPU e uma malha NVLink unificada de 130 TB/s que atua como um único sistema em escala de rack. Para modelos mixture-of-experts como DeepSeek-R1 e DeepSeek V4 Pro, a plataforma oferece 50x maior taxa de transferência por megawatt versus Hopper. A otimização de software contínua é um multiplicador-chave: ajustes de software sozinhos renderam melhorias de 4x de desempenho em GB200 em três meses, com ganhos adicionais conforme os kernels TensorRT-LLM são otimizados para inferência de modelo aberto e fechado.
A NVIDIA enquadra a métrica como 'receita por megawatt': um investimento de $5M em um sistema GB200 NVL72 pode gerar $75M em receita de token, implicando um ROI de 15x. Este posicionamento centrado em economia é voltado para provedores de serviço de inferência (CoreWeave, DeepInfra, Together AI, Fireworks AI) que operacionalizam custos de token imediatamente. Para um mundo restringido por energia, a implicação é que as gerações de hardware agora melhoram em uma única variável: quantos tokens de alto valor por watt.
Para equipes de infraestrutura, isso codifica o que muitos suspeitavam: a geração Blackwell terminou a era de escassez de GPU e iniciou a corrida de otimização de custo de token. Provedores de inferência que ainda não otimizaram stacks de software (DynoSim, estratégias de quantização, roteamento de especialista) em Blackwell estão deixando margem real na mesa. O limiar para inferência de IA agenénica de nível de entrada é agora a capacidade de executar modelos MoE prontos para produção com margens <$0,15/MT.