GPU NVIDIA Rubin añade manejo de descriptor MoE, 2x throughput de dimensión K, 4x softmax para inferencia
NVIDIA detalló nuevas optimizaciones arquitectónicas en el GPU Rubin, llegando a finales de 2026, que apuntan a la eficiencia de inferencia en generación de tokens y procesamiento de contexto largo. El Tensor Memory Accelerator (TMA) de Rubin ahora soporta manejo de descriptor MoE (mixture-of-experts) unificado en tiempo de ejecución, eliminando descriptores de memoria separados para cada experto. Esto reduce el overhead de cómputo de metadatos conforme los modelos escalan a miles de expertos, liberando ciclos de GPU para el trabajo real de inferencia en lugar de la logistica del movimiento de datos.
Rubin duplica el throughput de la dimensión K en operaciones de matriz Tensor Core, permitiendo que dos iteraciones de bucle en Rubin completen el mismo trabajo que requería cuatro bucles en Blackwell. Esto mejora el rendimiento en núcleos limitados por throughput, memoria y latencia y beneficia las fases de procesamiento de contexto y decodificación. Además, las operaciones softmax en mecanismos de atención ahora alcanzan hasta 4x throughput versus Blackwell, con Rubin manteniendo la aceleración exponencial 2x de Blackwell Ultra mientras añade capacidad softmax adicional 2x—crítica para modelos de contexto largo que procesan hasta 1 millón de tokens.
Para arquitectos de infraestructura, estas optimizaciones importan porque mantienen los GPUs Rubin completamente utilizados durante cargas de trabajo de inferencia donde los modelos MoE y el razonamiento de contexto largo dominan. Cada ciclo de GPU liberado y ganancia de eficiencia a nivel de token se traduce directamente en menor costo por token a hiperescala. Conforme la IA de agentes y modelos de razonamiento empujan la inferencia para convertirse en la carga de trabajo dominante en fábricas de IA, estas refinaciones arquitectónicas desplazan el cuello de botella lejos del cómputo y hacia el ancho de banda de memoria y latencia—la superficie de optimización restante.