Investigadores de Google DeepMind, la Universidad de Edimburgo y la Universidad de Waterloo publicaron un artículo el 20 de agosto formalizando un punto ciego en el enrutamiento multimodelo: el costo de la propia señal de enrutamiento. El artículo, "Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation", mapea el problema a la Caja de Pandora—el problema económico de búsqueda óptima bajo inspección costosa—y deriva políticas en forma cerrada que indican a los arquitectos cuándo ejecutar un estimador costoso y cuándo omitirlo.
La brecha es real e ignorada rutinariamente. Los marcos existentes como RouteLLM, FrugalGPT y diseños en cascata tratan el enrutamiento como casi gratuito. Una búsqueda de embedding agrega aproximadamente 5 ms; un clasificador de ML agrega 50–100 ms. Ambos son pequeños en relación a una llamada de inferencia de 500–2.000 ms. Pero cuando el estimador es un modelo fine-tuned que lee trazas de razonamiento parcial o resultados de recuperación, su costo computacional se aproxima al costo de ejecutar un especialista por sí solo—haciendo que la sobrecarga de enrutamiento sea material.
El artículo establece un trade-off claro: estimadores económicos (basados en embedding) son rápidos y ruidosos; estimadores costosos (fine-tuned con recuperación o acceso a trazas) son precisos y costosos. Usando un modelo de señal Gaussiana, los autores derivan expresiones de value-of-information (VoI) en forma cerrada. Para cada consulta, estas expresiones indican al enrutador si la mejora esperada del estimador costoso excede su costo. Si es sí, refinar; si no, enrutar en la señal económica. La versión centralizada se llama Pandora's Router.
Los experimentos abarcan tres escenarios: benchmarks multi-LLM, especialistas aumentados con recuperación y LLMs con presupuestos de tiempo de inferencia variables. Pandora's Router iguala la estimación exhaustiva—ejecutando el estimador costoso en cada consulta—mientras lo invoca sustancialmente menos frecuentemente. La variante descentralizada, Pandora's Bidder, cambia a una estructura de mercado: los especialistas deciden independientemente si auto-evaluarse antes de ofertar para reclamar una consulta. Esto se adapta a flotas heterogéneas con equipos separados poseyendo modelos separados. Los resultados muestran que cuando las estimaciones son precisas, el razonamiento de VoI mejora la asignación. Cuando son ruidosas—común durante ramp-up, cambio de dominio o tipos de consulta dispersos—un especialista estratégico puede explotar el razonamiento de VoI para mejorar su utilidad a costa de otros. Esa es una preocupación de equidad y estabilidad.
El contexto de escala agudiza el problema. El gasto empresarial en LLM alcanzó $8,4 mil millones en la primera mitad de 2025, con cargas de trabajo de agentes consumiendo $5–8 por tarea en tarifas de API—los agentes realizan 3–10× más llamadas de LLM que chatbots de turno único. Los diferenciales de costo entre tiers van de 100–300×. Amazon Bedrock precifica Llama 3.1 Instruct (70B) a $0,72 por millón de tokens versus $0,10 para Llama 3.2 (1B), una proporción de 7,2×. En el mismo hardware H100, el modelo 70B tarda 15× más tiempo en generar 100 tokens que el 1B. Las mejoras incrementales de enrutamiento se componen rápidamente en ese rango.
Para arquitectos construyendo sistemas multimodelo con pipelines RAG, escalado en tiempo de inferencia o flotas de agentes con modelos específicos para herramientas, la conclusión es directa: antes de agregar un clasificador costoso o estimador fine-tuned a tu capa de enrutamiento, verifica que el costo por consulta esté por debajo de la ganancia esperada de una mejor asignación. El marco VoI proporciona la aritmética. La variante descentralizada advierte a los equipos que contabilicen el comportamiento estratégico cuando los especialistas controlan su propia auto-evaluación.