Lo que se presentaba como un lanzamiento rutinario de pesos de Nemotron resulta ser un registro de construcción: el equipo del ingeniero de NVIDIA Rick Grandy usó una pila de modelos abiertos existentes de Nemotron para conectar una decoración de Halloween animada y parlante, publicada en Hugging Face bajo el título "nemotron-halloween". Ningún checkpoint de modelo nuevo se publica con el post: la noticia es la arquitectura de referencia, no un lanzamiento.
El sistema, llamado MonsterHouse, encadena cinco componentes de NVIDIA en un pipeline de voz en cascada. NVIDIA Nemotron 3 ASR (el checkpoint de streaming en inglés, nemotron-speech-streaming-en-0.6b.q8_0.gguf) convierte el habla de los visitantes en texto. NVIDIA Nemotron 3.5 Bolt E4B 4GB, un modelo de lenguaje pequeño cuantizado en 4 bits construido para agentes conversacionales, genera cada respuesta, con un checkpoint BF16 mantenido para comparación. NVIDIA Magpie TTS Zeroshot convierte ese texto en habla usando una muestra corta de audio de referencia en lugar de una voz entrenada. NVIDIA Audio2Face-3D mapea el habla resultante sobre un rig facial construido en Autodesk Maya y exportado a Unreal Engine 5. Una capa de visión opcional —NVIDIA Nemotron 3 Nano Omni combinado con YOLO y ByteTrack— lee los fotogramas de la cámara para describir disfraces y rastrear cuántos visitantes hay a la vista. El framework Nemotron Voice Agent de NVIDIA coordina todo el pipeline.
La personalidad provino de un adaptador LoRA, no solo del prompting. Grandy construyó un conjunto de datos de más de 5,000 conversaciones multi-turno, generadas y evaluadas por un LLM grande separado, y luego entrenó adaptadores para cada modelo candidato —algunos en cerca de una hora, otros tardando un par de horas— usando la receta LoRA de NVIDIA NeMo AutoModel para Bolt E4B. Escribe que probó más de una docena de modelos antes de decidirse por Bolt E4B, citando una huella menor que Qwen3 30B-A3B y Qwen 3.6 35B-A3B como rivales que consideró.
El despliegue corre en dos GPU en una sola estación de trabajo, dividido por carga de trabajo: el pipeline de lenguaje y voz en una NVIDIA RTX PRO 6000 Blackwell Max-Q, y el renderizado de Unreal Engine más Audio2Face-3D en una NVIDIA RTX PRO 4000 Blackwell. El post de Grandy indica que la memoria no fue la restricción: lo fue el cómputo, ya que la tasa de fotogramas de la animación tenía que mantenerse estable sin importar lo que estuviera haciendo el pipeline del agente.
El único dato duro de latencia en el post: la mediana de fin-del-habla-a-audio con Bolt Q4 y TTS es de 1.70 segundos, bajando a 0.72 segundos para respuestas en caché, con la salvedad de que la detección de fin de habla actualmente espera 300 ms de silencio antes de activar la generación. Esa brecha es la razón por la que Grandy se apoya en un banco de texto preparado y audio en caché para las líneas comunes —el texto redactado se salta la generación del modelo de lenguaje, y el audio guardado se salta la síntesis por completo, de modo que el personaje puede "empezar a hablar mientras el resto de la frase todavía está en camino".
La capa de visión está explícitamente sin probar en producción. Grandy probó el reconocimiento de disfraces de Nemotron 3 Nano Omni en un video sintético de cinco ovejas disfrazadas, identificando correctamente trajes de pirata, vampiro, bruja, calabaza y fantasma, pero escribe con claridad que "las ovejas son una prueba sintética, no evidencia de una noche de Halloween exitosa" y que todavía falta probar con grupos reales en la entrada de la casa, disfraces y la iluminación nocturna. También señala que la identificación de disfraces de moda y las réplicas ingeniosas "pueden necesitar algo de post-entrenamiento", y que el código de la aplicación propia de MonsterHouse no se está liberando: solo los modelos subyacentes de NVIDIA y el framework Nemotron Voice Agent están disponibles para que otros los ensamblen.
Para los equipos que evalúan pilas de pesos abiertos frente a APIs cerradas, la ruta accionable aquí es estrecha pero concreta: clonar el ejemplo Generic Assistant de Nemotron Voice Agent para obtener una cascada ASR-LLM-TTS funcional con detección de actividad de voz incorporada, sustituir con Bolt E4B usando los perfiles que NVIDIA distribuye para despliegue en una sola GPU, y llevar el seguimiento del estado de la conversación a la capa de aplicación en lugar de pedirle al modelo que lo retenga —esa es la única decisión arquitectónica que Grandy señala como lo que mantuvo coherente a un modelo cuantizado de 4GB a lo largo de un intercambio multi-turno en una sola estación de trabajo.