HumeAI lanza benchmark Real World VoiceEQ; las brechas de calidad de IA de voz persisten más allá de tasas de error de palabra

HumeAI publicó Real World VoiceEQ, un nuevo benchmark diseñado para medir la calidad humana de las interacciones de IA de voz en lugar de métricas estrechas como tasa de error de palabra y latencia. El benchmark evaluó más de 40 modelos de voz propietarios y de código abierto en 15+ dimensiones de evaluación que abarcan Reconocimiento Automático de Voz (ASR), Conversión de Texto a Voz (TTS), Conversión de Voz a Voz (S2S) e Inteligencia de Voz, extrayendo de más de 1 millón de evaluaciones humanas individuales recopiladas en diferentes demografías, estilos de habla y entornos acústicos.

Hallazgo clave: los benchmarks existentes sobreestiman el desempeño del IA de voz del mundo real. El benchmark descubrió que los modelos de voz destacan en tareas de repetición (números de reserva, detalles de cuenta) pero luchan con reconocimiento y expresividad emocional. Lo más crítico es que muchos modelos tratan la voz como impulsada por transcripción, perdiendo señales paralinguísticas como tono, vacilación, énfasis y ritmo—señales que los humanos usan instantáneamente para inferir confianza, sarcasmo y empatía. Un sí vacilante y un sí seguro significan cosas completamente diferentes en contextos bancarios, pero la mayoría de los modelos no pueden distinguirlos.

Los sistemas Speech-to-Speech mostraron la variación más amplia de capacidad en todas las categorías probadas, con algunos reconociendo bien la emoción pero fallando en responder de forma natural. Los benchmarks tradicionales que se acercan a la saturación ocultan modos de falla reales donde el desempeño se degrada dramáticamente con habla acentuada, hablantes superpuestos, ruido de fondo y conversaciones más largas. Los arquitectos que desplieguen agentes de voz en soporte al cliente o atención médica deben probar la solidez paralinguística de los modelos, no solo WER.