ServiceNow ha lanzado EVA (Evaluation of Voice Agents), un nuevo marco para la evaluación de agentes de IA basados en voz. La solución está desarrollada para medir tanto la precisión como la experiencia del usuario en las conversaciones.
EVA – nuevo marco para la evaluación de agentes basados en voz
EVA es un marco integral de evaluación que analiza conversaciones completas y de múltiples pasos por voz. Ofrece dos puntuaciones principales: EVA-A, que mide la precisión en la resolución de tareas, y EVA-X, que evalúa la calidad de la experiencia del usuario. Juntas, proporcionan una comprensión más completa de cómo un agente de IA realmente funciona en la práctica.
El marco se destaca por combinar la evaluación tanto de la resolución de tareas como de la calidad de la conversación en un solo modelo. Métodos anteriores a menudo evaluaban estos aspectos por separado, lo que dificultaba obtener una visión integral del rendimiento.
EVA también incluye un conjunto de datos con 50 escenarios de la industria aeronáutica, desarrollado para probar distintos tipos de interacciones conversacionales y necesidades complejas de los usuarios.
Fuente: Hugging Face
Lee también: Meta AI presenta los Hiperagentes para la auto-mejora
