ServiceNow lançou o EVA (Evaluation of Voice Agents), um novo framework para avaliação de agentes de IA baseados em voz. A solução foi desenvolvida para medir tanto a precisão quanto a experiência do usuário em conversas.
EVA – novo framework para avaliação de agentes baseados em voz
EVA é um framework de avaliação abrangente que analisa conversas completas e em múltiplas etapas por voz. Ele fornece duas pontuações principais: EVA-A, que mede a precisão na resolução de tarefas, e EVA-X, que avalia a qualidade da experiência do usuário. Juntas, essas métricas oferecem uma compreensão mais completa de como um agente de IA realmente performa na prática.
O framework se destaca por combinar a avaliação tanto da resolução de tarefas quanto da qualidade da conversa em um único modelo. Métodos anteriores frequentemente avaliavam esses aspectos separadamente, o que dificultava obter uma visão holística do desempenho.
O EVA também inclui um conjunto de dados com 50 cenários da indústria aeronáutica, desenvolvido para testar diferentes tipos de interações de conversa e necessidades complexas dos usuários.
Fonte: Hugging Face
Leia também: Meta AI introduz Hyperagentes para autoaperfeiçoamento
