ServiceNow a lancé EVA (Evaluation of Voice Agents), un nouveau cadre pour l’évaluation des agents IA basés sur la voix. Cette solution a été développée pour mesurer à la fois la précision et l’expérience utilisateur lors des conversations.
EVA – nouveau cadre pour l’évaluation des agents basés sur la voix
EVA est un cadre d’évaluation global qui analyse des conversations vocales complètes et multi-étapes. Il fournit deux scores principaux : EVA-A, qui mesure la précision dans la réalisation des tâches, et EVA-X, qui évalue la qualité de l’expérience utilisateur. Ensemble, ils offrent une compréhension plus complète de la performance réelle d’un agent IA en pratique.
Ce cadre se distingue en combinant l’évaluation à la fois de la résolution des tâches et de la qualité de la conversation dans un seul modèle. Les méthodes précédentes évaluaient souvent ces aspects séparément, ce qui rendait difficile d’obtenir une vue d’ensemble de la performance.
EVA inclut également un jeu de données comportant 50 scénarios issus du secteur aéronautique, conçu pour tester différents types d’interactions conversationnelles et des besoins utilisateurs complexes.
Source : Hugging Face
Lire aussi : Meta AI introduit les Hyperagents pour l’auto-amélioration
