ServiceNow hat EVA (Evaluation of Voice Agents) vorgestellt, ein neues Framework zur Bewertung sprachbasierter KI-Agenten. Die Lösung wurde entwickelt, um sowohl die Genauigkeit als auch die Benutzererfahrung in Gesprächen zu messen.
EVA – neues Framework zur Bewertung sprachbasierter Agenten
EVA ist ein ganzheitliches Bewertungsframework, das vollständige, mehrstufige Sprachkonversationen analysiert. Es liefert zwei Hauptwerte: EVA-A, das die Genauigkeit bei der Aufgabenerfüllung misst, und EVA-X, das die Qualität der Benutzererfahrung bewertet. Zusammen bieten diese eine umfassendere Einsicht darin, wie ein KI-Agent in der Praxis tatsächlich performt.
Das Framework zeichnet sich dadurch aus, dass es die Bewertung von Aufgabenerfüllung und Gesprächsqualität in einem Modell kombiniert. Frühere Methoden haben diese Aspekte oft getrennt bewertet, was es schwierig machte, ein ganzheitliches Bild der Leistung zu erhalten.
EVA beinhaltet außerdem einen Datensatz mit 50 Szenarien aus der Luftfahrtbranche, der entwickelt wurde, um verschiedene Arten von Gesprächsinteraktionen und komplexe Benutzerbedürfnisse zu testen.
Quelle: Hugging Face
Lesen Sie auch: Meta AI stellt Hyperagenten zur Selbstverbesserung vor
