Eine Evaluation ist das planmäßige Messen, wie gut ein KI-System eine bestimmte Aufgabe erledigt. Gemessen wird gegen einen festen Satz von Testfällen mit bekanntem Soll, und zwar wiederholt, damit aus einzelnen Antworten eine belastbare Aussage wird. Im Alltag heißt das Ganze meist kurz Eval.
- Evaluation (KI)
Das planmäßige Messen, wie gut ein KI-System eine bestimmte Aufgabe erledigt.
Beispiel: „Die Evaluation lief über 120 echte Anfragen, und der neue Prompt lag in 94 von ihnen vorn.“Woraus sie besteht: Testfälle, ein Soll je Fall, ein Maß für die Abweichung und ein Protokoll der Durchläufe. Das Soll heißt in der Fachsprache Ground Truth.
Abgrenzung zum Benchmark: Ein Benchmark vergleicht Modelle an öffentlichen Aufgaben. Eine Evaluation prüft das eigene System an den eigenen Fällen und ist deshalb für eine Kaufentscheidung meist aussagekräftiger.
Wie bewertet wird
Drei Verfahren sind üblich. Der harte Vergleich, wo es eine richtige Antwort gibt: Kategorie getroffen oder nicht, Zahl richtig oder falsch. Die Bewertung durch Menschen, die zwei Antworten nebeneinander lesen und die bessere wählen. Und die Bewertung durch ein zweites Modell, das anhand von Kriterien benotet; das ist schnell und billig, braucht aber selbst eine Prüfung gegen menschliche Urteile, sonst messen zwei Modelle ihre gemeinsame Vorliebe.
Warum ein Durchlauf nicht genügt
Weil dieselbe Eingabe verschiedene Antworten hervorbringen kann. Ein Unterschied zwischen zwei Prompt-Fassungen ist erst dann ein Unterschied, wenn er über mehrere Durchläufe stehen bleibt. Für eine erste Aussage reichen in der Praxis 30 bis 50 Fälle bei drei Durchläufen; darunter messen vor allem Zufall und Tagesform.
Was eigene Testfälle wert sind
Mehr als jede öffentliche Zahl. Sie bestehen aus echten Anfragen aus dem eigenen Betrieb, enthalten die Randfälle des Hauses und altern nicht, wenn ein neues Modell erscheint. Einmal gesammelt, lässt sich damit in einer halben Stunde beantworten, was eine Modellankündigung für die eigene Arbeit bedeutet. Der Aufwand fällt einmal an und zahlt sich bei jedem Wechsel erneut aus, weil die Entscheidung dann auf einer gemessenen Zahl beruht.