Ground Truth ist der als richtig geltende Bezugswert, an dem die Ausgabe eines KI-Modells gemessen wird. Ohne ihn lässt sich nicht sagen, ob ein Modell gut arbeitet; mit ihm wird aus einem Eindruck eine Zahl.
- Ground Truth
Der als richtig geltende Bezugswert, an dem die Ausgabe eines KI-Modells gemessen wird.
Beispiel: „Als Ground Truth dienten 200 von Hand geprüfte Rechnungen, an denen die Auswertung gemessen wurde.“Auch: Referenzwahrheit. Der Ausdruck stammt aus der Fernerkundung, wo er wörtlich das meinte, was man am Boden nachgemessen hat, statt es aus der Luft zu schätzen.
Abgrenzung zum Label: Das Label gehört zum Trainingsbeispiel, die Ground Truth zur Prüfung. Technisch ist es dasselbe, im Zweck liegt der Unterschied.
Woher sie kommt
Aus menschlicher Arbeit oder aus einer verlässlicheren Messung.
Das Glossar von Google Cloud beschreibt sie als Referenz, mit der Systemschätzungen verglichen werden, und nennt im maschinellen Lernen den gelabelten Trainingssatz für überwachte Verfahren.
Wo sie trügt
Wenn sie selbst strittig ist. Bei Rechtschreibung gibt es eine richtige Antwort, bei der Frage, ob eine Supportanfrage dringend ist, nicht unbedingt. Eine Ground Truth, über die zwei Fachleute uneins sind, taugt als Maßstab nur eingeschränkt, und die gemessene Treffsicherheit sagt dann mehr über die Festlegung als über das Modell.
Warum sie vor dem Projekt feststehen muss
Weil sie sonst nachträglich zurechtgebogen wird. Wer erst das Modell baut und dann den Maßstab festlegt, legt ihn so fest, dass das Modell gut aussieht. In unseren Projekten entsteht die Prüfmenge deshalb vor der ersten Zeile und wird nicht mehr angefasst.
Dasselbe gilt beim Einsatz fertiger Sprachmodelle. Bevor jemand beurteilt, ob ein Prompt besser geworden ist, braucht es eine Handvoll Fälle mit festgehaltener richtiger Antwort. Ohne sie bleibt jede Verbesserung eine Behauptung.
Zwanzig Fälle genügen für den Anfang, wenn sie die Bandbreite abdecken: ein paar einfache, ein paar schwierige und zwei, bei denen auch Menschen zögern. Wächst die Sammlung mit jedem entdeckten Fehlerfall weiter, wird sie mit der Zeit zum wertvollsten Teil des Vorhabens.