Annotation ist das Versehen von Trainingsdaten mit der Angabe, was darauf zu sehen oder zu lesen ist. Ohne diese Angabe kann ein Modell beim Supervised Learning nicht lernen, weil ihm die richtige Antwort fehlt, an der es sich messen könnte.
- Annotation (Trainingsdaten)
Das Versehen von Trainingsdaten mit der Angabe, was darauf zu sehen oder zu lesen ist.
Beispiel: „Die Annotation von 40.000 Produktfotos dauerte länger als das gesamte Training.“Wie es aussieht: ein Wort je Bild, ein Rahmen um jeden Gegenstand, eine Umrandung Pixel für Pixel, eine Bewertung je Antwort. Je genauer die Angabe, desto höher der Aufwand.
Gebräuchlich ist auch das englische Labeling, und wer die Daten anlegt, heißt Annotator oder Labeler.
Wer die Arbeit macht
Menschen, meist viele und meist nicht die Fachleute. Große Datensätze entstehen in Auftragsarbeit, oft in Ländern mit niedrigen Löhnen, und das ist einer der unterschätzten Kostenblöcke der KI-Entwicklung. Bei fachlichen Daten geht das nicht: Wer Röntgenbilder oder Bauzeichnungen beschriften lässt, braucht dafür Leute mit Ausbildung und zahlt entsprechend.
Was dabei schiefgeht
Uneinigkeit. Zwei Leute, die dasselbe Bild beschriften, kommen bei schwierigen Fällen auf unterschiedliche Angaben, und das Modell lernt diese Unschärfe mit. Gegenmittel sind klare Anleitungen, Mehrfachbearbeitung derselben Fälle und eine Messung, wie oft zwei Bearbeiter übereinstimmen. Fehlt das, steckt im Datensatz ein Rauschen, das sich später kaum vom Modellfehler trennen lässt.
Was das für eigene Daten bedeutet
Dass der Aufwand vor dem Training liegt und nicht darin. Wer ein Modell auf eigene Fälle anpassen will, siehe Fine-Tuning, braucht einige hundert bis einige tausend saubere Beispiele. Die zusammenzustellen ist die eigentliche Arbeit, und sie lässt sich nicht auslagern, solange die Fachlichkeit im eigenen Haus sitzt.
Was eine brauchbare Anleitung enthält
Die Grenzfälle. Eine Anleitung, die nur sagt, was ein Treffer ist, lässt die Hälfte der Arbeit offen; gebraucht werden Beispiele für beide Seiten und eine Regel für den Zweifelsfall, etwa eine eigene Kategorie dafür. Diese Zweifelsfälle sind später die wertvollsten Daten, weil an ihnen die Qualität des Modells hängt.