Trainingsdaten sind die Beispiele, aus denen ein KI-Modell seine Regeln ableitet. Beim maschinellen Lernen steht und fällt alles mit ihnen: Was nicht in den Daten vorkommt, kann ein Modell nicht lernen, und was falsch darin steht, lernt es mit.
- Trainingsdaten
Die Beispiele, aus denen ein KI-Modell seine Regeln ableitet.
Beispiel: „In den Trainingsdaten fehlten Rechnungen aus Österreich, und genau die ordnete das Modell falsch ein.“Üblicher Zuschnitt: Der Bestand wird geteilt. Der größere Teil dient dem Training, ein kleinerer bleibt zurück, um das Ergebnis an ungesehenen Fällen zu prüfen. Wer auf denselben Daten trainiert und prüft, misst das Auswendiglernen.
Bei Sprachmodellen: Die Trainingsdaten umfassen große Teile des öffentlich zugänglichen Internets, dazu lizenzierte Bestände. Sie bestimmen den Wissensstand, der bei einem großen Sprachmodell auf ein Datum festliegt.
Was gute Trainingsdaten ausmacht
Menge allein genügt nicht. Entscheidend ist, dass sie die Fälle abdecken, die später vorkommen, und zwar in ähnlicher Verteilung. Ein Modell, das tausend Rechnungen gesehen hat, aber nur eine einzige Gutschrift, erkennt Gutschriften nicht zuverlässig, egal wie groß der Bestand insgesamt war.
Die Fachbegriffe dafür stehen im Machine Learning Glossary von Google: Der Trainingsdatensatz ist der Teil des Bestands, mit dem trainiert wird, ein gelabeltes Beispiel ist eines, das neben seinen Merkmalen auch die richtige Antwort trägt.
Wo die Fehler herkommen
Aus drei Richtungen. Falsch gekennzeichnete Beispiele bringen dem Modell den Fehler bei. Ungleich verteilte Beispiele erzeugen blinde Flecken. Und Beispiele, die einen Zusammenhang enthalten, den niemand bemerkt hat, führen zu Modellen, die scheinbar funktionieren und in der Praxis versagen.
Was das für eigene Projekte heißt
Dass die Arbeit in den Daten steckt und nicht im Verfahren. In unseren Projekten geht bei jedem Vorhaben mit eigenen Daten der weitaus größte Teil der Zeit in das Sammeln, Sichten und Bereinigen. Das Trainieren selbst ist danach oft eine Sache von Stunden.
Für Sprachmodelle gilt das in anderer Form. Dort trainiert niemand selbst, aber die Frage, was in den Trainingsdaten stand, bleibt: Sie bestimmt, welche Sprachen gut beherrscht werden, welche Fachgebiete gut abgedeckt sind und bis zu welchem Datum das Wissen reicht.