Validierungsdaten sind der Teil der Daten, an dem während der Entwicklung geprüft wird, ob eine Einstellung etwas verbessert. Sie liegen zwischen den Trainingsdaten, aus denen gelernt wird, und den Testdaten, die bis zum Schluss unberührt bleiben.
- Validierungsdaten (Validation Set)
Der Teil der Daten, an dem während der Entwicklung Einstellungen geprüft werden.
Beispiel: „An den Validierungsdaten zeigte sich, dass die größere Lernrate schlechter abschnitt.“Google beschreibt sie als „The subset of the dataset that performs initial evaluation against a trained model.“
Wofür sie gebraucht werden: für die Wahl der Hyperparameter, für den Abbruchzeitpunkt des Trainings und für den Vergleich mehrerer Modellentwürfe.
Warum die Dreiteilung nötig ist
Weil das Einstellen selbst ein Lernvorgang ist. Wer dieselben Daten zum Einstellen und zum Prüfen benutzt, passt das Modell an diese Daten an und misst anschließend an denselben; das Ergebnis ist zu gut. Die Validierungsdaten fangen diese Anpassung auf, und die Testdaten bleiben als unabhängige Prüfung übrig.
Wie man aufteilt
Üblich sind etwa 70 Prozent Training, 15 Prozent Validierung und 15 Prozent Test. Bei kleinen Beständen ist das schwierig, weil von jedem Teil zu wenig bleibt; dort tritt die Kreuzvalidierung an die Stelle eines festen Validierungsteils.
Woran man merkt, dass sie verbraucht sind
An einer wachsenden Lücke zwischen Validierung und Test. Wer hundert Einstellungen an denselben Validierungsdaten durchprobiert, passt sich auch an sie an. In längeren Projekten lohnt deshalb, nach einigen Wochen neu aufzuteilen, und in jedem Fall gilt: Die Zahl aus der Validierung ist eine Arbeitszahl und gehört nicht in einen Bericht. In Angeboten und Abnahmen steht die Zahl aus dem Testdatensatz, und zwar mit der Angabe, wann er gezogen wurde. Bei Sprachmodellen tritt an die Stelle dieser Dreiteilung ein fester Satz eigener Testfälle; die Aufgabe bleibt dieselbe. Auch dort gilt die Regel, dass man an den Fällen misst, an denen man nicht gefeilt hat.