Der Testdatensatz ist der Teil der Daten, der vom Training zurückgehalten wird, um das fertige Modell daran zu prüfen. Er beantwortet die einzige Frage, die zählt: Wie gut arbeitet das Modell auf Fällen, die es nie gesehen hat?
- Testdatensatz (Test Set)
Der zurückgehaltene Teil der Daten, an dem ein fertiges Modell geprüft wird.
Beispiel: „Der Testdatensatz blieb bis zur Abnahme verschlossen, und erst dort zeigte sich die wahre Trefferquote.“Google fasst es knapp: „A subset of the dataset reserved for testing a trained model.“
Üblich ist eine Dreiteilung: Trainingsdaten zum Lernen, Validierungsdaten zum Einstellen der Stellschrauben, Testdaten für die abschließende Prüfung.
Warum er unberührt bleiben muss
Weil jede Berührung ihn entwertet. Wer am Testdatensatz misst, das Modell ändert und erneut misst, benutzt ihn zum Einstellen und nicht mehr zum Prüfen; nach zwanzig Durchgängen ist das Ergebnis geschönt, ohne dass jemand getrickst hätte. Deshalb gehört er aus der Hand gelegt und erst am Ende geöffnet.
Wie man ihn richtig zieht
Nach der Zeit, wenn die Daten eine Zeitachse haben. Ein Modell, das auf Daten von 2024 trainiert und auf Daten von 2025 geprüft wird, wird so eingesetzt, wie es später arbeiten soll. Ein zufällig gezogener Testsatz mischt Vergangenheit und Zukunft und meldet dadurch bessere Zahlen, als im Betrieb zu erwarten sind.
Wie groß er sein sollte
Groß genug, dass die Zahlen belastbar sind. Bei zwanzig Testfällen ändert ein einzelner Fehler die Trefferquote um fünf Prozentpunkte, und damit ist jeder Vergleich zwischen zwei Modellen Zufall. Als Faustregel gelten einige hundert Fälle je Klasse; bei seltenen Klassen entscheidet die Zahl der seltenen Fälle und nicht die Gesamtmenge. Wer zwanzig Betrugsfälle im Testsatz hat, kann über die Trefferquote keine belastbare Aussage machen, egal wie groß der Rest ist. In solchen Fällen hilft die Kreuzvalidierung, weil dort jeder Fall einmal zur Prüfung kommt. Belastbarer wird die Aussage dadurch allerdings nur begrenzt: Wenige Fälle bleiben wenige Fälle.