Die Cross-Validation, auf Deutsch Kreuzvalidierung, ist ein Prüfverfahren des maschinellen Lernens, bei dem die Daten in gleich große Teile zerlegt werden und jeder Teil abwechselnd zur Prüfung dient, während die übrigen zum Training benutzt werden. Am Ende steht ein Mittelwert über alle Durchgänge.
- Cross-Validation (Kreuzvalidierung)
Ein Verfahren, das jeden Teil der Daten abwechselnd zur Prüfung benutzt.
Beispiel: „Die Cross-Validation über fünf Teile zeigte eine Schwankung von acht Prozentpunkten zwischen den Durchgängen.“Google beschreibt die k-fache Form als „An algorithm for predicting a model's ability to generalize to new data.“ Üblich sind fünf oder zehn Teile.
Der Gewinn: Jeder Datenpunkt wird einmal zur Prüfung benutzt, und das Ergebnis hängt nicht mehr davon ab, welche Fälle zufällig im Prüfteil gelandet sind.
Was sie zusätzlich verrät
Die Streuung zwischen den Durchgängen. Ein Modell mit 82 Prozent im Mittel und Werten zwischen 80 und 84 ist belastbar; eines mit demselben Mittel und Werten zwischen 65 und 95 ist es nicht. Diese Auskunft fehlt bei einer einzelnen Aufteilung vollständig, und sie ist oft wichtiger als der Mittelwert selbst.
Was sie kostet
Rechenzeit, und zwar das Fünf- bis Zehnfache. Für klassische Verfahren auf Tabellendaten ist das unerheblich; für das Nachtrainieren großer Modelle ist es ausgeschlossen. Deshalb begegnet die Cross-Validation einem fast nur im klassischen maschinellen Lernen und kaum bei Sprachmodellen.
Worauf zu achten ist
Dass die Aufteilung die Struktur der Daten beachtet. Bei Zeitreihen darf nicht aus der Zukunft gelernt werden, dafür gibt es eine Variante, die nur vorwärts prüft. Bei Daten mit mehreren Zeilen je Person gehören alle Zeilen einer Person in denselben Teil, sonst sickert Wissen zwischen Training und Prüfung. Beides sind häufige und schwer zu entdeckende Fehler. Sie äußern sich gleich: hervorragende Werte in der Entwicklung und enttäuschende im Betrieb, ohne erkennbaren Grund. Wer das beobachtet, prüft zuerst die Aufteilung und erst danach das Modell. Diese Reihenfolge spart erfahrungsgemäß Tage.