Data Leakage bezeichnet Angaben in den Trainingsdaten, die es im Betrieb zum Zeitpunkt der Vorhersage nicht geben wird. Das Modell benutzt sie trotzdem, erreicht damit auffällig gute Werte und fällt im Einsatz durch.
- Data Leakage (Machine Learning)
Angaben in den Trainingsdaten, die es im Betrieb nicht geben wird und die das Ergebnis zu gut aussehen lassen.
Beispiel: „Das Data Leakage steckte in einer Spalte, die erst nach der Kündigung gefüllt wurde.“Der häufigste Fall ist Information aus der Zukunft: ein Feld, das erst nach dem vorherzusagenden Ereignis entsteht, etwa ein Vertragsende, ein Rückgabedatum oder eine Bearbeitungsnotiz.
Der zweithäufigste ist eine Vermischung der Datensätze: Dieselbe Person, dasselbe Dokument oder dasselbe Bild liegt in Trainings- und Testteil, und der Test prüft damit Erinnerung statt Können.
Woran man den Verdacht erkennt
An zu guten Werten. Wer bei einer schwierigen Vorhersage auf über 95 Prozent kommt, hat selten ein gutes Modell und meistens ein Leck. Dasselbe gilt, wenn ein einzelnes Merkmal in der Auswertung alles andere überragt: Dann lohnt die Frage, ob dieses Merkmal zum Zeitpunkt der Entscheidung schon bekannt ist.
Wie man es prüft
Mit einem Zeitschnitt statt mit einer Zufallsteilung. Wer die Daten nach Datum trennt und auf älteren Fällen trainiert, um neuere vorherzusagen, baut die Betriebslage nach und entdeckt Zukunftswissen sofort. Bei Daten mit Personen oder Dokumenten wird zusätzlich nach diesen gruppiert getrennt, damit nichts in beiden Teilen liegt. Auch die Cross-Validation muss dieser Gruppierung folgen, sonst wandert das Leck in jede Runde mit.
Warum es so oft vorkommt
Weil es niemandem wehtut. Ein Leck erzeugt gute Zahlen, und gute Zahlen werden selten angezweifelt. Aufgefallen ist es in unseren Projekten regelmäßig erst nach dem Start, wenn die Quote plötzlich dreißig Punkte niedriger lag als in der Abnahme.
Wie man es im Team findet
Mit einer Durchsicht der Merkmale vor dem Training. Jemand, der den Fachprozess kennt, geht die Spaltenliste durch und beantwortet je Spalte eine Frage: Steht dieser Wert zum Zeitpunkt der Entscheidung schon fest? Das dauert eine halbe Stunde und findet mehr als jede Auswertung hinterher.