Datenbereinigung ist das Beseitigen von Fehlern, Lücken und Dubletten in einem Datenbestand, bevor er ausgewertet oder für ein KI-Modell benutzt wird. Sie ist der unspektakulärste und zeitaufwendigste Teil jedes Datenprojekts.
- Datenbereinigung (Data Cleaning)
Das Beseitigen von Fehlern, Lücken und Dubletten in einem Datenbestand, bevor er ausgewertet wird.
Beispiel: „Die Datenbereinigung fand 2.300 doppelte Kundensätze und vier verschiedene Schreibweisen derselben Stadt.“Typische Arbeiten: Dubletten zusammenführen, Schreibweisen vereinheitlichen, fehlende Werte behandeln, unmögliche Werte prüfen, Formate für Datum und Zahl angleichen.
Abgrenzung zur Normalisierung: Die rechnet Werte in einen Bereich um. Die Bereinigung entscheidet vorher, welche Werte überhaupt gelten.
Warum sie den größten Teil ausmacht
Weil echte Daten aus der Arbeit von Menschen stammen. Freitextfelder, abgebrochene Eingaben, nachträglich geänderte Bedeutungen von Spalten, zwei Systeme mit unterschiedlicher Zählweise: In Projekten unserer Größe geht dafür regelmäßig mehr Zeit weg als für Modell und Auswertung zusammen. Wer das nicht einplant, verschätzt sich um Wochen.
Was man mit Lücken macht
Eine Entscheidung treffen und festhalten. Zeilen mit Lücken weglassen, Werte ergänzen oder die Lücke als eigene Information behandeln: Alle drei sind vertretbar und führen zu unterschiedlichen Ergebnissen. Entscheidend ist, dass die Wahl dokumentiert ist, denn sonst lässt sich ein Ergebnis später nicht erklären.
Wo Vorsicht geboten ist
Beim Entfernen von Ausreißern. Ein unplausibler Wert kann ein Tippfehler sein oder der interessanteste Fall im Bestand; wer beides gleich behandelt, bereinigt genau die Fälle weg, um die es geht. Besonders bei Betrugserkennung und Fehlersuche ist das der häufigste Fehler.
Was mit KI dabei leichter geworden ist
Das Vereinheitlichen von Freitext. Schreibweisen von Firmennamen zusammenführen, Adressen auseinandernehmen, Branchenangaben in eine Liste einordnen: Dafür waren früher Regeln nötig, und heute genügt ein Modell mit klaren Vorgaben und einer Stichprobe. Die Entscheidungen über Lücken und Ausreißer bleiben trotzdem beim Menschen.
Was man dabei nie überschreibt
Die Rohdaten. Jede Bereinigung läuft auf einer Kopie, und der ursprüngliche Bestand bleibt unberührt; sonst lässt sich eine Entscheidung später nicht zurücknehmen. Dazu gehört ein Protokoll der Schritte, am besten als Skript, damit der ganze Weg von den Rohdaten zum ausgewerteten Bestand wiederholbar ist.