Normalisierung ist bei Trainingsdaten das Umrechnen von Merkmalen auf einen gemeinsamen Zahlenbereich, bevor ein KI-Modell damit trainiert. Ohne diesen Schritt dominiert das Merkmal mit den größten Zahlen das Ergebnis, ohne dass es inhaltlich wichtiger wäre.
- Normalisierung (Trainingsdaten)
Das Umrechnen von Merkmalen auf einen gemeinsamen Zahlenbereich, bevor ein Modell damit trainiert.
Beispiel: „Nach der Normalisierung zählte das Monatsgehalt nicht mehr tausendfach stärker als das Alter.“Zwei verbreitete Formen: auf einen Bereich zwischen null und eins skalieren, oder auf Mittelwert null und Streuung eins bringen. Letzteres wird auch Standardisierung genannt.
Der Begriff bedeutet in Datenbanken etwas anderes. Dort heißt Normalisierung, Tabellen so zu zerlegen, dass keine Angabe doppelt gespeichert wird; mit Zahlenbereichen hat das nichts zu tun.
Warum Training ohne sie schlecht läuft
Weil der Abstieg schief verläuft. Liegen die Merkmale in sehr unterschiedlichen Größenordnungen, ist die Fehlerlandschaft in einer Richtung steil und in der anderen flach, und ein Gradient Descent muss dann im Zickzack laufen. Das kostet Durchläufe, und bei zu großer Schrittweite bricht das Training ab.
Was dabei schiefgeht
Die Umrechnung wird aus allen Daten berechnet. Mittelwert und Streuung dürfen nur aus dem Trainingsteil stammen; wer sie über den gesamten Bestand bildet, lässt Wissen aus dem Testteil ins Training fließen und misst sich hinterher zu gut. Die Umrechnungswerte gehören deshalb zum Modell und müssen mit ihm gespeichert werden.
Was im Betrieb daraus folgt
Jede Anfrage muss genauso umgerechnet werden wie die Trainingsdaten, mit denselben gespeicherten Werten. Eine Anwendung, die dieses Umrechnen vergisst, liefert Ergebnisse, die niemand erklären kann, und der Fehler sieht nach einem schlechten Modell aus. In unseren Projekten ist das einer der häufigsten Fehler beim Übergang von der Erprobung in den Betrieb.
Was mit Kategorien passiert
Sie werden nicht skaliert, sondern kodiert. Eine Spalte mit Farben oder Ländern hat keine Größenordnung, die sich umrechnen ließe; sie wird in mehrere Ja-Nein-Spalten aufgeteilt, eine je Wert. Wer Kategorien stattdessen durchnummeriert und skaliert, behauptet damit eine Reihenfolge, die es nicht gibt, und das Modell lernt sie mit.