Regularization bezeichnet Maßnahmen, die ein KI-Modell daran hindern, seine Trainingsdaten auswendig zu lernen. Sie verschlechtern das Ergebnis auf den Trainingsdaten absichtlich, um es auf neuen Daten zu verbessern.
- Regularization (Regularisierung)
Maßnahmen, die ein KI-Modell daran hindern, seine Trainingsdaten auswendig zu lernen.
Beispiel: „Nach der Regularization fiel die Trefferquote im Training um vier Punkte und bei echten Anfragen stieg sie um elf.“Dazu gehören: ein Zuschlag in der Fehlerrechnung für große Gewichte, das zufällige Abschalten von Einheiten, siehe Dropout, der vorzeitige Abbruch des Trainings und das Abwandeln der Daten.
Das Gegenteil des Ziels ist Overfitting. Zu viel Regularization führt in den umgekehrten Fehler: Das Modell lernt dann auch das Wesentliche nicht.
Warum ein schlechteres Training besser ist
Weil das Trainingsergebnis niemanden interessiert. Entscheidend ist die Leistung auf Fällen, die das Modell nie gesehen hat, und ein Modell mit genug Kapazität kann seine Beispiele einfach behalten, statt eine Regel zu finden. Jede Maßnahme der Regularization macht das Behalten teurer als das Verallgemeinern.
Welche Maßnahme wann greift
Der vorzeitige Abbruch ist die billigste und wirkt fast immer: Man beobachtet den Fehler auf zurückgehaltenen Daten und hält an, sobald er wieder steigt. Der Zuschlag für große Gewichte ist der klassische Weg bei kleinen Modellen. Das Abschalten von Einheiten gehört zu großen neuronalen Netzen. Mehr und vielfältigere Daten wirken stärker als alles davon zusammen.
Was sie nicht leistet
Sie ersetzt keine Daten. Ein Modell, das auf 300 Beispielen trainiert, wird durch keine Maßnahme zu einem, das auf 30.000 trainiert wurde; es wird nur ehrlicher darin, wie wenig es weiß. Und sie ersetzt keine getrennte Prüfung: Ob die Maßnahme gewirkt hat, zeigt allein die Messung auf Daten, die beim Training nicht dabei waren.
Woran man zu viel davon erkennt
Daran, dass beide Fehler hoch sind. Beim Auswendiglernen ist der Trainingsfehler klein und der Testfehler groß; bei zu starker Regularization liegen beide gleich hoch und beide schlecht. Dann ist das Modell gehindert worden, auch das Wesentliche zu lernen, und die Maßnahme gehört zurückgenommen statt verstärkt.