Generalisierung ist die Fähigkeit eines Modells, auf ungesehenen Daten so gut zu arbeiten wie auf den Trainingsdaten. Sie ist das eigentliche Ziel jedes Trainings im Machine Learning: Ein Modell, das nur seine Beispiele kann, nützt niemandem.
- Generalisierung (Machine Learning)
Die Fähigkeit eines Modells, auf ungesehenen Daten so gut zu arbeiten wie auf den Trainingsdaten.
Beispiel: „Die Generalisierung brach ein: 98 Prozent im Training, 61 Prozent bei echten Anfragen.“Gemessen wird sie an Daten, die beim Training nicht dabei waren. Der Abstand zwischen beiden Werten heißt Generalisierungslücke.
Das Gegenteil ist Overfitting: Das Modell hat seine Beispiele auswendig gelernt statt die Regel dahinter.
Wie man sie prüft
Mit getrennten Daten, vor dem Training beiseitegelegt und bis zur Abnahme nicht angesehen. Wer denselben Satz mehrfach zur Verbesserung benutzt, verliert ihn als Maßstab, weil die Auswahl der Einstellungen dann schon auf ihn hin erfolgt ist. Für kleine Datenmengen nimmt man stattdessen die Cross-Validation.
Was sie verdirbt
Zu wenig Vielfalt in den Daten. Produktfotos alle vor derselben weißen Wand, Anfragen alle aus einem Monat, Messwerte alle von einer Maschine: Dann lernt das Modell die Begleitumstände mit und fällt aus, sobald sich einer ändert. Verdorben wird sie außerdem durch Data Leakage, also durch Angaben in den Trainingsdaten, die es im Betrieb nicht geben wird.
Warum sie bei Sprachmodellen anders aussieht
Weil deren Trainingsdaten so breit sind, dass die Grenze zwischen bekannt und neu verwischt. Ein Modell kann eine Aufgabe nur deshalb gut lösen, weil etwas sehr Ähnliches im Training stand. Genau das macht die Bewertung schwierig und ist der Grund für den Aufwand, mit dem Testaufgaben geheim gehalten werden.
Was die Generalisierung verbessert
Mehr Vielfalt in den Daten, ein einfacheres Modell und ein frühzeitiger Abbruch des Trainings. Die Reihenfolge ist dabei keine Geschmacksfrage: Vielfalt wirkt am stärksten, und sie ist am teuersten. Alle übrigen Mittel bremsen nur das Auswendiglernen; was in den Daten nicht vorkommt, lernt kein Modell aus ihnen heraus.