Overfitting, auf Deutsch Überanpassung, bezeichnet den Fall, dass ein Modell die Trainingsdaten zu genau lernt und deshalb bei neuen Fällen versagt. Es hat die Beispiele behalten, statt die Regel dahinter zu erfassen.
- Overfitting (Überanpassung)
Ein Modell lernt die Trainingsdaten auswendig und versagt bei neuen Fällen.
Beispiel: „Das Overfitting fiel erst auf, als das Modell bei den eigenen Daten 99 Prozent traf und bei fremden 61.“Das Google-Glossar beschreibt es als das Erzeugen eines Modells, das so genau zu den Trainingsdaten passt, dass es bei neuen Daten keine richtigen Vorhersagen mehr trifft.
Woran man es erkennt: Die Güte auf den Trainingsdaten steigt weiter, während sie auf zurückgehaltenen Daten sinkt. Genau dafür behält man einen Teil der Daten zurück und benutzt ihn nicht zum Lernen.
Was dagegen hilft
Vier Mittel, die sich ergänzen. Mehr und vielfältigere Daten, weil Auswendiglernen damit unmöglich wird. Ein kleineres Modell, das gar nicht genug Platz zum Merken hat. Ein früherer Abbruch des Trainings, bevor die Güte auf den zurückgehaltenen Daten kippt. Und bewusste Störungen im Training, die das Netz zwingen, sich nicht auf einzelne Verbindungen zu verlassen.
Warum es bei großen Sprachmodellen anders aussieht
Weil deren Trainingsbestand so groß ist, dass Auswendiglernen im klassischen Sinn nur in Randbereichen vorkommt. Dort allerdings sichtbar: Sehr oft wiederholte Textstellen kann ein Modell wörtlich wiedergeben, und das ist einer der Streitpunkte beim Urheberrecht. Für die Anwendung bleibt der Begriff vor allem beim Nachtrainieren eigener Modelle wichtig.
Was das in Projekten bedeutet
Dass eine beeindruckende Zahl aus der Entwicklung nichts beweist. Eine Trefferquote, die an denselben Daten gemessen wurde, mit denen trainiert wurde, ist wertlos. Belastbar wird sie erst an Fällen, die das Modell nie gesehen hat, und am besten an Fällen aus einem späteren Zeitraum. Diese Trennung sauber zu halten ist in der Praxis schwerer, als sie klingt: Schon eine Kennzahl, die aus dem gesamten Bestand berechnet wurde, lässt Wissen über die Testfälle in das Training sickern.