Eine Epoche ist ein vollständiger Durchgang des Trainings durch sämtliche Trainingsdaten. Jedes Beispiel wurde danach genau einmal verarbeitet. Trainiert wird fast immer über mehrere Epochen, weil ein einzelner Durchgang selten genügt.
- Epoche (Training)
Ein vollständiger Durchgang des Trainings durch sämtliche Trainingsdaten.
Beispiel: „Nach drei Epochen sank der Fehler auf den Prüfdaten nicht mehr, also wurde das Training beendet.“Ein Hyperparameter unter mehreren: Die Zahl der Epochen wird vor dem Training gesetzt und nicht gelernt. Zu wenige, und das Modell hat nicht ausgelernt; zu viele, und es lernt die Beispiele auswendig.
Abgrenzung zum Schritt: Innerhalb einer Epoche verarbeitet das Training die Daten in Stapeln. Jeder Stapel ist ein Schritt, und eine Epoche besteht aus so vielen Schritten, wie Stapel in den Bestand passen.
Wie viele es braucht
Je nach Lage wenige bis sehr viele. Beim Fine-Tuning eines fertigen Modells genügen oft zwei oder drei, weil das Modell schon fast alles mitbringt. Ein Modell von Grund auf zu trainieren verlangt deutlich mehr, und bei sehr großen Textmengen reicht umgekehrt ein einziger Durchgang.
Die Bestimmung im Machine Learning Glossary von Google ist präzise: ein vollständiger Trainingsdurchlauf über den gesamten Trainingsdatensatz, sodass jedes Beispiel einmal verarbeitet wurde.
Woran man zu viele erkennt
An zwei auseinanderlaufenden Kurven. Der Fehler auf den Trainingsdaten sinkt weiter, der Fehler auf den zurückgehaltenen Prüfdaten steigt wieder. Ab diesem Punkt lernt das Modell die Beispiele auswendig, statt die Regel dahinter zu finden. Das Fachwort dafür ist Überanpassung.
Wie man rechtzeitig aufhört
Indem man mitmisst und abbricht. Üblich ist, nach jeder Epoche an den Prüfdaten zu messen und das Training zu beenden, sobald sich dort über mehrere Epochen nichts mehr verbessert. Gespeichert wird dann der Stand mit dem besten Prüfergebnis und nicht der letzte.
Beim Weitertrainieren eines fertigen Modells ist die Gefahr besonders groß, weil die eigenen Beispiele meist wenige sind. Zwei Epochen über dreihundert Beispiele genügen oft; wer zwanzig laufen lässt, bekommt ein Modell, das diese dreihundert auswendig kann und sonst nichts gewonnen hat.