Die Learning Rate ist die Schrittweite, mit der ein KI-Modell seine Gewichte beim Training verändert. Sie gehört zu den Hyperparametern, wird also vorher gesetzt und nicht gelernt, und sie ist der Wert mit dem größten Einfluss auf das Ergebnis.
- Learning Rate (Lernrate)
Die Schrittweite, mit der ein KI-Modell seine Gewichte beim Training verändert.
Beispiel: „Mit einer zehnfach niedrigeren Learning Rate lief das Training länger und kam deutlich weiter.“Zu hoch gesetzt springt das Training über das Ziel hinaus, der Fehler schwankt oder wächst. Zu niedrig gesetzt kommt es kaum voran und bleibt in einer schlechten Lösung hängen.
Üblich sind Werte zwischen einem Tausendstel und einem Millionstel. Welcher passt, hängt am Modell, an der Datenmenge und am Optimierungsverfahren.
Warum sie sich während des Trainings ändert
Weil am Anfang große und am Ende kleine Schritte sinnvoll sind. Verbreitet ist deshalb ein Verlauf: erst ein Aufwärmen mit steigenden Werten, dann ein langsames Absenken bis fast auf null. Dieser Verlauf heißt Zeitplan für die Learning Rate, und er ist bei großen Modellen so wichtig wie der Ausgangswert selbst.
Woran man einen falschen Wert erkennt
An der Fehlerkurve. Springt sie auf und ab oder schießt sie nach oben, ist der Wert zu hoch. Fällt sie fast waagerecht, ist er zu niedrig. Beides sieht man in den ersten Minuten eines Trainings, und deshalb beginnt jede Anpassung mit einem kurzen Probelauf statt mit dem vollen Durchgang.
Was im Projektalltag davon übrig bleibt
Bei einer Anpassung über eine fertige Schnittstelle: nichts, der Anbieter setzt den Wert. Bei einer Anpassung mit eigenen Werkzeugen: der eine Wert, den man tatsächlich anfasst. Wer ein Modell auf eigene Fälle anpasst, kommt mit einem niedrigeren Wert als dem voreingestellten meist besser weg, weil die Datenmenge klein ist und das Modell sonst sein Vorwissen überschreibt.
Wie man den Startwert findet
Mit einem kurzen Suchlauf. Man lässt das Training einige hundert Schritte laufen und erhöht die Schrittweite dabei stetig; die Stelle, an der der Fehler am schnellsten fällt und noch nicht springt, gibt den Wert. Das kostet Minuten und ersetzt das Raten, mit dem sonst ein halber Tag vergeht.