Gradient Descent ist das Verfahren, mit dem ein KI-Modell seine Gewichte in Richtung des kleineren Fehlers verschiebt. Es ist das Arbeitspferd im Training neuronaler Netze und im Kern eine wiederholte Frage: In welche Richtung geht es bergab?
- Gradient Descent (Gradientenabstieg)
Das Verfahren, mit dem ein KI-Modell seine Gewichte in Richtung des kleineren Fehlers verschiebt.
Beispiel: „Der Gradient Descent kam nach 30.000 Schritten in einem Bereich an, in dem sich der Fehler kaum noch änderte.“Das Bild dahinter: Die Fehlerlandschaft ist ein Gebirge mit so vielen Richtungen, wie das Modell Gewichte hat. Der Gradient zeigt die steilste Richtung, und man geht ein Stück dagegen.
Wie weit dieses Stück reicht, bestimmt die Learning Rate. Welche Richtung gilt, berechnet die Backpropagation.
Warum es stochastisch heißt
Weil nicht alle Daten auf einmal angesehen werden. Statt den Fehler über den gesamten Bestand zu berechnen, nimmt das Verfahren bei jedem Schritt eine kleine Auswahl, siehe Batch Size. Das ist ungenauer, dafür hundertfach schneller, und die Ungenauigkeit hilft sogar: Sie schüttelt das Modell aus schlechten Lösungen heraus.
Was moderne Verfahren daran ändern
Sie merken sich, woher sie kommen. Statt bei jedem Schritt nur die aktuelle Richtung zu nehmen, gewichten sie die letzten Schritte mit, halten je Gewicht eine eigene Schrittweite und dämpfen Schwankungen. Die heute übliche Familie dieser Verfahren ist der Grund dafür, dass große Modelle überhaupt in vertretbarer Zeit trainieren.
Was der Begriff für die Einordnung von KI leistet
Er zeigt, dass im Training kein Verstehen steckt. Was dort geschieht, ist eine Folge kleiner Korrekturen entlang einer gemessenen Steigung, und zwar ohne jeden Begriff davon, worum es inhaltlich geht. Das erklärt sowohl die Leistung dieser Modelle als auch ihre Fehler, und es ist das beste Mittel gegen die Vorstellung, in einem Modell sitze ein Gegenüber.
Wo das Verfahren hängen bleibt
Auf Hochebenen, nicht in Tälern. Die Vorstellung, ein Training bleibe in einem schlechten lokalen Minimum stecken, stammt aus dem Bild mit zwei Dimensionen. Bei Millionen Gewichten sind echte Minima selten; häufiger sind weite flache Bereiche, in denen es kaum noch bergab geht. Dagegen helfen Verfahren mit Schwung und ein Zeitplan für die Schrittweite.