Backpropagation, auf Deutsch Fehlerrückführung, ist das Verfahren, mit dem ein neuronales Netz aus seinen Fehlern lernt. Der Abstand zwischen der erzeugten und der gewünschten Ausgabe wird rückwärts durch das Netz geschickt, und jedes Gewicht wird um den Anteil verschoben, den es am Fehler hatte.
- Backpropagation
Das Verfahren, mit dem ein neuronales Netz aus seinen Fehlern lernt.
Beispiel: „Nach einer Million Durchläufen der Backpropagation unterschied das Netz Rechnungen von Mahnungen.“Das Google-Glossar fasst es in einem Satz als den Algorithmus, der das Gradientenverfahren in neuronalen Netzen umsetzt.
Der Ablauf in vier Schritten: Beispiel durch das Netz schicken, Ausgabe mit der gewünschten vergleichen, den Fehler rückwärts auf die Schichten verteilen, Gewichte ein kleines Stück in die bessere Richtung verschieben. Wie groß dieses Stück ist, legt die Lernrate fest, siehe Hyperparameter.
Bekannt wurde das Verfahren durch die Arbeit „Learning representations by back-propagating errors“ von David Rumelhart, Geoffrey Hinton und Ronald Williams, erschienen in Nature, Band 323, Seiten 533 bis 536 (Oktober 1986). Ihr Beitrag war der Nachweis, dass die verborgenen Schichten dabei von selbst nützliche Merkmale der Aufgabe ausbilden.
Warum das der entscheidende Schritt war
Weil es vorher kein praktikables Verfahren gab, mehrschichtige Netze zu trainieren. Einschichtige Netze konnten nur einfache Zusammenhänge abbilden, und daran war das Feld in den 1970er Jahren hängengeblieben. Mit der Fehlerrückführung wurden tiefe Netze trainierbar, und auf dieser Grundlage steht bis heute praktisch jedes KI-Modell, vom Bilderkenner bis zum Sprachmodell.
Was in der Praxis dazugehört
Rechenleistung und Geduld. Ein Durchgang durch alle Trainingsdaten heißt Epoche, und große Modelle durchlaufen viele davon auf tausenden Grafikkarten. Die Arbeit daran besteht weniger im Verfahren selbst als in der Einstellung der Stellschrauben darum herum: Lernrate, Stapelgröße, Abbruchbedingung. Für die Anwendung von Modellen braucht man das Verfahren nicht zu beherrschen; es zu kennen hilft aber beim Verständnis, warum Training Zeit und Strom kostet und warum ein Modell nach dem Training feststeht.