Ein Recurrent Neural Network, auf Deutsch rückgekoppeltes neuronales Netz, verarbeitet Folgen Element für Element und führt dabei einen Zustand mit. Was es vom vorigen Element behalten hat, fließt in die Verarbeitung des nächsten ein.
- Recurrent Neural Network (RNN)
Ein neuronales Netz, das Folgen verarbeitet und dabei einen Zustand mitführt.
Beispiel: „Das Recurrent Neural Network las den Satz Wort für Wort und behielt dabei den Zusammenhang.“Wofür es gebaut wurde: Sprache, Zeitreihen, Tonaufnahmen, Messwerte. Überall dort, wo die Reihenfolge Bedeutung trägt und die Länge nicht feststeht.
Die wichtigste Abwandlung heißt LSTM und stammt aus einer Arbeit von Sepp Hochreiter und Jürgen Schmidhuber von 1997. Sie löst das Problem, dass einfache rückgekoppelte Netze über lange Folgen hinweg nichts behalten.
Warum sie abgelöst wurden
Wegen der Reihenfolge der Verarbeitung. Ein rückgekoppeltes Netz muss ein Element nach dem anderen abarbeiten und lässt sich deshalb schlecht auf viele Recheneinheiten verteilen. Die Transformer-Bauart verarbeitet die ganze Folge auf einmal und war damit trainierbar in einer Größenordnung, die vorher nicht erreichbar war, siehe Attention-Mechanismus.
Wo sie überleben
Auf kleinen Geräten und bei fortlaufenden Daten. Ein Netz, das einen Zustand mitführt, braucht nicht die ganze Folge im Speicher und eignet sich deshalb für Sensoren, Steuerungen und Geräte ohne große Rechenleistung. Für Zeitreihen mit langer Historie sind sie weiterhin im Einsatz.
Warum der Begriff trotzdem auftaucht
Weil er in Fachartikeln, Lehrbüchern und älteren Projekten steht. Wer eine bestehende Anwendung übernimmt, trifft auf diese Bauart, und wer die Entwicklung der letzten Jahre verstehen will, braucht sie als Vergleichspunkt: Der Sprung zu heutigen Sprachmodellen lässt sich nur erklären, wenn man weiß, was vorher nicht ging. Vor 2017 scheiterte die Übersetzung langer Sätze daran, dass der mitgeführte Zustand den Anfang des Satzes vergaß; genau dieses Problem löste die Aufmerksamkeit. Heutige Modelle lesen den ganzen Satz auf einmal und können deshalb jeden Bezug herstellen.