Eine Schicht ist eine Ebene von Recheneinheiten in einem neuronalen Netz, die ihre Eingaben gemeinsam verarbeitet und das Ergebnis an die nächste Ebene weitergibt. Ein Netz besteht aus einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht.
- Schicht (neuronales Netz)
Eine Ebene von Recheneinheiten, die ihre Eingaben gemeinsam verarbeitet.
Beispiel: „Das Modell hat 80 Schichten, und jede davon verarbeitet, was die vorige ausgegeben hat.“Was in einer Schicht geschieht: Die Eingaben werden mit den Gewichten verrechnet, aufsummiert und durch eine Aktivierungsfunktion geschickt.
Arten von Schichten: vollständig verbundene, faltende für Bilder, Aufmerksamkeitsschichten in Transformern, dazu Hilfsschichten für Normalisierung und Ausdünnung.
Was die Zahl der Schichten bedeutet
Die Tiefe des Netzes, und daher kommt der Name tiefes Lernen. Jede weitere Schicht erlaubt eine weitere Stufe der Abstraktion: In einem Bildnetz erkennt die erste Kanten, die fünfte Formen, die zwanzigste Gegenstände. Mehr Schichten bedeuten mehr Fähigkeit und zugleich mehr Rechenaufwand und mehr Daten, die zum Training nötig sind.
Warum sehr tiefe Netze lange nicht funktionierten
Weil das Lernsignal auf dem Weg nach hinten verschwand. Bei der Fehlerrückführung wird der Fehler Schicht für Schicht zurückgereicht, und über viele Schichten hinweg wurde er so klein, dass die vorderen Schichten nichts mehr lernten. Gelöst wurde das durch Abkürzungen zwischen den Schichten, durch bessere Aktivierungsfunktionen und durch Normalisierung, siehe Backpropagation.
Was Anwender davon merken
Die Zahl der Schichten steht in Modellbeschreibungen und bestimmt zusammen mit der Breite die Größe des Modells. Für die Auswahl ist sie selten entscheidend; wichtiger sind Parameterzahl, Kontextlänge und gemessene Leistung. Der Begriff lohnt dennoch, weil er in jeder zweiten technischen Beschreibung vorkommt. Bei Transformern zählt man übrigens Blöcke und nicht einzelne Schichten: Ein Block enthält eine Aufmerksamkeitsschicht und eine gewöhnliche, und die Angabe bezieht sich auf die Zahl dieser Blöcke. Wer Zahlen aus zwei Beschreibungen vergleicht, sollte deshalb prüfen, was jeweils gezählt wurde.