Die Aktivierungsfunktion ist die Rechenvorschrift, die hinter jeder Einheit eines neuronalen Netzes steht und deren Ausgabe formt. Ohne sie könnte ein Netz nur lineare Zusammenhänge abbilden, egal wie viele Schichten es hat.
- Aktivierungsfunktion
Die Rechenvorschrift, die einem neuronalen Netz nichtlineare Zusammenhänge ermöglicht.
Beispiel: „Die Aktivierungsfunktion ReLU setzt alles Negative auf null und lässt den Rest unverändert.“Das Google-Glossar beschreibt sie als Funktion, die es neuronalen Netzen ermöglicht, nichtlineare und damit komplexe Beziehungen zwischen Merkmalen und dem Zielwert zu lernen.
Übliche Vertreter: ReLU und ihre Abwandlungen in den verborgenen Schichten, Softmax am Ausgang bei Einordnungsaufgaben, Sigmoid bei Ja-Nein-Entscheidungen.
Warum ohne sie nichts geht
Weil die Hintereinanderschaltung linearer Schritte wieder ein linearer Schritt ist. Ein Netz aus hundert Schichten ohne Aktivierungsfunktion kann genau das, was eine einzige Schicht kann, und damit keine Sprache, keine Bilder, keine Zusammenhänge. Der kleine Knick in der Rechenvorschrift ist der Unterschied zwischen einer geraden Linie und allem anderen.
Warum sie selten jemanden beschäftigt
Weil die Wahl seit Jahren weitgehend geklärt ist. In der Praxis greift man zu dem, was in der jeweiligen Architektur üblich ist, und ändert daran nichts. Interessant wird sie nur beim Bau eigener Netze und bei der Fehlersuche, wenn ein Netz nicht lernt und die Ursache in abgestorbenen Einheiten liegt.
Warum sie hier trotzdem steht
Weil sie in Modellkarten, Fachartikeln und Angeboten vorkommt und sonst als unerklärte Hürde stehen bleibt. Wer weiß, dass es sich um den Knick handelt, der ein Netz lernfähig macht, kann den Rest des Textes lesen, ohne hängenzubleiben. Für die Anwendung von Modellen braucht man die Einzelheiten nicht. Gleiches gilt für die verwandten Begriffe, die in denselben Texten auftauchen: Verlustfunktion für das Maß des Fehlers und Gradient für die Richtung der Verbesserung. Alle drei beschreiben Teile desselben Trainingsschritts, und keiner von ihnen lässt sich an einem fertigen Modell noch verstellen.