Dropout ist das zufällige Abschalten einzelner Einheiten eines neuronalen Netzes während des Trainings. Bei jedem Schritt fällt ein anderer Teil des Netzes aus, und das Netz muss mit dem Rest zurechtkommen.
- Dropout (neuronales Netz)
Das zufällige Abschalten einzelner Einheiten eines neuronalen Netzes während des Trainings.
Beispiel: „Mit 20 Prozent Dropout verschwand der Abstand zwischen Trainings- und Testergebnis fast vollständig.“Üblich sind Anteile zwischen 10 und 50 Prozent. Der Wert gilt nur beim Training; im Betrieb ist das vollständige Netz aktiv.
Warum es wirkt: Keine Einheit kann sich auf eine andere verlassen, weil die jederzeit fehlen kann. Das Netz verteilt seine Fähigkeiten dadurch breiter.
Beschrieben haben das Verfahren Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever und Ruslan Salakhutdinov 2014 im Journal of Machine Learning Research. Die Arbeit nennt den Kern in einem Satz: zufällig Einheiten samt ihren Verbindungen aus dem Netz entfernen, und zwar während des Trainings.
Was der Name verspricht und was er nicht meint
Abgeschaltet wird nicht dauerhaft. Das Wort legt einen Verlust nahe, gemeint ist aber ein Aussetzen für genau einen Rechenschritt; im nächsten ist die Einheit wieder dabei und eine andere fehlt. Am Ende des Trainings hat das Netz alle seine Einheiten, nur hängt keine Fähigkeit mehr an einer einzelnen.
Wo es heute steht
Es ist nicht mehr überall gesetzt. In den großen Sprachmodellen der letzten Jahre wird es sparsam oder gar nicht eingesetzt, weil die Datenmengen so groß sind, dass Auswendiglernen kaum droht. In kleinen Netzen auf eigenen Daten, also in genau den Fällen, die in Webprojekten vorkommen, bleibt es eines der ersten Mittel.
Was daneben steht
Zwei weitere Maßnahmen mit ähnlichem Zweck: ein Abzug für große Gewichte und eine laufende Normierung der Zwischenwerte im Netz. Die zweite erfüllt in modernen Netzen einen Teil derselben Aufgabe, und beides zusammen mit hohem Dropout kann sich beißen. Die Reihenfolge beim Ausprobieren: erst eine Maßnahme, dann messen, dann die nächste.