Softmax ist die Funktion, die eine Reihe von Zahlen in eine Verteilung umrechnet, die sich zu eins addiert. Sie steht am Ausgang fast jedes Modells, das zwischen mehreren Möglichkeiten wählt, und macht aus Rohwerten vergleichbare Anteile.
- Softmax
Die Funktion, die eine Reihe von Zahlen in eine Verteilung umrechnet, die sich zu eins addiert.
Beispiel: „Nach dem Softmax standen für die fünf Kategorien die Werte 0,61, 0,17, 0,11, 0,07 und 0,04.“Was sie bewirkt: Große Werte werden überproportional verstärkt, kleine gedrückt. Der Abstand zwischen den Kandidaten wird dadurch deutlicher, als er in den Rohwerten war.
Ihr Eingang sind die Logits, also die unbearbeiteten Ausgabewerte des Modells.
Was die Zahlen nach Softmax bedeuten
Anteile, keine Wahrscheinlichkeiten im strengen Sinn. Ein Wert von 0,97 heißt, dass diese Möglichkeit unter den vorgegebenen am besten passt, und nicht, dass die Antwort in 97 von 100 Fällen stimmt. Neuronale Netze sind in dieser Hinsicht verlässlich zu selbstsicher, und das lässt sich nur durch eine Nacheichung an echten Daten beheben.
Wo sie bei Sprachmodellen sitzt
Am Ende jedes Schrittes. Für jedes mögliche nächste Textstück berechnet das Modell einen Wert, und diese Funktion macht daraus die Verteilung, aus der gezogen wird. Die Temperature greift unmittelbar dort ein: Sie streckt oder staucht die Verteilung vor dem Ziehen.
Warum der Begriff trotzdem selten gebraucht wird
Weil er unterhalb der Oberfläche liegt. Wer Modelle über Schnittstellen benutzt, sieht die Verteilung selten und die Funktion nie; sie taucht erst auf, wenn jemand ein Modell selbst betreibt oder die Rohwerte auswertet. Für das Verständnis der Sicherheitswerte in Ergebnissen lohnt sie trotzdem.
Was der Name sagt
Dass es eine weiche Fassung der Auswahl des größten Werts ist. Eine harte Auswahl nennt nur den Sieger, diese Funktion verteilt Anteile auf alle und lässt den Abstand erkennbar. Genau diese Weichheit ist die Voraussetzung dafür, dass sich das Modell überhaupt trainieren lässt.
Wie die Softmax-Funktion rechnet
Die Softmax-Funktion rechnet in zwei Schritten. Zuerst wird jeder Rohwert zur Hochzahl der eulerschen Zahl e, die bei rund 2,718 liegt; aus negativen Werten werden dabei kleine positive Zahlen, aus großen sehr große. Danach wird jedes Ergebnis durch die Summe aller Ergebnisse geteilt, und deshalb addieren sich die Anteile am Ende zu eins.
softmax(z_i) = exp(z_i) / (exp(z_1) + exp(z_2) + … + exp(z_n))Der erste Schritt erklärt die Wirkung, die oben in der Definitionsliste steht: Weil die Exponentialfunktion steil ansteigt, wächst der Abstand zwischen zwei Kandidaten mit jedem Punkt Unterschied im Rohwert. Die Reihenfolge bleibt dabei erhalten, der Kandidat mit dem höchsten Rohwert bekommt auch den größten Anteil.
Softmax an einem Beispiel
Ein Modell soll Nachrichten aus einem Kontaktformular einer von drei Kategorien zuordnen und liefert für eine Anfrage die Rohwerte 2,0, 1,0 und 0,2. So sieht die Rechnung aus, gerundet auf zwei Stellen:
Kategorie | Rohwert | e hoch Rohwert | Anteil nach Softmax |
|---|---|---|---|
Angebot | 2,0 | 7,39 | 0,65 |
Support | 1,0 | 2,72 | 0,24 |
Bewerbung | 0,2 | 1,22 | 0,11 |
Summe | 11,33 | 1,00 |
Daraus folgt: Ein Punkt Unterschied im Rohwert macht hier fast das Dreifache im Anteil aus, denn e hoch eins ist 2,72. Wer die Ausgabe eines Modells liest, deutet die Rohwerte deshalb besser gar nicht und schaut auf die Anteile.
Wie die Temperatur die Softmax verändert
Die Temperatur teilt alle Rohwerte vor der Rechnung durch dieselbe Zahl. Liegt sie unter eins, wächst der Abstand und der Spitzenreiter setzt sich ab; liegt sie über eins, rücken die Anteile zusammen. Geoffrey Hinton, Oriol Vinyals und Jeff Dean haben diese Form 2015 in ihrer Arbeit zur Destillation benutzt, um ein kleines Modell aus den weichen Verteilungen eines großen lernen zu lassen.
Temperatur | Angebot | Support | Bewerbung |
|---|---|---|---|
0,5 | 0,86 | 0,12 | 0,02 |
1 | 0,65 | 0,24 | 0,11 |
2 | 0,50 | 0,30 | 0,20 |
Daraus folgt: Dieselben Rohwerte ergeben je nach Temperatur eine fast sichere Entscheidung oder eine offene Lage. Genau diesen Regler stellst du bei einem Sprachmodell ein, wenn du die Temperature senkst, damit Antworten gleichförmiger ausfallen, oder anhebst, damit mehr Abwechslung entsteht.
Softmax in JavaScript
Die Funktion passt in sieben Zeilen JavaScript. Das Beispiel ist lauffähig, im Browser wie in Node.js, und enthält zwei Dinge, die in einfachen Fassungen oft fehlen: die Temperatur als zweiten Parameter und den Abzug des größten Werts vor der Exponentialfunktion.
function softmax(werte, temperatur = 1) {
const skaliert = werte.map(w => w / temperatur);
const groesster = Math.max(...skaliert);
const potenzen = skaliert.map(w => Math.exp(w - groesster));
const summe = potenzen.reduce((a, b) => a + b, 0);
return potenzen.map(p => p / summe);
}
console.log(softmax([2.0, 1.0, 0.2])); // [0.652…, 0.239…, 0.107…]
console.log(softmax([2.0, 1.0, 0.2], 0.5)); // [0.860…, 0.116…, 0.023…]
console.log(softmax([1000, 999, 998])); // [0.665…, 0.244…, 0.090…]Der Abzug ändert das Ergebnis nicht, weil sich derselbe Faktor im Zähler und im Nenner herauskürzt. Er verhindert aber den Überlauf: Math.exp(1000) ergibt in JavaScript Infinity, und ohne den Abzug stünde in der letzten Zeile dreimal NaN. Das Lehrbuch Deep Learning von Goodfellow, Bengio und Courville beschreibt genau diesen Kniff.
Softmax im Attention-Mechanismus
Softmax steckt auch in jeder Schicht eines Sprachmodells, im Attention-Mechanismus. Dort entscheidet sie, wie stark jedes Wort eines Textes bei der Verarbeitung eines anderen berücksichtigt wird: Die Rohwerte sind Ähnlichkeiten zwischen Wörtern, die Anteile danach sind Gewichte, die sich zu eins addieren.
Die Arbeit von 2017, mit der die Transformer-Architektur eingeführt wurde, teilt diese Rohwerte vorher durch die Wurzel aus der Länge der Vektoren. Die Begründung steht dort ausdrücklich: Bei großen Werten gerät die Softmax in einen Bereich, in dem sie sich kaum noch bewegt, und das Lernen wird zäh. Es ist derselbe Gedanke wie bei der Temperatur, nur fest eingebaut.
Softmax oder Sigmoid: wann welche Funktion passt
Softmax passt, wenn genau eine Antwort richtig ist. Die Anteile konkurrieren miteinander: Steigt einer, sinken die anderen. Kann eine Nachricht zugleich Angebot und Support sein, bekommt jede Kategorie ihre eigene Aktivierungsfunktion vom Typ Sigmoid, die unabhängig von den anderen einen Wert zwischen null und eins liefert.
Frage | Softmax | Sigmoid je Kategorie |
|---|---|---|
Wie viele Antworten dürfen zutreffen? | genau eine | beliebig viele |
Summe der Werte | immer eins | zwischen null und der Zahl der Kategorien |
Beispiel aus dem Web | Sprache einer Seite erkennen | Schlagworte für einen Blogartikel vergeben |
Daraus folgt: Die Wahl hängt allein daran, ob sich die Antworten gegenseitig ausschließen. Wer Schlagworte vergibt, braucht Sigmoid, wer eine Weiche baut, Softmax.
Was Softmax nicht leisten kann
Softmax kennt keine Antwort „keine davon“. Die Anteile addieren sich immer zu eins, auch wenn die Eingabe zu keiner Kategorie passt; eine Spam-Nachricht im Kontaktformular landet trotzdem mit einem Anteil bei Angebot, Support oder Bewerbung. Wer diesen Fall braucht, legt ihn als eigene Kategorie an und trainiert ihn mit.
Die zweite Grenze ist die Eichung, die oben schon anklingt. Eine Untersuchung von 2017 hat gezeigt, dass moderne neuronale Netze schlechter geeicht sind als die eines Jahrzehnts davor, und zugleich ein einfaches Gegenmittel benannt: das Temperature Scaling, bei dem nach dem Training eine einzige Temperatur an Prüfdaten eingestellt wird. Es lässt jede Entscheidung, wie sie ist, und korrigiert nur die Höhe der Anteile.
Rohwerte eines Modells mit Softmax in Anteile umrechnen
Die Funktion aus dem Abschnitt zu JavaScript auf die Rohwerte anwenden und das Ergebnis mit hundert malnehmen, wenn Prozent gebraucht werden. Liefert eine Schnittstelle statt der Rohwerte die Logarithmen der Wahrscheinlichkeiten, oft logprobs genannt, reicht Math.exp() auf jeden Wert; die Softmax ist dort schon gerechnet.
Prüfen, ob die Softmax-Werte eines Klassifikators stimmen
Mindestens hundert Fälle mit bekannter Antwort durch das Modell schicken, nach dem Anteil des Spitzenreiters in Gruppen sortieren und je Gruppe zählen, wie oft er richtig lag. Bei einem gut geeichten Modell liegt die Gruppe um 0,9 auch in rund neun von zehn Fällen richtig. Liegt sie deutlich darunter, sind die Werte zu selbstsicher, und eine Temperatur über eins auf den Rohwerten bringt sie näher an die Wirklichkeit.
Witziges und Kurioses rund um Softmax
Der Name stammt aus einem britischen Forschungslabor für Radar und Fernmeldetechnik. John S. Bridle arbeitete 1989 am Royal Signals and Radar Establishment in Great Malvern an Spracherkennung und schrieb in seinem Aufsatz über die Funktion „For this reason we like to refer to it as soft max“, damals noch in zwei Wörtern.
Glücklich mit dem Namen sind nicht alle. Im Lehrbuch Deep Learning steht, die Funktion hieße besser „softargmax“, weil sie die Auswahl der Position des größten Werts weich nachbildet; der Name sei aber eine eingefahrene Konvention.
Und die Temperatur heißt so, weil sie aus der Physik kommt. Dieselbe Formel beschreibt dort als Boltzmann-Verteilung, wie sich Teilchen auf Energiezustände verteilen: Bei hoher Temperatur sind auch die energiereichen Zustände gut besetzt, bei niedriger sammelt sich fast alles im untersten.