Die Loss Function ist die Rechenvorschrift, die den Fehler einer Modellvorhersage in eine Zahl fasst. Diese Zahl ist das Einzige, woran sich ein Training ausrichtet: Alles, was in ihr nicht vorkommt, lernt das Modell nicht.
- Loss Function (Verlustfunktion)
Die Rechenvorschrift, die den Fehler einer Modellvorhersage in eine Zahl fasst.
Beispiel: „Die Loss Function bestrafte große Ausreißer so stark, dass das Modell die Mitte bevorzugte.“Je Aufgabe eine andere: bei Zahlenvorhersagen der mittlere quadratische Fehler, bei Einordnungen die Kreuzentropie, bei Sprachmodellen die Frage, wie überrascht das Modell vom nächsten Wort war.
Abgrenzung zur Bewertung: Die Loss Function steuert das Training und muss dafür ableitbar sein. Gütemaße wie Genauigkeit oder Trefferquote sind für Menschen gedacht und werden nicht trainiert.
Warum die Wahl das Verhalten bestimmt
Weil ein Modell genau das optimiert, was gemessen wird, und nichts daneben. Eine Vorschrift, die große Fehler überproportional bestraft, erzeugt ein vorsichtiges Modell; eine, die jeden Fehler gleich wiegt, erzeugt ein entschiedeneres. Wer eine Fehlerart für teurer hält als die andere, muss das in die Vorschrift schreiben, sonst ist es dem Modell gleich.
Wo der Wert aufhört, etwas zu sagen
Beim Vergleich zweier Modelle. Die Zahl ist nur innerhalb eines Aufbaus vergleichbar; zwei Modelle mit unterschiedlicher Vorschrift oder unterschiedlichen Daten lassen sich daran nicht messen. Außerdem sagt ein kleiner Wert auf den Trainingsdaten nichts über die Generalisierung: Genau dort liegt der Unterschied zwischen einem gelernten Modell und einem auswendig gelernten.
Was bei Sprachmodellen daraus folgt
Dass sie auf Wahrscheinlichkeit trainiert sind und nicht auf Wahrheit. Die Vorschrift belohnt das plausible nächste Wort, und ein überzeugend klingender falscher Satz schneidet darin besser ab als ein stockendes Eingeständnis von Unwissen. Das ist einer der Gründe für Halluzinationen.
Was man zusätzlich messen sollte
Ein Maß, das jemand im Projekt versteht. Der Wert der Loss Function hat keine Einheit und keinen Bezug zur Wirklichkeit; eine Trefferquote, ein Eurobetrag oder eine Zahl falsch zugeordneter Fälle hat beides. Für die Steuerung des Trainings bleibt die Vorschrift zuständig, für jedes Gespräch über das Ergebnis das zweite Maß.