Perplexity ist ein Maß dafür, wie überrascht ein Sprachmodell vom nächsten Wort eines Textes ist. Ein niedriger Wert heißt, dass das Modell den Text gut vorhersagt; ein hoher, dass es ihn schlecht vorhersagt. Auf Deutsch heißt das Maß Perplexität; nicht zu verwechseln ist es mit dem gleichnamigen Antwortdienst.
- Perplexity (Metrik)
Ein Maß dafür, wie überrascht ein Sprachmodell vom nächsten Wort eines Textes ist.
Beispiel: „Die Perplexity auf den eigenen Fachtexten lag deutlich höher als auf Nachrichtentexten.“Anschaulich: Der Wert sagt, zwischen wie vielen gleich wahrscheinlichen Möglichkeiten das Modell an jeder Stelle im Schnitt wählen müsste. Vier heißt, es ist so unsicher wie bei vier gleichwertigen Kandidaten.
Rechnerisch hängt er unmittelbar an der Loss Function des Trainings. Er ist damit kein zusätzliches Urteil, sondern dieselbe Größe in anderer Form.
Wofür der Wert taugt
Für den Vergleich eines Modells mit sich selbst. Ob ein Training vorangeht, ob ein angepasstes Modell das Fachvokabular aufgenommen hat, ob ein Textbestand zum Modell passt: Dafür ist er die billigste Messung, weil er ohne Beispielantworten auskommt.
Wofür er nicht taugt
Für den Vergleich zweier Modelle und für Qualität. Zwei Modelle mit unterschiedlicher Zerlegung in Einheiten haben nicht vergleichbare Werte, und ein niedriger Wert bedeutet nicht, dass die Antworten nützlich sind: Ein Modell, das vorhersehbaren Durchschnitt liefert, schneidet darin gut ab. Nützlichkeit misst man an Aufgaben, siehe Evaluation.
Wo der Begriff sonst auftaucht
In der Diskussion um Erkennungswerkzeuge. Weil maschinell erzeugter Text im Schnitt vorhersehbarer ist, wird dieser Wert zur Schätzung benutzt, ob ein Text aus einem Modell stammt. Das ist derselbe Gedanke und dieselbe Schwäche: Menschen schreiben in Fachtexten ebenfalls vorhersehbar.
Was man im Projekt damit machen kann
Eine schnelle Vorprüfung, ob ein Modell zu einem Fachgebiet passt. Ein paar Seiten eigener Texte durchrechnen und die Werte zweier Modelle vergleichen, bei gleicher Zerlegung: Das ersetzt keine Abnahme und gibt in zehn Minuten einen Anhaltspunkt, welches Modell überhaupt in Frage kommt.
Warum der Wert bei langen Texten täuscht
Weil er über alle Stellen gemittelt wird. Ein Modell, das die ersten Seiten gut und die Mitte schlecht vorhersagt, bekommt einen mittleren Wert, und der verdeckt beides. Für eine Aussage über lange Vorlagen gehört der Wert deshalb abschnittsweise betrachtet, und dann zeigt er dasselbe Bild wie andere Messungen: Die Mitte ist die schwache Stelle.