Nichtdeterminismus heißt bei Sprachmodellen, dass dieselbe Eingabe verschiedene Antworten hervorbringen kann. Zweimal dieselbe Frage, zwei unterschiedliche Formulierungen, gelegentlich auch zwei unterschiedliche Ergebnisse. Das ist der Normalfall und keine Störung.
- Nichtdeterminismus (KI)
Dieselbe Eingabe an ein Sprachmodell kann verschiedene Antworten hervorbringen.
Beispiel: „Der Nichtdeterminismus fiel erst auf, als der dritte Durchlauf eine andere Kategorie vergab als die ersten zwei.“Woher er kommt: Das Modell berechnet für jedes nächste Token eine Wahrscheinlichkeitsverteilung und zieht daraus eine Auswahl. Wie zufällig diese Auswahl ausfällt, steuern Temperature und Nucleus Sampling.
Auch bei der niedrigsten Zufallseinstellung bleibt ein Rest. Reihenfolgen in der Berechnung auf Grafikkarten und Änderungen auf der Betreiberseite können das Ergebnis verschieben. Verlass auf Wort-für-Wort-Gleichheit ist deshalb nicht möglich.
Warum das die Prüfung verändert
Ein einzelner Durchlauf beweist nichts. Wer wissen will, ob eine Änderung am Prompt etwas verbessert hat, braucht mehrere Durchläufe je Fassung und schaut auf die Verteilung der Ergebnisse. Ein Fehler, der in einem von zehn Läufen auftritt, ist in der Praxis ein Fehler; gefunden wird er nur, wenn man zehnmal läuft.
Was in Software daraus folgt
Alles, was auf eine feste Antwort baut, braucht eine Absicherung. Ein Schema für die Form der Ausgabe, eine Prüfung der Werte, ein zweiter Versuch bei unbrauchbarem Ergebnis. Tests, die eine wörtliche Übereinstimmung erwarten, schlagen früher oder später fehl; brauchbar sind Prüfungen auf Eigenschaften, etwa ob das Feld gefüllt ist und im erlaubten Vorrat liegt.
Wo der Zufall nützt
Bei allem Gestaltenden. Fünf Entwürfe für eine Überschrift sind nur deshalb fünf Entwürfe, weil die Auswahl nicht immer gleich ausfällt. Für Aufgaben mit genau einer richtigen Antwort stellt man die Zufälligkeit herunter, für Aufgaben mit vielen brauchbaren Antworten herauf. Beides ist eine Einstellung und keine Eigenschaft des Modells. Praktisch heißt das: Für Einsortieren, Auslesen und Rechnen die Zufälligkeit herunterstellen und die Form über ein Schema binden. Für Entwürfe, Überschriften und Bildideen bewusst mehrere Durchläufe machen und aus den Ergebnissen auswählen. Der Nichtdeterminismus ist dann das, was die Arbeit überhaupt möglich macht.