Top-k-Sampling ist eine Auswahlregel bei der Texterzeugung: Ein Sprachmodell zieht nur die k wahrscheinlichsten Fortsetzungen in Betracht und wählt aus diesen zufällig aus. Alles darunter wird gestrichen, unabhängig davon, wie wahrscheinlich es war.
- Top-k-Sampling
Eine Auswahlregel, die ein Sprachmodell nur die k wahrscheinlichsten Fortsetzungen in Betracht ziehen lässt.
Beispiel: „Mit Top-k-Sampling bei 40 blieb der Text abwechslungsreich und rutschte nicht ins Abseitige.“Wozu es dient: Ohne eine solche Regel kann auch ein sehr unwahrscheinliches Wort gezogen werden, und ein einziger solcher Griff lässt einen Text entgleisen.
Der Unterschied zum Nucleus Sampling: Dort ist nicht die Anzahl festgelegt, sondern die aufsummierte Wahrscheinlichkeit, und die Zahl der Kandidaten wechselt je Stelle.
Warum die feste Zahl ein Nachteil ist
Weil Stellen unterschiedlich eindeutig sind. An einer Stelle, an der nur ein Wort passt, lässt eine Zahl von 40 noch 39 schlechte Kandidaten zu; an einer offenen Stelle streicht dieselbe Zahl brauchbare Fortsetzungen weg. Genau deshalb hat sich die Regel mit der aufsummierten Wahrscheinlichkeit als Standard durchgesetzt.
Wo man es heute noch einstellt
Bei selbst betriebenen Modellen und in Bibliotheken für die Texterzeugung. Die großen Schnittstellen bieten meist die andere Regel und die Temperature an; wer ein Modell auf eigener Hardware laufen lässt, findet beide Einstellungen und kombiniert sie oft.
Was man beim Kombinieren beachten sollte
Dass die Regeln hintereinander greifen. Erst wird nach Anzahl gestrichen, dann nach Summe, dann die Verteilung über die Temperatur verschoben; wer alle drei gleichzeitig verstellt, kann das Ergebnis nicht mehr zuordnen. Die brauchbare Reihenfolge ist: eine Regel wählen, die andere auf den neutralen Wert setzen, und dann nur die Temperatur anfassen.
Was in Projekten davon bleibt
Eine Einstellung, die man einmal festlegt und dokumentiert. Für Texte mit festem Format gehört die Zufälligkeit niedrig, für Entwürfe und Vorschläge höher. Beide Werte gehören neben den Prompt in die Ablage, sonst sind Ergebnisse zwischen zwei Wochen nicht vergleichbar.