Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt. Meist ist es ein Wortteil, seltener ein ganzes Wort, manchmal nur ein Zeichen.
- Token (KI)
Die kleinste Einheit, in die ein Sprachmodell Text zerlegt, meist ein Wortteil.
Beispiel: „Ein Token ist selten ein ganzes Wort: ‚Barrierefreiheit‘ zerfällt in mehrere.“Abgrenzung zum Design Token: In der Gestaltung ist ein Token ein gespeicherter Wert für Farbe, Abstand oder Schriftgröße. Abgrenzung zum Zugangstoken: In der Technik ist ein Token ein Schlüssel zur Anmeldung. Gemeint ist hier allein die Einheit der Sprachmodelle.
Anwendungsfall: Token sind die Einheit, in der gerechnet und abgerechnet wird. Kontextfenster, Preise und Nutzungsgrenzen sind in Token angegeben, nicht in Wörtern oder Zeichen.
Warum nicht in Wörtern gerechnet wird
Weil die Zerlegung häufige Zeichenfolgen zusammenfassen soll. Anthropic beschreibt im Glossar zu Claude, dass ein Token Wörtern, Wortteilen, Zeichen oder Bytes entsprechen kann und dass die Zahl der Zeichen je Token vom Modell und von der Sprache abhängt. Größere Token sparen Rechenzeit, kleinere erlauben dem Modell, auch nie gesehene Wörter zu verarbeiten.
Dieselbe Dokumentation nennt für ältere Modelle rund 3,5 englische Zeichen je Token und weist darauf hin, dass ein neuerer Tokenizer für denselben Text etwa dreißig Prozent mehr Token erzeugt. Feste Umrechnungen sind deshalb mit Vorsicht zu verwenden.
Was das für deutschen Text heißt
Deutsch kostet mehr. Die Zerlegungen sind überwiegend an englischem Text gelernt, und deutsche Komposita, Umlaute und Endungen zerfallen in mehr Teile. Derselbe Inhalt braucht auf Deutsch spürbar mehr Token als auf Englisch.
Das wirkt an drei Stellen: Jeder Prompt füllt den Kontext schneller, die Antwort dauert länger, und die Abrechnung fällt höher aus. Wer Kosten schätzt, rechnet für Deutsch mit einem Aufschlag statt mit der englischen Faustformel.
Wo die Zahl auftaucht
Im Kontextfenster, das in Token gemessen wird. In den Preisen, die je Million Token angegeben sind, getrennt nach Eingabe und Ausgabe. In Nutzungsgrenzen. Und in der Zahl der Token je Sekunde, mit der die Geschwindigkeit eines Modells beschrieben wird.
Aus unserer Arbeit an über 2.500 Website-Projekten lohnt sich deshalb ein Blick auf die tatsächliche Zählung, bevor etwas im großen Stil durch ein Modell läuft. Die Anbieter stellen dafür Zählwerkzeuge bereit, und das Ergebnis weicht von der Schätzung oft deutlich ab.