Tokenisierung ist bei KI das Zerlegen eines Textes in die Einheiten, mit denen ein Sprachmodell rechnet. Ein Modell sieht keine Buchstaben und keine Wörter, sondern diese Einheiten, und alles, was es kann, setzt darauf auf.
- Tokenisierung (KI)
Das Zerlegen eines Textes in die Einheiten, mit denen ein Sprachmodell rechnet.
Beispiel: „Die Tokenisierung machte aus „Grundstücksverkehrsgenehmigung“ sieben Einheiten.“Wie zerlegt wird: nicht nach Wörtern, sondern nach häufigen Zeichenfolgen. Häufige Wörter bleiben am Stück, seltene fallen in Teile, und Leerzeichen gehören zur folgenden Einheit.
Das Ergebnis heißt Token. Wie viele es für einen Text sind, bestimmt Kosten, Geschwindigkeit und den Platz im Kontextfenster.
Warum Deutsch teurer ist als Englisch
Weil die Zerlegung an englischem Text ausgerichtet ist. Deutsche Zusammensetzungen, Umlaute und Beugungen fallen deshalb in mehr Teile; derselbe Inhalt braucht auf Deutsch grob ein Drittel bis die Hälfte mehr Einheiten als auf Englisch. Bei Abrechnung je Einheit heißt das: dieselbe Arbeit, höherer Preis, und zwar durchgehend.
Wo der Begriff noch etwas anderes bedeutet
Im Zahlungsverkehr. Dort heißt Tokenisierung, eine Kartennummer durch einen Stellvertreterwert zu ersetzen, damit die echte Nummer nicht im Shop liegt. Mit Sprachmodellen hat das nichts zu tun, und die Verwechslung kommt in Gesprächen mit Dienstleistern vor. In der Programmierung gibt es den Begriff zudem für das Zerlegen von Quellcode in Bestandteile.
Was daraus für die Praxis folgt
Rechnen vor dem Schätzen. Eine Seite deutscher Text sind grob 600 bis 800 Einheiten, ein Vertrag von zwanzig Seiten also um 15.000. Wer für eine Anwendung Kosten hochrechnet, zählt an echtem Material nach statt in Wörtern zu denken; die Werkzeuge der Anbieter geben die Zahl auf Knopfdruck aus, und der Unterschied zur Schätzung beträgt regelmäßig den Faktor zwei.
Was es für die Umsetzung bedeutet
Dass man nicht Zeichen zählt. Jeder Anbieter liefert eine Bibliothek, die genau so zerlegt wie sein Modell, und nur deren Zahl stimmt. Faustregeln wie vier Zeichen je Einheit stammen aus dem Englischen und liegen bei deutschem Fachtext regelmäßig um ein Viertel daneben, was bei einer Obergrenze im Kontextfenster zum Abbruch führt.