Token-Streaming heißt, die Antwort eines Sprachmodells Stück für Stück auszuliefern, während sie entsteht. Das Modell erzeugt ohnehin ein Token nach dem anderen; beim Streaming geht jedes davon sofort an die Anzeige, statt bis zum letzten Wort zu warten.
- Token-Streaming
Die Antwort eines Sprachmodells Stück für Stück ausliefern, während sie entsteht.
Beispiel: „Ohne Token-Streaming steht die Seite neun Sekunden still, danach erscheint alles auf einmal.“Woran man es erkennt: Der Text wächst im Chatfenster Wort für Wort. Genau dieses Verhalten ist Streaming, und es ist der Grund, warum sich KI-Werkzeuge schneller anfühlen, als ihre Gesamtzeit vermuten lässt.
Die zugehörige Kennzahl heißt Time to First Token, kurz TTFT: die Zeit bis zum ersten ausgelieferten Stück. Beim Streaming ist sie die Zahl, die der Nutzer spürt, und nicht die Gesamtdauer.
Warum sich dasselbe schneller anfühlt
Die Rechenzeit bleibt gleich. Was sich ändert, ist der Beginn der Rückmeldung: Nach einer halben Sekunde steht der erste Satz da, und der Rest wächst in Lesegeschwindigkeit nach. Wer liest, während geschrieben wird, wartet nicht. Bei langen Antworten ist der Unterschied in der Wahrnehmung größer als jede Verbesserung der eigentlichen Rechenzeit.
Das Google-Cloud-Glossar nennt die Kennzahl im Abschnitt zur Latenz: „TTFT ist wichtig für Streaminganwendungen, bei denen Sie sofort Feedback erhalten möchten.“
Was es für die Anwendung bedeutet
Die Antwort kommt in Teilen, und damit steht am Anfang nicht fest, was am Ende dastehen wird. Eine Anwendung, die auf ein vollständiges Datenformat wartet, kann mit den Teilen nichts anfangen und sammelt sie erst. Für die Anzeige im Chat ist Streaming deshalb das Mittel der Wahl, für eine strukturierte Ausgabe, die direkt weiterverarbeitet wird, liegt der Nutzen niedriger.
Wo es bei Agenten hilft
Bei langen Läufen ist Streaming die einzige Rückmeldung, die es gibt. Wer einem Agenten zehn Minuten zusieht, erkennt am laufenden Text, ob er auf dem richtigen Weg ist, und kann abbrechen, bevor die Zeit verbraucht ist. Ohne Streaming bleibt nur Warten und hinterher Prüfen. Dasselbe gilt für Denkschritte: Werkzeuge, die den Gedankengang mitlaufen lassen, machen damit sichtbar, woran gerade gearbeitet wird.