Time to First Token ist die Zeit zwischen der Anfrage an ein Sprachmodell und dem ersten ausgegebenen Token. Sie bestimmt, wie schnell sich eine KI-Anwendung anfühlt, und zwar stärker als die Gesamtdauer einer Antwort.
- Time to First Token (TTFT)
Die Zeit zwischen Anfrage und erstem ausgegebenen Token eines Sprachmodells.
Beispiel: „Die Time to First Token lag bei 2,8 Sekunden, und Nutzer hielten die Anwendung für kaputt.“Was in dieser Zeit passiert: Das Modell liest die gesamte Eingabe ein, bevor es das erste Zeichen ausgibt. Je länger die Eingabe, desto länger die Wartezeit.
Der zweite Wert daneben ist die Ausgabegeschwindigkeit in Einheiten je Sekunde. Beide zusammen ergeben die Gesamtdauer, und nur der erste entscheidet über den Eindruck.
Warum der erste Wert so viel zählt
Weil eine Antwort, die läuft, geduldig macht. Sobald Text erscheint, lesen Nutzer mit und warten bereitwillig zehn Sekunden auf das Ende; vor dem ersten Zeichen gilt eine Grenze von etwa einer Sekunde, danach wirkt die Anwendung hängend. Das ist derselbe Zusammenhang wie bei Ladezeiten im Web, und Token-Streaming ist die Maßnahme, die daraus folgt.
Was den Wert in die Höhe treibt
Lange Eingaben und große Modelle. Ein ausführlicher System-Prompt, ein angehängtes Dokument, zwanzig vorangegangene Beiträge im Verlauf: Alles das muss vor dem ersten Zeichen gelesen werden. Dazu kommt die Wartezeit beim Anbieter in Spitzenzeiten, die man nicht beeinflussen kann.
Was dagegen hilft
Kürzere Eingaben, ein kleineres Modell für einfache Fälle und ein Zwischenspeicher für den immer gleichen Teil der Anweisung. Dazu eine Anzeige, die sofort reagiert: Wer im Moment des Absendens einen Hinweis zeigt, kauft sich eine Sekunde. In unseren Projekten messen wir diesen Wert bei der Abnahme mit, weil er sich zwischen Erprobung und Betrieb regelmäßig verdoppelt.
Wann man den Wert messen muss
Zur Lastspitze und nicht am Vormittag. Die Wartezeit beim Anbieter schwankt über den Tag, und abends in Europa fällt sie mit dem Arbeitsbeginn in Amerika zusammen. Eine Messung aus der Erprobung taugt deshalb nicht für die Abnahme; gebraucht werden Werte über eine Woche, und zwar der langsamste davon.