Der Token-Preis ist der Preis, den ein KI-Anbieter je Million verarbeiteter Token berechnet. Er ist die Grundlage jeder Kostenrechnung für den Betrieb und wird getrennt nach Eingabe und Ausgabe angegeben.
- Token-Preis
Der Preis, den ein KI-Anbieter je Million verarbeiteter Token berechnet.
Beispiel: „Der Token-Preis für die Ausgabe liegt bei den meisten Modellen etwa fünfmal so hoch wie für die Eingabe.“Warum die Ausgabe teurer ist: Eingabetoken werden in einem Durchgang verarbeitet, Ausgabetoken einzeln nacheinander erzeugt. Der Unterschied liegt je nach Anbieter beim Vier- bis Fünffachen.
Abschläge und Aufschläge: Zwischengespeicherte Eingaben kosten einen Bruchteil, siehe Prompt-Caching; Stapelverarbeitung ist oft um die Hälfte günstiger; sehr lange Eingaben können einen Aufschlag tragen.
Wie man überschlägt
Mit einer groben Umrechnung: Eine Million Token entspricht etwa 555.000 Wörtern beim heutigen Zerlegungsverfahren, deutscher Text liegt wegen der Zusammensetzungen etwas darüber. Für eine einzelne Anfrage mit 2.000 Token Eingabe und 500 Token Ausgabe zahlt man damit Bruchteile eines Cents; relevant wird es erst bei hohen Mengen oder bei Agenten mit vielen Schritten. Für eine erste Schätzung genügt: tausend Anfragen am Tag mit je 3.000 Token kosten bei einem mittleren Modell im niedrigen einstelligen Eurobereich je Tag.
Warum die Rechnung oft daneben liegt
Weil der Gesprächsverlauf mitwächst. Bei einem Agenten mit zwanzig Schritten wird der bisherige Verlauf zwanzigmal mitbezahlt, und damit steigen die Kosten quadratisch statt linear. Dasselbe gilt für Chats mit langen Dokumenten darin. Wer überschlägt, rechnet deshalb mit der Summe über alle Durchgänge und nicht mit der Länge einer einzelnen Anfrage.
Was den Preis am stärksten senkt
Die Wahl des Modells. Zwischen dem kleinsten und dem größten Modell einer Familie liegt häufig ein Faktor von vierzig bis hundert. Für Einsortieren, Auslesen und Umformulieren genügt das kleinste, und genau dafür fällt der größte Teil der Menge an. Das Verteilen auf passende Modelle ist deshalb der wirksamste Hebel, siehe Modellrouting.