Inferenzkosten sind die laufenden Kosten für die Beantwortung von Anfragen durch ein KI-Modell. Abgerechnet wird nach Token, getrennt nach Eingabe und Ausgabe, und angegeben je Million. Sie fallen bei jeder einzelnen Anfrage an.
- Inferenzkosten
Die laufenden Kosten für die Beantwortung von Anfragen durch ein KI-Modell, abgerechnet je Token.
Beispiel: „Die Auswertung von 4.000 Dokumenten verursachte 11 Euro Inferenzkosten.“Woraus sie sich zusammensetzen: Eingabetoken, Ausgabetoken und, je nach Modell, ein Aufschlag für Denkschritte. Ausgabe kostet durchweg mehr als Eingabe, je nach Anbieter das Vier- bis Fünffache.
Abgrenzung zum Nutzungskontingent: Das Kontingent begrenzt, wie viel in einem Zeitraum geht. Die Inferenzkosten sagen, was es gekostet hat. Pauschaltarife verstecken die Kosten, abschaffen tun sie sie nicht.
Welche Hebel wirklich wirken
Vier, und sie wirken unterschiedlich stark. Die Wahl der Modellvariante ändert den Preis um ein Vielfaches und ist damit der größte Hebel. Kürzere Antworten senken den teuren Teil. Ein sauber zugeschnittener Kontext senkt den billigen Teil, der bei langen Anhängen trotzdem ins Gewicht fällt. Und zwischengespeicherte Antworten kosten gar nichts.
Wo die Rechnung überrascht
Beim Gesprächsverlauf. Weil bei jeder neuen Frage der gesamte bisherige Verlauf erneut mitgeschickt wird, wächst der Eingabeanteil mit jedem Schritt. Eine Unterhaltung über zwanzig Runden kostet deshalb ein Vielfaches von zwanzig einzelnen Fragen.
Wie man sie vorher abschätzt
Mit einer Stichprobe statt einer Hochrechnung aus dem Bauch. Zwanzig echte Fälle durchlaufen lassen, die gemeldeten Token-Zahlen notieren und auf die erwartete Menge hochrechnen. In unseren Projekten weicht diese Schätzung selten um mehr als ein Viertel ab, während Schätzungen ohne Stichprobe regelmäßig um den Faktor zwei danebenliegen.
Die Grundlage der Rechnung steht in jeder Preisliste. Die Modellübersicht von Anthropic weist je Modell einen Preis je Million Eingabetoken und einen höheren je Million Ausgabetoken aus, dazu gesonderte Sätze für zwischengespeicherte Eingaben. Zwischen der kleinsten und der größten Stufe einer Familie liegt dabei ein Vielfaches.
Den größten Sprung macht die Rechnung bei zwischengespeicherten Eingaben. Wo derselbe Vorspann in vielen Anfragen wiederkehrt, etwa ein langer System-Prompt, senkt das Zwischenspeichern den Preis dieses Teils erheblich.