Ein Token-Budget ist die Obergrenze an Token, die für eine Aufgabe, einen Lauf oder einen Zeitraum vorgesehen ist. Es dient zwei Zwecken: die Kosten zu begrenzen und einen Agenten zu beenden, der nicht zum Ende kommt.
- Token-Budget
Die Obergrenze an Token, die für eine Aufgabe oder einen Zeitraum vorgesehen ist.
Beispiel: „Das Token-Budget je Agentenlauf liegt bei 200.000, und danach bricht der Lauf mit einem Zwischenstand ab.“Abgrenzung zum Kontextfenster: Das ist eine technische Obergrenze je Anfrage. Ein Budget ist eine selbstgesetzte Grenze über viele Anfragen hinweg.
Abgrenzung zum Nutzungskontingent: Das setzt der Anbieter für den Tarif. Ein Budget setzt man selbst, und zwar feiner: je Aufgabe, je Projekt, je Kunde.
Wofür man es setzt
Für drei Fälle. Bei Agenten, damit ein Lauf endet, statt sich im Kreis zu drehen. Bei Kundenprojekten, damit die Kosten einem Projekt zugeordnet werden können. Und bei Diensten mit offener Nutzung, damit ein Fehler oder ein Missbrauch nicht über Nacht eine Rechnung erzeugt, die niemand erwartet hat.
Wie man es bemisst
Aus der Messung und nicht aus dem Gefühl. Zehn typische Läufe mitschreiben, den Verbrauch ansehen, und die Grenze beim Zwei- bis Dreifachen des Mittelwerts ansetzen. Zu eng gesetzte Budgets brechen brauchbare Läufe kurz vor dem Ziel ab und kosten dadurch den gesamten Verbrauch ohne Ergebnis. Das ist der teuerste aller Fälle, und er fällt in der Abrechnung nicht auf, weil dort nur der Verbrauch steht und nicht das fehlende Ergebnis.
Was beim Abbruch geschehen sollte
Ein Zwischenstand und eine Meldung, keine stille Beendigung. Ein Lauf, der ohne Spur endet, verbrennt den Einsatz vollständig; einer, der seinen Stand festhält, lässt sich fortsetzen oder zumindest auswerten. Deshalb gehört zum Budget immer die Frage, was im Augenblick des Abbruchs gesichert wird. Bewährt hat sich eine Warnschwelle vor der Grenze: Bei achtzig Prozent meldet sich der Lauf, fasst zusammen und fragt, ob er weitermachen soll.