Rate Limiting ist die Begrenzung, wie viele Anfragen ein Nutzer oder ein Programm in einer Zeitspanne stellen darf. Es ist eine Grundfunktion jeder Schnittstelle im Web und bei KI-Diensten besonders spürbar.
- Rate Limiting
Die Begrenzung, wie viele Anfragen ein Nutzer oder Programm in einer Zeitspanne stellen darf.
Beispiel: „Das Rate Limiting erlaubte 60 Anfragen je Minute, und der Import brach bei 61 ab.“Im Web allgemein: Schutz vor Überlastung, vor automatisiertem Abgreifen von Inhalten und vor dem Durchprobieren von Zugangsdaten an Anmeldeformularen. Üblich seit es Schnittstellen gibt.
Bei KI-Diensten kommt eine zweite Größe hinzu: Begrenzt wird nicht nur die Zahl der Anfragen, sondern auch die Menge der verarbeiteten Einheiten je Minute.
Abgrenzung zum Nutzungskontingent: Das ist die Menge über einen längeren Zeitraum. Hier geht es um die Spitze.
Wofür es im Web dient
Für Betriebsschutz und für Fairness. Ein Dienst ohne Begrenzung fällt beim ersten fehlgeleiteten Programm aus, und ein einzelner Nutzer kann alle anderen ausbremsen. Bei Formularen und Anmeldungen kommt der Sicherheitszweck hinzu: Ohne Begrenzung lassen sich Kennwörter in Ruhe durchprobieren.
Warum es bei KI-Diensten besonders greift
Weil Agenten in Schüben arbeiten. Ein Lauf stellt dutzende Anfragen in Sekunden, und mehrere Läufe nebeneinander erreichen die Grenze sofort. Die Folge sind abgebrochene Läufe mitten in der Arbeit, und das ist teurer als das Warten, weil der halbe Lauf bezahlt und verworfen wird.
Wie man damit umgeht
Mit Wiederholung nach wachsender Wartezeit und mit einer Stelle, die zählt. Eine Anfrage, die an der Grenze scheitert, wird nach einer Pause wiederholt, und die Pause verdoppelt sich mit jedem Versuch. Wer mehrere Anwendungen betreibt, bündelt den Zugang, damit die Grenze nicht unbemerkt von zwei Seiten erreicht wird, siehe LLM-Gateway.
Was in die eigene Schnittstelle gehört
Eine Begrenzung und eine ehrliche Antwort. Wer selbst eine Schnittstelle anbietet, setzt eine Grenze und liefert im Fall der Überschreitung den passenden Statuscode samt Angabe, wann es weitergeht. Eine Begrenzung ohne diese Angabe führt dazu, dass Programme blind weiterprobieren und die Lage verschlimmern.