Batch-Verarbeitung ist bei KI-Diensten das Einreichen vieler Anfragen als Stapel, der ohne Eile abgearbeitet wird. Die Antworten kommen nicht sofort, sondern innerhalb einer zugesagten Frist, und dafür ist der Preis deutlich niedriger.
- Batch-Verarbeitung (KI)
Das Einreichen vieler KI-Anfragen als Stapel, der ohne Eile abgearbeitet wird.
Beispiel: „Die Batch-Verarbeitung erledigte 12.000 Produkttexte über Nacht zum halben Preis.“Wie es abläuft: Eine Datei mit allen Anfragen geht hinein, der Dienst arbeitet sie ab, und am Ende liegt eine Datei mit allen Antworten bereit. Üblich ist eine Frist von bis zu einem Tag.
Der Begriff ist älter als die KI. Stapelverarbeitung heißt in der Datenverarbeitung seit den 1950er Jahren, Aufträge gesammelt und ohne Dialog abzuarbeiten; Lohnläufe und Nachtverarbeitung in Banken funktionieren bis heute so.
Wofür sich das eignet
Für alles ohne Wartenden. Produkttexte für einen ganzen Katalog, Alt-Texte für einen Bildbestand, Einordnung von zehntausend Anfragen, Übersetzung einer Dokumentation: Dort wartet niemand auf eine einzelne Antwort, und der halbe Preis ist unmittelbar bares Geld.
Wo die Grenze liegt
Bei allem mit Nutzer davor. Für eine Funktion in einer Website kommt die Stapelverarbeitung nicht in Frage, denn die Antwort kann erst morgen eintreffen. Ebenso ungeeignet ist sie für Agenten: Die brauchen das Ergebnis eines Schrittes, um den nächsten zu planen, und ein Stapel kennt keine Reihenfolge.
Was man dabei einplanen muss
Die Nachbereitung. Ein Stapel von zehntausend Antworten enthält immer welche, die unbrauchbar sind, und die fallen nicht auf, weil niemand jede einzelne liest. Deshalb gehören eine maschinelle Prüfung auf Form und Länge sowie eine Stichprobe dazu, bevor das Ergebnis veröffentlicht wird.
Was die Frist in der Praxis bedeutet
Planung statt Geduld. Eine zugesagte Frist von einem Tag heißt nicht, dass es einen Tag dauert; häufig ist es eine Stunde, und gelegentlich der ganze Tag. Für einen Termin plant man deshalb mit der zugesagten Frist und nicht mit der beobachteten, und bei großen Mengen mit mehreren Teilstapeln, damit nicht alles an einem Fehler hängt.