Prompt-Caching speichert den gleichbleibenden Anfang eines Prompts zwischen, damit das Sprachmodell ihn bei der nächsten Anfrage nicht erneut verarbeiten muss. Gedacht ist es für alles, was bei jeder Anfrage identisch mitfährt: Systemanweisung, Werkzeugliste, Handbuch, Beispielsammlung.
- Prompt-Caching
Den gleichbleibenden Anfang eines Prompts zwischenspeichern, statt ihn jedes Mal neu zu verarbeiten.
Beispiel: „Mit Prompt-Caching fiel der Preis je Anfrage auf ein Fünftel, weil das Handbuch nur noch einmal gezahlt wurde.“Wie es greift: Gespeichert wird immer ein Anfang, kein beliebiges Stück aus der Mitte. Was vorne steht, bleibt also stehen, und nur der veränderliche Teil wandert nach hinten. Eine Änderung am Anfang macht den Speicher wertlos.
Abgrenzung zum Memory: Das Memory hält Inhalte fest, die ein Modell später wieder lesen soll. Der Zwischenspeicher hält die Rechenarbeit fest und ändert am Inhalt nichts.
Die Dokumentation von Anthropic beschreibt den Zweck so: „Prompt caching optimizes your API usage by allowing resuming from specific prefixes in your prompts.“ Das Lesen aus dem Speicher kostet ein Zehntel des Eingabepreises, das Anlegen das 1,25-fache bei fünf Minuten Haltbarkeit und das Doppelte bei einer Stunde. Standard sind fünf Minuten, und jede Benutzung verlängert sie kostenlos. Die Mindestlänge liegt je Modell bei 512 bis 4.096 Token; kürzere Prompts werden stillschweigend ohne Speicher verarbeitet.
Wofür es sich rechnet
Für drei Fälle. Ein Assistent mit langer Systemanweisung, der hundertmal am Tag befragt wird. Ein Agent, der in einem Lauf dutzende Anfragen mit demselben Werkzeugsatz stellt. Und eine Auswertung, die dasselbe Dokument mit vielen verschiedenen Fragen durchgeht. In allen drei Fällen ist der gleichbleibende Anteil groß und der veränderliche klein.
Wie der Prompt dafür gebaut wird
Von stabil nach veränderlich. Zuerst die Systemanweisung, dann die Werkzeuge, dann das Material, zuletzt die aktuelle Frage. Dieselbe Reihenfolge, die beim langen Material ohnehin empfohlen wird, ist damit auch die günstigere. Wer die Reihenfolge umdreht und die Frage nach oben setzt, verschenkt den Speicher bei jeder Anfrage. Zu beachten ist außerdem die Haltbarkeit: Fünf Minuten reichen für ein laufendes Gespräch, für einen Dienst mit Lastspitzen am Morgen und Abend lohnt die Stunde, obwohl das Anlegen dort doppelt kostet.