Kontextcache ist die deutsche Bezeichnung und beschreibt genau die Stelle, an der gespart wird: Der unveränderliche Anfang einer Anfrage wird einmal verarbeitet und danach wiederverwendet. Damit sinkt der Preis für diesen Teil erheblich, und die Antwort beginnt früher.
Siehe: Prompt-Caching