Ein Scratchpad ist der Arbeitsbereich, in dem ein Sprachmodell Zwischenschritte ablegt, bevor es antwortet. Dort entstehen Rechenwege, verworfene Ansätze und Zwischenergebnisse, die in der ausgegebenen Antwort nicht mehr auftauchen. Der Begriff kommt aus der Forschung zum mehrschrittigen Schließen und steht heute für den gesamten verborgenen Teil eines Antwortvorgangs.
- Scratchpad
Der Arbeitsbereich, in dem ein Modell Zwischenschritte ablegt, die nicht in der Antwort erscheinen.
Beispiel: „Das Modell rechnete die Zwischensummen im Scratchpad und gab nur das Ergebnis aus.“Was darin steht, ist Text wie jeder andere und vom Modell selbst erzeugt. Für das Modell gehört er zum Zusammenhang, für den Leser nicht zur Antwort.
Bei nutzungsabhängiger Abrechnung zählt dieser Text als Ausgabe, auch wenn ihn niemand zu sehen bekommt.
Was den Scratchpad von der Chain of Thought unterscheidet
Die Chain of Thought ist die Gedankenkette selbst, also die Abfolge der Zwischenschritte. Der Scratchpad ist der Ort, an dem sie steht, und die Übereinkunft, dass sie dort bleibt. Eine Gedankenkette lässt sich auch mitten in die Antwort schreiben; dann gibt es eine Chain of Thought und keinen Scratchpad.
In der Praxis fallen beide meist zusammen, weil heutige Modelle ihre Zwischenschritte in einen getrennten Bereich schreiben. Die Unterscheidung lohnt trotzdem, weil sie zwei Fragen auseinanderhält: wie das Modell zum Ergebnis kommt und was davon der Leser zu sehen bekommt.
Warum der Inhalt selten vollständig sichtbar ist
Ob und wie viel ein Anbieter herausgibt, unterscheidet sich von Dienst zu Dienst und ändert sich mit jeder Version. Verbreitet ist eine gekürzte oder zusammengefasste Wiedergabe statt des Wortlauts.
Wer den sichtbaren Teil liest, liest eine Beschreibung und kein Protokoll. Es handelt sich um selbst erzeugten Text, nicht um einen Mitschnitt der Berechnung. Eine plausibel klingende Begründung im Scratchpad belegt deshalb nicht, dass die Antwort auf diesem Weg zustande kam.
Was daraus für die Arbeit damit folgt
Zum einen kostet ein langer Scratchpad Zeit und Geld, weil er als Ausgabe zählt. Wo ein Modell einen Regler für den Umfang anbietet, ist der niedrigere Wert für einfache Aufgaben oft die bessere Wahl, siehe Reasoning Effort.
Zum anderen taugt der Scratchpad nicht als Nachweis. Wer nachvollziehbar machen muss, warum ein Vorgang so entschieden wurde, protokolliert Eingabe, Ausgabe und die Freigabe durch einen Menschen und nicht die Zwischenschritte des Modells.