Chain of Thought, auf Deutsch Gedankenkette, ist eine Prompting-Technik für Sprachmodelle. Das Modell wird aufgefordert, seine Zwischenschritte auszuschreiben, bevor es die Antwort nennt. Aus „Wie viel kostet das?“ wird „Rechne Schritt für Schritt und nenne am Ende den Betrag.“
- Chain of Thought (CoT)
Ein Sprachmodell die Zwischenschritte ausschreiben lassen, damit das Ergebnis stimmt.
Beispiel: „Mit Chain of Thought rechnete das Modell die Staffelpreise richtig, ohne die Technik nannte es den Grundpreis.“Abgrenzung zu Reasoning-Modellen: Dort steckt der Denkschritt im Modell und läuft von selbst. Chain of Thought verlangt ihn über den Prompt, und zwar bei jedem Modell.
Herkunft: die Arbeit „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models“ von Wei und Kollegen, eingereicht im Januar 2022.
Warum das Aussprechen hilft
Ein Sprachmodell erzeugt ein Token nach dem anderen und liest dabei jedes Mal alles mit, was schon dasteht. Ein ausgeschriebener Zwischenschritt wird damit Teil der Eingabe für den nächsten Schritt. Das Modell rechnet also an einem Zwischenergebnis weiter, statt die ganze Aufgabe in einem Sprung zu erraten.
Die Arbeit von Wei und Kollegen (Januar 2022) zeigt den Effekt mit acht Beispielen an einem Modell mit 540 Milliarden Parametern, das damit auf dem Mathematik-Benchmark GSM8K den besten Wert erreichte und ein eigens nachtrainiertes GPT-3 übertraf.
Die abgespeckte Form
Für den Alltag genügt oft ein Satz. „Rechne Schritt für Schritt“ oder „Nenne erst die Kriterien, dann das Urteil“ im Prompt bringt denselben Effekt ohne jedes Beispiel. Das ist die Fassung, die in Werkzeugen wie Chatfenstern tatsächlich benutzt wird, und sie kostet nichts außer den Token für die Zwischenschritte.
Wo sie heute noch gebraucht wird
Bei Modellen ohne eigenen Denkschritt bleibt sie das Mittel der Wahl. Bei Reasoning-Modellen ist sie meist überflüssig und kann die Antwort sogar verschlechtern, wenn zwei Denkwege gegeneinander laufen. Gebraucht wird sie dort weiterhin, wo der Weg selbst gelesen werden soll: bei Rechnungen, die jemand prüfen muss, und bei Entscheidungen, die begründet werden. Ein Hinweis zur Vorsicht gehört dazu: Der ausgeschriebene Gedankengang ist eine Ausgabe des Modells und damit selbst prüfbedürftig. Er zeigt einen plausiblen Weg zum Ergebnis, und nicht zwangsläufig den, über den das Ergebnis zustande kam.