Few-Shot-Prompting heißt, einem Sprachmodell gelöste Beispiele in die Eingabe zu legen. Zwei bis fünf Paare aus Aufgabe und gewünschter Ausgabe genügen meist. Das Modell liest daran das Muster ab und setzt es für den neuen Fall fort.
- Few-Shot-Prompting
Dem Sprachmodell einige gelöste Beispiele mitgeben, damit es das Muster übernimmt.
Beispiel: „Few-Shot-Prompting mit drei alten Ticketantworten brachte den Tonfall auf Anhieb.“Abgrenzung zum Fine-Tuning: Beim Few-Shot-Prompting ändert sich am Modell nichts. Die Beispiele wirken nur innerhalb des Kontextfensters und sind nach dem Gespräch wieder weg.
Woher der Name kommt: aus der Arbeit zu GPT-3 von 2020, die Zero-Shot, One-Shot und Few-Shot als Stufen nach der Anzahl der Beispiele unterscheidet.
Was ein gutes Beispiel ausmacht
Es stammt aus dem eigenen Bestand und ist keine erfundene Musterlösung. Es hat genau die Form, die am Ende herauskommen soll, inklusive Satzzeichen und Feldnamen. Unter den Beispielen steht mindestens ein Randfall, denn daran lernt das Modell die Grenze. Und alle Beispiele sind gleich gebaut, weil jede Abweichung als erlaubte Variante gelesen wird.
Anthropic empfiehlt in den Richtlinien zum Prompting ausdrücklich, Beispiele mitzugeben, und nennt sie eines der wirksamsten Mittel überhaupt.
Wie viele Beispiele sinnvoll sind
Zwei bis fünf. Der Gewinn ist beim ersten Beispiel am größten und wird danach schnell kleiner; ab etwa acht Beispielen ist in der Regel kein Unterschied mehr zu sehen. Die Reihenfolge wirkt mit: Das letzte Beispiel vor der Aufgabe prägt stärker als das erste. Wer eine bestimmte Form sicher haben will, stellt den klarsten Fall deshalb an das Ende.
Was die Technik kostet
Die Beispiele stehen bei jeder einzelnen Anfrage wieder im Prompt und werden jedes Mal bezahlt. Bei drei kurzen Beispielen fällt das nicht auf, bei fünfzehn langen schon. Wer dieselben Beispiele dauernd mitschickt, legt sie an den Anfang und lässt sie zwischenspeichern, siehe Prompt-Caching und Inferenzkosten. Bei langen Beispielen kommt ein zweiter Punkt hinzu: Sie belegen Platz im Kontextfenster, der dann für das eigentliche Material fehlt. Ab einer bestimmten Menge ist Fine-Tuning die günstigere Rechnung, weil das Muster dann im Modell steckt und nicht in jeder Anfrage mitfährt.