Zero-Shot-Prompting heißt, einem Sprachmodell eine Aufgabe ohne jedes Beispiel zu stellen. Die Anweisung steht allein da, und das Modell löst sie aus dem, was im Training steckt. Der Name zählt die mitgegebenen Beispiele, und das sind null.
- Zero-Shot-Prompting
Eine Aufgabe ohne Beispiel stellen und erwarten, dass das Sprachmodell sie trotzdem löst.
Beispiel: „Für die Übersetzung reichte Zero-Shot-Prompting, erst beim Tonfall mussten Beispiele her.“Abgrenzung zum Few-Shot-Prompting: Dort liegen zwei bis fünf gelöste Fälle im Prompt. Der Unterschied liegt allein in der Eingabe, am Modell ändert sich in beiden Fällen nichts.
Woher der Name kommt: aus der Forschungssprache, wo „shot“ ein mitgeliefertes Beispiel bezeichnet. Geprägt hat ihn die Arbeit zu GPT-3 von 2020, die Zero-, One- und Few-Shot als drei Stufen derselben Sache beschreibt.
Wofür es reicht
Für alles, was ein Modell tausendfach gesehen hat: übersetzen, zusammenfassen, umformulieren, einsortieren, Rechtschreibung prüfen, einen Text in eine Tabelle überführen. Heutige Modelle sind ausdrücklich darauf trainiert, Anweisungen ohne Beispiel zu befolgen, und deshalb ist Zero-Shot der Normalfall im Alltag. Jeder Chat beginnt so.
Die Unterscheidung stammt aus „Language Models are Few-Shot Learners“ (Brown u. a., Mai 2020). Die Arbeit zeigt am Modell mit 175 Milliarden Parametern, dass die Beispiele im Prompt wirken, obwohl es „without any gradient updates or fine-tuning“ eingesetzt wird.
Warum es heute besser funktioniert als 2020
Die Modelle werden inzwischen ausdrücklich darauf nachtrainiert, Anweisungen zu befolgen. Menschen bewerten dabei Antwortpaare, und das Modell lernt aus diesen Vorlieben, siehe RLHF. Dadurch ist ein Verhalten eingeübt, das früher über Beispiele im Prompt erzeugt werden musste. Das ist der Grund, warum alte Ratgeber mehr Beispiele verlangen, als heute nötig sind.
Woran man merkt, dass Beispiele fehlen
Drei Anzeichen. Die Form der Ausgabe schwankt von Durchlauf zu Durchlauf. Der Tonfall passt nicht zum Haus. Randfälle werden falsch einsortiert, obwohl die Regel im Prompt steht. In diesen Fällen kostet ein Beispiel wenige Token und bringt mehr als drei weitere Sätze Anweisung. Umgekehrt lohnt der Versuch ohne Beispiel immer zuerst, weil er schneller geschrieben ist und bei einfachen Aufgaben schon trägt.