Prompt-Optimierung ist das automatisierte Verbessern eines Prompts. Ein Programm erzeugt Varianten, lässt sie gegen eine Sammlung von Testfällen laufen, misst die Ergebnisse und behält, was besser abschneidet. Die Arbeit, die beim Prompt Engineering ein Mensch macht, übernimmt hier eine Schleife.
- Prompt-Optimierung
Das automatisierte Verbessern eines Prompts durch ein Programm, das Varianten erzeugt und misst.
Beispiel: „Die Prompt-Optimierung lief über Nacht und hob die Trefferquote bei der Einsortierung von 71 auf 88 Prozent.“Was dabei verändert wird: Wortwahl und Aufbau der Anweisung, Reihenfolge und Auswahl der Beispiele, manchmal auch die Rolle. Was nicht verändert wird: das Modell und die Daten.
Abgrenzung: Das Prompt Engineering entwirft, die Prompt-Optimierung feilt. Sie setzt einen brauchbaren Entwurf voraus und ersetzt ihn nicht.
Was sie voraussetzt
Zwei Dinge, die es oft noch nicht gibt: ein Erfolgskriterium, das sich ausrechnen lässt, und genug Testfälle, an denen gemessen wird. Ohne beides hat die Schleife nichts, woran sie sich ausrichten könnte, und erzeugt nur Varianten.
Dass es sich um einen eigenen Arbeitsschritt handelt, hält auch die Herstellerseite fest: Das Glossar von Google Cloud unterscheidet den Prompt vom Prompt Engineering, also dem methodischen Entwerfen und Verbessern, und davon noch einmal die Prompt-Optimierung, bei der dieses Verbessern automatisiert wird.
Wann sie sich lohnt
Bei Aufgaben mit Menge und messbarem Ergebnis: Texte einsortieren, Daten aus Dokumenten ziehen, Anfragen weiterleiten, Metadaten erzeugen. Je öfter derselbe Prompt läuft, desto eher zahlt sich ein Prozentpunkt mehr aus.
Wo sie nichts ausrichtet
Bei allem, wofür es kein Maß gibt. Ob ein Text den Tonfall des Hauses trifft, entscheidet niemand per Kennzahl, und eine Schleife, die auf eine schlecht gewählte Kennzahl optimiert, liefert verlässlich das Falsche. In unseren Projekten lohnt sie sich dort, wo wir vorher schon von Hand gezählt haben, was gut und was schlecht war.
Dazu kommt eine Eigenart, die man kennen sollte: Ein optimierter Prompt ist auf das Modell zugeschnitten, an dem gemessen wurde. Nach einem Modellwechsel gilt das Ergebnis nicht automatisch weiter, und die Schleife läuft am besten noch einmal.