Prompt-Monitoring ist das laufende Mitschneiden und Auswerten der Anfragen und Antworten einer KI-Anwendung im Betrieb. Es ist bei KI-Funktionen das, was Fehlerprotokolle bei gewöhnlicher Software sind, nur mit anderem Inhalt.
- Prompt-Monitoring
Das laufende Mitschneiden und Auswerten der Anfragen und Antworten einer KI-Anwendung.
Beispiel: „Das Prompt-Monitoring zeigte, dass ein Drittel der Anfragen gar nicht zum Zweck der Anwendung passte.“Was mitgeschnitten wird: die Anfrage, die Antwort, der Modellstand, Dauer, Verbrauch und ob der Nutzer danach abgebrochen oder weitergemacht hat.
Abgrenzung zur Evaluation: Die prüft vor dem Start an festen Fällen. Das Mitschneiden läuft danach und mit echten.
Was man daran erkennt
Dreierlei. Erstens, wofür die Funktion tatsächlich benutzt wird, und das weicht regelmäßig von der Absicht ab. Zweitens, wo sie scheitert, denn gescheiterte Anfragen sehen anders aus als geglückte. Drittens, was sie kostet, und zwar nach Anwendungsfall aufgeschlüsselt statt als Summe am Monatsende.
Was rechtlich dabei gilt
Ein Mitschnitt mit Nutzereingaben ist eine Verarbeitung personenbezogener Daten, sobald sich die Eingaben einer Person zuordnen lassen, und in Freitextfeldern steht erfahrungsgemäß alles. Es braucht also eine Rechtsgrundlage, eine Frist und eine Angabe in der Datenschutzerklärung. Wer das überspringt, hat eine zweite Datensammlung, von der niemand weiß, siehe Datenschutz bei KI-Tools.
Wie wir es einrichten
Mit kurzer Frist und einer Stichprobe. Die vollständigen Mitschnitte werden nach wenigen Tagen gelöscht, die Kennzahlen bleiben, und einmal in der Woche sieht ein Mensch zwanzig zufällige Fälle durch. Diese zwanzig Fälle haben in jedem Projekt mehr gebracht als jede Kennzahl, weil in ihnen die Dinge stehen, nach denen niemand gesucht hätte.
Was man nicht mitschneiden sollte
Zugangsdaten, vollständige Dokumente und Felder, in denen Nutzer frei schreiben können, ohne Not. Der Mitschnitt soll zeigen, wie die Funktion benutzt wird, und dafür genügen oft die Kennzahlen und eine gekürzte Fassung. Was einmal in einem Protokoll steht, wandert mit jeder Sicherung weiter, und das lässt sich hinterher kaum einfangen.