Red Teaming heißt, ein KI-System planmäßig anzugreifen, um seine Schwachstellen vor dem Einsatz zu finden. Eine Gruppe versucht dabei bewusst, das System zu unerwünschtem Verhalten zu bringen, und protokolliert, was gelingt. Der Begriff kommt aus der Sicherheitsforschung und ist dort seit Jahrzehnten üblich.
- Red Teaming
Ein KI-System planmäßig angreifen, um seine Schwachstellen vor dem Einsatz zu finden.
Beispiel: „Beim Red Teaming kippte der Assistent nach dem vierten Rollenspielversuch und gab die interne Preisliste heraus.“Was dabei versucht wird: Sicherungen umgehen, siehe Jailbreak; Anweisungen über Material unterschieben, siehe Prompt Injection; Daten herauslocken, die nicht nach außen sollen; und das System zu Handlungen bringen, für die es keine Freigabe hat.
Abgrenzung zum Test: Ein Test prüft, ob das Gewünschte funktioniert. Red Teaming sucht das Unerwünschte und arbeitet dabei ohne festen Katalog, weil ein Angreifer sich auch an keinen hält.
Anthropic beschreibt das Vorgehen im Beitrag „Challenges in red teaming AI systems“ (Juni 2024) so: „It involves adversarially testing a technological system to identify potential vulnerabilities.“ Zugleich hält der Beitrag fest, woran das Feld leidet: „The lack of standardized practices for AI red teaming further complicates the situation.“
Wie es praktisch abläuft
In Runden. Eine Gruppe greift an, die Befunde werden nach Schwere geordnet, die Entwicklung baut Gegenmaßnahmen ein, und die nächste Runde prüft, ob sie halten. Dokumentiert wird jeder gelungene Angriff mit dem genauen Wortlaut, weil er später als Testfall dient. Teilweise übernehmen Modelle den Angriff selbst und erzeugen tausende Varianten eines Versuchs, was die Menge erhöht und die Erfindungsgabe der menschlichen Gruppe nicht ersetzt.
Was es für ein kleines Projekt bedeutet
Auch ohne eigenes Team lohnt eine halbe Stunde. Wer einen Assistenten auf der eigenen Website einsetzt, probiert selbst aus, was passiert, wenn jemand nach dem System-Prompt fragt, Anweisungen in ein hochgeladenes Dokument schreibt oder nach Preisen für andere Kunden fragt. Die Befunde daraus sind der erste Satz Testfälle, und sie sind fast immer ergiebiger als erwartet.