Guardrails sind Regeln und Prüfungen um ein KI-System herum, die unerwünschte Ausgaben und Handlungen verhindern. Der Begriff ist aus dem Straßenbau entlehnt: Die Leitplanke hält das Fahrzeug auf der Fahrbahn, ohne es zu lenken.
- Guardrails (KI)
Regeln und Prüfungen um ein KI-System herum, die unerwünschte Ausgaben und Handlungen verhindern.
Beispiel: „Die Guardrails lassen den Agenten lesen und schreiben, aber nichts löschen und nichts versenden.“Drei Ebenen, die oft zusammenwirken. Vor dem Modell: Eingaben prüfen und verwerfen. Im Prompt: Regeln in der Systemanweisung, siehe System-Prompt. Nach dem Modell: Ausgaben prüfen, Rechte begrenzen, Handlungen bestätigen lassen.
Abgrenzung zur Ausrichtung des Modells selbst: Antrainiertes Verhalten wirkt überall, ist aber umgehbar, siehe Jailbreak. Guardrails liegen außerhalb und greifen auch dann, wenn das Modell sich überreden ließ.
Warum sie außerhalb des Modells gehören
Weil ein Modell Wahrscheinlichkeiten berechnet und keine Regeln ausführt. Eine Anweisung in Worten lässt sich mit Worten aufweichen; eine Rechteverwaltung, die kein Löschen erlaubt, lässt sich nicht überreden. Die belastbaren Grenzen sitzen deshalb in der Anwendung: welche Werkzeuge es überhaupt gibt, welche Daten sie sehen und was ohne menschliche Bestätigung geschieht.
Wo sie bei Agenten besonders zählen
Sobald ein System selbst handelt, wird aus einer schlechten Antwort ein schlechter Vorgang. Ein untergeschobener Befehl im abgerufenen Material kann dann eine Mail versenden oder Daten abfließen lassen, siehe Prompt Injection. Üblich sind deshalb knappe Rechte je Aufgabe, eine Bestätigung vor allem Nachaußenwirksamen und ein Protokoll, das hinterher zeigt, was geschehen ist.
Was sie nicht leisten
Sie machen die Ausgaben nicht richtig. Eine Prüfung auf verbotene Begriffe erkennt kein falsches Datum und keine erfundene Fundstelle. Guardrails begrenzen den Schaden und ersetzen die fachliche Prüfung nicht; wer beides verwechselt, hält ein System für sicher, weil es brav klingt. Die zweite Grenze ist die Reibung: Zu enge Leitplanken machen ein Werkzeug unbrauchbar, und dann arbeiten die Leute daran vorbei. Was dabei entsteht, steht in diesem Glossar unter Schatten-KI.