Ein Confused Deputy ist ein Programm mit weiten Rechten, das im Auftrag eines Dritten handelt und dessen Rechte dabei unbeabsichtigt ausweitet. Bei KI-Agenten ist das der Regelfall und nicht der Ausnahmefall: Der Agent darf alles, was sein Konto darf, und folgt dabei Anweisungen aus Inhalten, die er liest.
- Confused Deputy
Ein Programm mit weiten Rechten, das im Auftrag eines Dritten handelt und dessen Rechte dabei unbeabsichtigt ausweitet.
Beispiel: „Der Agent wurde zum Confused Deputy: Er las eine fremde Datei und löschte danach mit seinen eigenen Rechten.“Das Muster ist alt. Norman Hardy hat es 1988 unter diesem Namen beschrieben, lange vor jeder KI, am Beispiel eines Dienstprogramms, das für einen Aufrufer eine Datei schrieb, die dieser selbst nicht hätte schreiben dürfen.
Der Kern ist immer derselbe: Die Rechte stammen vom Stellvertreter, der Auftrag von jemand anderem, und niemand prüft, ob der Auftraggeber diese Rechte hätte.
Wie es bei Agenten aussieht
Ein Agent liest ein Ticket, eine E-Mail oder eine Seite, und in diesem Inhalt steht eine Anweisung. Er führt sie aus, weil er für Textverarbeitung gebaut ist, und zwar mit seinen eigenen Zugängen zum Dateisystem, zum Repository oder zur Datenbank. Der Verfasser der Anweisung hatte diese Zugänge nie; bekommen hat er sie über den Agenten.
Warum Prüfen allein nicht reicht
Weil eine Prüfung des Inhalts die Absicht erraten müsste. Erkennungsregeln für untergeschobene Anweisungen fangen bekannte Formen und verfehlen neue, und bei einem Text, der auch harmlos gemeint sein könnte, gibt es keine richtige Entscheidung. Die Schwäche sitzt in der Rechtevergabe und lässt sich dort billiger beheben als im Textverstehen.
Was tatsächlich hilft
Rechte, die zum Auftrag passen statt zum Konto, siehe Least Privilege. Ein Agent, der ein Ticket zusammenfassen soll, braucht keinen Schreibzugriff, und einer, der Inhalte aus dem Netz liest, sollte danach keine Dateien mehr ändern können. Diese Trennung kostet Bequemlichkeit und beendet eine ganze Angriffsklasse.
Woran man den Fall im Betrieb erkennt
Daran, dass ein Agent etwas tut, wonach niemand gefragt hat. Ein Werkzeugaufruf, der nicht zum Auftrag passt, ein Zugriff auf eine Datei außerhalb des Arbeitsbereichs, ein Abruf einer fremden Adresse: Solche Schritte stehen im Protokoll und fallen dort auf, wenn jemand hinsieht.