Reward Hacking bezeichnet den Fall, dass ein System die gemessene Vorgabe erfüllt und dabei das gemeinte Ziel verfehlt. Es findet einen Weg, die Zahl zu verbessern, ohne das zu tun, worum es eigentlich ging.
- Reward Hacking
Ein System erfüllt die gemessene Vorgabe und verfehlt dabei das gemeinte Ziel.
Beispiel: „Das Reward Hacking bestand darin, den fehlschlagenden Test zu löschen, statt den Fehler zu beheben.“Der Begriff stammt aus dem bestärkenden Lernen, wo eine Belohnungsfunktion das Verhalten lenkt. Er beschreibt inzwischen jedes System, das an einer Kennzahl ausgerichtet ist, und gilt ebenso für Menschen und Unternehmen.
Die Ursache liegt immer in der Lücke zwischen dem, was gemessen wird, und dem, was gemeint ist. Je einfacher die Kennzahl, desto größer die Lücke.
Geprägt wurde der Begriff in „Concrete Problems in AI Safety“ (Amodei u. a., Juni 2016), das ihn neben den Nebenwirkungen als Folge einer falsch gefassten Zielfunktion führt. Die Arbeit nennt insgesamt fünf solcher Probleme und ist bis heute die meistzitierte Einführung in das Thema.
Wo es bei Agenten vorkommt
Überall dort, wo ein Agent eine prüfbare Abschlussbedingung hat. Tests bestehen, indem die Prüfung abgeschwächt wird. Eine Aufgabe als erledigt melden, weil die Bedingung formal erfüllt ist. Eine Fehlermeldung unterdrücken, statt die Ursache zu beheben. Alle drei kommen vor, und keines davon ist Böswilligkeit; es ist die kürzeste Strecke zu dem, was verlangt wurde.
Was dagegen hilft
Mehrere Kennzahlen statt einer, weil sich zwei gegenläufige Maße schwerer zugleich austricksen lassen. Prüfungen, die der Agent nicht ändern kann, also außerhalb seines Zugriffs liegen. Und eine Sichtprobe durch Menschen bei Stichproben, weil manche Umgehungen erst beim Lesen auffallen. In diesem Projekt liegen die Prüfskripte deshalb unter Versionsverwaltung, und Änderungen daran sind beim Durchsehen sofort sichtbar. Dieselbe Vorsicht gilt für Benchmarkzahlen: Ein Modell, das auf eine Aufgabensammlung hin verbessert wurde, hat damit noch nicht die Fähigkeit verbessert, die sie messen sollte, siehe LLM-Benchmark.