Human Oversight, auf Deutsch menschliche Aufsicht, bezeichnet die Pflicht, dass Menschen ein KI-System während seines Einsatzes wirksam überwachen können. Der Begriff stammt aus Artikel 14 der KI-Verordnung und gilt dort für Hochrisiko-Systeme.
- Human Oversight (Menschliche Aufsicht)
Die Pflicht, dass Menschen ein KI-System im Betrieb wirksam überwachen können.
Beispiel: „Für das Human Oversight wurde eine Rolle geschaffen, die Stichproben zieht und den Betrieb anhalten darf.“Abgrenzung zu Human in the Loop: Das beschreibt ein Ablaufmuster, bei dem ein Mensch an einer Stelle freigibt. Human Oversight ist der rechtliche Begriff und umfasst auch das Zusehen und das Eingreifenkönnen ohne feste Freigabestelle.
Entscheidend ist das Wort wirksam. Eine Aufsicht, die formal eingerichtet ist und faktisch nichts verhindern kann, erfüllt die Anforderung nicht.
Der Wortlaut in Artikel 14 der KI-Verordnung verlangt, dass solche Systeme „can be effectively overseen by natural persons during the period in which they are in use“. Absatz 4 nennt die Fähigkeiten dazu: die Grenzen des Systems verstehen, sich der „possible tendency of automatically relying or over-relying on the output“ bewusst bleiben, die Ausgabe verwerfen oder umkehren können und den Betrieb über „a ‚stop‘ button or a similar procedure“ anhalten können.
Der Punkt, an dem es in der Praxis bricht
Bei der Gewöhnung. Eine Person, die hundertmal am Tag dieselbe Ausgabe bestätigt, prüft nach kurzer Zeit nicht mehr, und die Verordnung benennt diese Neigung ausdrücklich. Aufsicht wirkt deshalb nur dort, wo sie selten genug gefordert wird, um aufmerksam zu bleiben, und wo die aufsichtführende Person genug Material für eine echte Entscheidung bekommt.
Wie man sie wirksam einrichtet
Mit vier Dingen. Eine benannte Rolle statt einer allgemeinen Zuständigkeit. Genug Zeit für die Prüfung, eingeplant und nicht nebenher. Material, das die Entscheidung trägt, also Eingabe, Ausgabe und Begründung nebeneinander. Und eine Befugnis, die wirklich besteht: Wer nicht anhalten darf, führt keine Aufsicht. Für Systeme außerhalb des Hochrisiko-Bereichs gilt nichts davon als Pflicht. Als Vorgehen taugt es trotzdem, weil es dieselbe Frage beantwortet: Wer merkt es, wenn das System etwas Falsches tut, und was geschieht dann?