Bias in KI-Systemen bezeichnet eine systematische Schieflage, die dazu führt, dass ein System bestimmte Gruppen oder Fälle regelmäßig anders behandelt. Gemeint ist der Fehler, der in eine Richtung geht und sich wiederholt, und nicht der zufällige.
- Bias in KI-Systemen
Eine systematische Schieflage in Daten, Verfahren oder Nutzung, die Gruppen benachteiligt.
Beispiel: „Der Bias zeigte sich erst bei der Auswertung nach Postleitzahlen, nicht in der Gesamtzahl.“NIST unterscheidet drei Arten: die systemische Verzerrung aus Verfahren und Gepflogenheiten von Einrichtungen, die statistische und rechnerische aus den Daten und der Modellbildung, und die menschliche aus den Urteilen der Beteiligten.
Woher sie kommt: fast nie aus Absicht. Trainingsdaten bilden die Welt ab, aus der sie stammen, einschließlich ihrer Ungleichgewichte, und ein Modell übernimmt sie, weil es Muster sucht.
Die Einteilung stammt aus NIST SP 1270 (März 2022). Zur systemischen Art heißt es dort, sie ergebe sich aus „procedures and practices of particular institutions that operate in ways which result in certain social groups being advantaged or favored and others being disadvantaged or devalued“, und ausdrücklich: „This need not be the result of any conscious prejudice or discrimination.“
Der Satz, der am meisten gegen die Illusion hilft
NIST hält fest, dass menschliche Verzerrungen meist unbewusst wirken, und schließt daraus: Die Annahme, Verzerrungen ließen sich durch menschliche Kontrolle oder Aufmerksamkeit beheben, sei kein Erfolgsrezept. Wer Bias nur durch Achtsamkeit bekämpfen will, hat damit das Falsche versucht. Was wirkt, ist Messen.
Was praktisch hilft
Die Ergebnisse nach Gruppen getrennt auswerten, statt nur den Durchschnitt zu betrachten. Eine Trefferquote von 94 Prozent kann aus 98 für die eine und 71 für die andere Gruppe bestehen, und das sieht man nur, wenn man danach fragt. Dazu kommt die Prüfung der Daten vor dem Training und ein fester Satz von Testfällen, der die Randgruppen ausdrücklich enthält. Im Webumfeld begegnet einem das seltener als in der Personalauswahl, aber es begegnet einem: bei Suchfunktionen, die bestimmte Schreibweisen bevorzugen, bei Übersetzungen, die Geschlechter zuweisen, und bei Bildwerkzeugen, die bei Berufsbezeichnungen immer dieselben Menschen zeigen.