Als Black Box bezeichnet man ein System, dessen inneres Zustandekommen von außen nicht nachvollziehbar ist: Man sieht die Eingabe und die Ausgabe, aber nicht den Weg dazwischen. Große KI-Modelle sind in diesem Sinne Black Boxes, auch wenn ihr Aufbau und teilweise ihre Gewichte offenliegen.
- Black Box (KI)
Ein System, dessen inneres Zustandekommen von außen nicht nachvollziehbar ist.
Beispiel: „Für die Prüfstelle war das Modell eine Black Box, und deshalb mussten die Ausgaben stichprobenweise geprüft werden.“Warum offene Gewichte daran wenig ändern: Die Zahlen liegen vor, sie ergeben für einen Menschen keinen Sinn. Ein Netz mit Milliarden Werten ist lesbar und nicht verständlich.
Der Gegenbegriff heißt White Box oder Glass Box und meint Verfahren, deren Entscheidungsweg sich Schritt für Schritt nachvollziehen lässt, etwa Entscheidungsbäume und Regelwerke.
Warum das in Kauf genommen wird
Weil die Leistung daran hängt. Nachvollziehbare Verfahren bleiben bei Aufgaben zurück, die sich schlecht in Regeln fassen lassen, also bei Sprache, Bildern und Tönen. Der Tausch lautet: mehr Leistung gegen weniger Einsicht. In vielen Anwendungen ist dieser Tausch unproblematisch, weil die Folgen einer falschen Ausgabe klein und leicht zu bemerken sind.
Wann der Tausch nicht aufgeht
Bei Entscheidungen über Menschen und bei allem, was begründet werden muss. Wer eine Ablehnung erklären können muss, ist mit einem nachvollziehbaren Verfahren besser bedient, selbst wenn es im Schnitt etwas schlechter trifft. In der Praxis gewinnen hier Mischformen: Ein Modell bereitet vor, eine Regel entscheidet, ein Mensch verantwortet, siehe Human in the Loop.
Was praktisch hilft
Prüfen von außen, statt auf Einsicht zu warten. Feste Testfälle mit bekannter richtiger Antwort, Stichproben im laufenden Betrieb, eine Protokollierung, die Eingabe und Ausgabe festhält, und ein Vergleich gegen die Quelle bei allem Faktischen. Das beantwortet die Frage, ob ein System tut, was es soll, ohne die Frage zu beantworten, warum es das tut. Für die meisten Anwendungen ist genau das die richtige Reihenfolge, weil die erste Frage über den Einsatz entscheidet und die zweite nur über das Verständnis.