Interpretierbarkeit bezeichnet die Forschung daran, zu verstehen, wie ein Modell innen zu seinen Ausgaben kommt. Untersucht werden die Gewichte, die einzelnen Einheiten und die Wege, auf denen sich Informationen durch das Netz bewegen.
- Interpretierbarkeit (Interpretability)
Die Forschung daran, zu verstehen, wie ein Modell innen zu seinen Ausgaben kommt.
Beispiel: „Die Interpretierbarkeitsforschung fand Einheiten, die bei einem bestimmten Begriff zuverlässig anspringen.“Abgrenzung zur erklärbaren KI: Die richtet sich an den Nutzer und begründet die einzelne Ausgabe. Interpretierbarkeit richtet sich an Fachleute und untersucht das Modell selbst, unabhängig vom Einzelfall.
Das Grundproblem: Ein Begriff liegt selten in einer einzelnen Einheit, sondern verteilt über viele, und dieselbe Einheit ist an vielen Begriffen beteiligt. Genau das macht die Zuordnung schwer.
Was die Forschung bislang gefunden hat
Mehr als vor wenigen Jahren erwartet wurde. Es lassen sich Merkmale finden, die für menschliche Begriffe stehen, von einfachen Dingen wie einer Programmiersprache bis zu abstrakten wie Schmeichelei oder Zurückhaltung. Es lässt sich zeigen, dass sich solche Merkmale gezielt verstärken oder dämpfen lassen und das Verhalten sich entsprechend ändert. Vollständig verstanden ist damit kein Modell, und das wird auf absehbare Zeit so bleiben.
Wozu das dient
Für drei Zwecke. Sicherheit: Wer erkennt, woran ein Modell ein gefährliches Verhalten festmacht, kann es gezielt dämpfen. Vertrauen: Ein belegter Zusammenhang wiegt schwerer als eine erzählte Begründung. Und Fehlersuche: Wenn ein Modell wiederholt denselben Fehler macht, hilft die Frage, welches innere Merkmal dabei anspringt.
Warum das für Anwender trotzdem fern liegt
Weil die Werkzeuge dafür Zugriff auf die Gewichte brauchen und damit nur bei offenen Modellen oder beim Hersteller selbst einsetzbar sind. Für die tägliche Arbeit bleibt es bei der äußeren Prüfung: Testfälle, Stichproben, Vergleich mit der Quelle. Die Forschung ist dennoch der Grund, warum sich Verhalten künftiger Modelle gezielter steuern lassen wird. Wer heute eine Anwendung baut, bei der die Begründung zählt, plant deshalb mit äußerer Prüfung und rechnet nicht damit, dass sich das Modell später erklären lässt.