Erklärbare KI, englisch Explainable AI und kurz XAI, bezeichnet KI-Systeme, die zu ihren Ausgaben eine nachvollziehbare Begründung liefern. Gemeint ist eine Erklärung für den Menschen, der die Ausgabe benutzt, und nicht eine vollständige Offenlegung der Rechenschritte.
- Erklärbare KI (XAI)
KI-Systeme, die zu ihren Ausgaben eine nachvollziehbare Begründung liefern.
Beispiel: „Die erklärbare KI nennt zu jeder abgelehnten Anfrage die drei Angaben, die den Ausschlag gaben.“Formen der Erklärung: welche Eingabemerkmale den Ausschlag gaben, welche vergleichbaren Fälle anders entschieden wurden, was sich ändern müsste für ein anderes Ergebnis, und wie sicher sich das System ist.
Abgrenzung zur Interpretierbarkeit: Die fragt, wie das Modell innen arbeitet. Erklärbarkeit fragt, ob ein Mensch die einzelne Ausgabe nachvollziehen kann, und das geht auch ohne Blick ins Innere.
Vier Grundsätze nennt NIST IR 8312 (September 2021): Explanation, also „a system delivers or contains accompanying evidence or reason(s) for outputs and/or processes“; Meaningful, also verständlich für die vorgesehenen Nutzer; Explanation Accuracy, die Erklärung bildet den tatsächlichen Vorgang ab; und Knowledge Limits, das System arbeitet nur unter den Bedingungen, für die es gedacht ist, und nur bei ausreichender Sicherheit.
Der dritte Grundsatz ist der unbequeme
Eine Erklärung muss den tatsächlichen Grund treffen und nicht nur plausibel klingen. Genau daran scheitern viele Verfahren: Ein Sprachmodell, das nach seiner Begründung gefragt wird, erzeugt eine passende Erzählung, und ob sie den Weg zum Ergebnis beschreibt, ist damit nicht gesagt. Deshalb zählen bei Entscheidungen mit Folgen die Verfahren, die am Modell messen, und nicht die, die das Modell selbst erzählen lassen.
Wo sie verlangt wird
Bei Entscheidungen über Menschen. Die KI-Verordnung verlangt für Hochrisiko-Systeme, dass die aufsichtführenden Personen die Ausgaben einordnen können, und die Datenschutz-Grundverordnung gibt Betroffenen bei automatisierten Entscheidungen ein Recht auf Auskunft über die Logik dahinter. Für ein Chatfenster auf einer Website spielt das keine Rolle; für eine Vorauswahl von Bewerbungen schon.
Was NIST ausdrücklich einräumt
Dass nicht jedes System eine Erklärung braucht. Der Bericht sagt das in einem Satz, und er ist nützlich gegen die Neigung, Erklärbarkeit überall zu fordern. Der Maßstab ist die Folge für den Betroffenen, und nicht die Technik dahinter.