Explainable AI ist der Name des Feldes, abgekürzt XAI. Zwei Verfahren haben sich durchgesetzt: LIME, das eine Einzelentscheidung durch ein einfaches Modell annähert, und SHAP, das den Beitrag jedes Merkmals verteilt. Beide erklären das Verhalten und nicht die innere Rechnung.
Siehe: Erklärbare KI (XAI)