Die Confusion Matrix ist eine Tabelle, die die Vorhersagen eines KI-Modells den tatsächlichen Werten gegenüberstellt. Bei zwei Klassen entstehen vier Felder, und aus diesen vier Zahlen lassen sich alle gängigen Gütemaße berechnen.
- Confusion Matrix (Konfusionsmatrix)
Eine Tabelle, die Vorhersagen und tatsächliche Werte gegenüberstellt.
Beispiel: „Die Confusion Matrix zeigte, dass fast alle Fehler in einer Richtung lagen.“Die vier Felder: richtig positiv, wenn der gesuchte Fall erkannt wurde; richtig negativ, wenn der nicht gesuchte richtig durchgelassen wurde; falsch positiv als Fehlalarm; und falsch negativ als übersehener Fall.
Bei mehr als zwei Klassen wächst die Tabelle entsprechend. Dort zeigt sie zusätzlich, welche Klassen miteinander verwechselt werden, und das ist ihr eigentlicher Wert.
Wie sie auf Deutsch heißt
Am verbreitetsten ist Konfusionsmatrix, daneben kommen Verwechslungsmatrix und Fehlermatrix vor. Gebräuchlich, aber irreführend ist Wahrheitsmatrix: Das englische „confusion“ meint die Verwechslung zwischen den Klassen, also genau das, was die Tabelle zeigt. Wahrheit beschreibt das andere Ende, nämlich den Abgleich mit dem tatsächlichen Wert. Wer den Begriff zum ersten Mal hört, versteht ihn über die Verwechslung besser, und deshalb führt dieser Eintrag die englische Form.
Warum sie am Anfang jeder Bewertung steht
Weil jede einzelne Kennzahl etwas verbirgt. Die Genauigkeit sagt nichts über die Verteilung der Fehler, die Präzision nichts über die Übersehenen. Die Matrix zeigt alles zugleich und beantwortet die Frage, die wirklich zählt: In welche Richtung irrt das Modell, und trifft das die teure oder die billige Fehlerart?
Was man daran ablesen kann
Bei mehreren Klassen die Verwechslungspaare. Wenn ein Modell Beschwerden regelmäßig als Anfragen einsortiert und nie umgekehrt, liegt das an den Daten oder an der Grenze zwischen den Klassen, und beides lässt sich beheben. Diese Erkenntnis steht in keiner Einzelzahl; sie steht in der Tabelle, und sie ist meist der nächste Schritt in der Verbesserung.
Wie man sie praktisch benutzt
Bei jeder Abnahme eines Einordnungsmodells ausdrucken und durchgehen. Dreißig Fälle aus dem größten Fehlerfeld lesen und fragen, was sie gemeinsam haben. In unserer Erfahrung liegt dort der Hebel: Die Antwort ist fast immer eine fehlende Angabe in den Daten und selten ein zu kleines Modell. Für die Abnahme mit Kunden ist die Tabelle zudem das verständlichste Schaubild, weil sie ohne Vorkenntnisse zu lesen ist. Vier Zahlen und eine Beschriftung genügen, und jede Diskussion über Gütemaße lässt sich daran führen.