Die Präzision ist im Machine Learning das Maß dafür, welcher Anteil der gemeldeten Fälle tatsächlich zutrifft. Bei einer Präzision von 90 Prozent sind von hundert Meldungen neunzig richtig und zehn Fehlalarm. Sie beantwortet damit die Frage nach der Qualität der Meldungen und sagt nichts darüber, wie viele Fälle das Modell übersehen hat.
- Präzision
Der Anteil der gemeldeten Fälle, der tatsächlich zutrifft.
Beispiel: „Die Präzision lag bei 90 Prozent, also war jede zehnte Meldung ein Fehlalarm.“Berechnet aus zwei Feldern der Confusion Matrix: die richtig gemeldeten Fälle geteilt durch alle gemeldeten, also TP / (TP + FP).
Abgrenzung zur Genauigkeit: Umgangssprachlich sind Präzision und Genauigkeit dasselbe Wort. Im Machine Learning ist die Genauigkeit der Anteil aller richtigen Entscheidungen, die Präzision nur der Anteil innerhalb der Meldungen.
In der Medizin heißt dieselbe Größe positiver Vorhersagewert: der Anteil der auffälligen Befunde, bei denen die Erkrankung wirklich vorliegt.
Wann die Präzision das wichtigere Maß ist
Immer dann, wenn jede Meldung Arbeit auslöst oder Schaden anrichtet. Ein Spamfilter, der Geschäftspost aussortiert, kostet mehr als einer, der gelegentlich Werbung durchlässt. Dasselbe gilt für eine automatische Sperre von Nutzerkonten, für Warnungen an eine Rechtsabteilung und für jede Prüfung, die ein Mensch von Hand nachholen muss.
Die Gegenprobe ist einfach: Wenn ein Fehlalarm teurer ist als ein übersehener Fall, steht die Präzision vorn. Ist es umgekehrt, zählt die Trefferquote mehr.
Warum eine hohe Präzision allein nichts beweist
Weil sie sich erkaufen lässt. Ein Modell, das nur die sichersten Fälle meldet, erreicht leicht 99 Prozent Präzision und übersieht dabei den größten Teil der echten Fälle. Im Extremfall meldet es genau einen Fall, liegt richtig und steht bei hundert Prozent.
Deshalb gehört zur Präzision immer die zweite Zahl und die Schwelle, bei der beide gemessen wurden. Eine einzelne Prozentzahl ohne diesen Zusammenhang ist keine Auskunft über das Modell, sondern über die Einstellung des Reglers.
Wie sich die Präzision beeinflussen lässt
Über den Schwellenwert, ab dem das Modell einen Fall meldet. Je höher er liegt, desto sicherer sind die Meldungen und desto mehr echte Fälle bleiben liegen. Der Regler verschiebt die beiden Maße gegeneinander, er verbessert nicht beide zugleich.
Jenseits des Reglers hilft nur bessere Arbeit an den Daten: eindeutigere Beispiele für die Grenzfälle, saubere Beschriftung und genug Material für die seltene Klasse, siehe unausgewogene Daten.