Die Genauigkeit ist der Anteil der richtigen Einordnungen an allen Einordnungen eines Modells. Sie ist das einfachste Gütemaß und zugleich das am häufigsten missverstandene.
- Genauigkeit (Machine Learning)
Der Anteil der richtigen Einordnungen an allen Einordnungen eines Modells.
Beispiel: „Die Genauigkeit lag bei 99 Prozent, und das Modell war trotzdem wertlos.“Die Formel: richtige Einordnungen geteilt durch alle Einordnungen. Eingerechnet sind beide Arten von Treffern und beide Arten von Fehlern, siehe Confusion Matrix.
Google fasst sie so: „Accuracy is the proportion of all classifications that were correct, whether positive or negative.“
Warum sie in die Irre führt, steht im Crashkurs von Google mit einem Beispiel, das alles sagt: Ein Modell, das immer negativ vorhersagt, erreicht bei einem Anteil von einem Prozent positiver Fälle eine Genauigkeit von 99 Prozent und ist dabei „useless“. Die Empfehlung lautet deshalb, bei unausgewogenen Daten oder ungleich teuren Fehlern „to optimize for one of the other metrics instead“.
Der Vergleichswert, der immer dazugehört
Die Genauigkeit des dümmsten denkbaren Modells. Wer wissen will, ob 94 Prozent gut sind, rechnet aus, was ein Modell erreicht, das immer die häufigste Klasse vorhersagt. Liegt dieser Wert bei 92 Prozent, hat das Modell zwei Prozentpunkte Arbeit geleistet. Diese Rechnung dauert eine Minute und beendet die meisten Diskussionen über beeindruckende Zahlen. In der Fachsprache heißt dieser Vergleichswert Baseline, und er gehört in jeden Bericht.
Wann sie trotzdem taugt
Wenn die Klassen ungefähr gleich häufig sind und beide Fehlerarten ähnlich teuer. Für eine Einteilung von Supportanfragen in vier etwa gleich große Gruppen ist die Genauigkeit das richtige Maß. Für Betrugserkennung, Krankheitsvorhersage und jede Suche nach seltenen Fällen ist sie unbrauchbar.
Was man stattdessen angibt
Präzision und Trefferquote getrennt, dazu die Verteilung der Fehler nach Art. Wer eine einzelne Zahl braucht, nimmt den F1-Wert. Und in jedem Fall gehört die Klassenverteilung dazu: Eine Genauigkeit ohne die Angabe, wie häufig der gesuchte Fall überhaupt vorkommt, ist keine Auskunft.