Präzision und Trefferquote sind zwei Maße, die zusammen beschreiben, wie gut ein Modell eine gesuchte Klasse findet. Die Präzision fragt, wie viele der gemeldeten Fälle richtig waren; die Trefferquote fragt, wie viele der tatsächlichen Fälle gemeldet wurden.
- Präzision und Trefferquote (Machine Learning)
Zwei Maße, die beschreiben, wie treffsicher und wie vollständig ein Modell arbeitet.
Beispiel: „Die Präzision lag bei 90 Prozent und die Trefferquote bei 40, also fand das Modell wenig und das Wenige richtig.“Google formuliert es als Fragen. Präzision: „When the model predicted the positive class, what percentage of the predictions were correct?“ Trefferquote: „When ground truth was the positive class, what percentage of predictions did the model correctly identify“.
Eselsbrücke: Die Präzision misst die Qualität der Meldungen, die Trefferquote die Vollständigkeit der Suche.
Warum sie gegeneinander laufen
Weil beide an derselben Schwelle hängen. Wer die Schwelle senkt, meldet mehr Fälle und findet dadurch mehr echte, nimmt aber mehr Fehlalarme in Kauf: Trefferquote steigt, Präzision sinkt. Wer die Schwelle anhebt, meldet nur noch sichere Fälle: Präzision steigt, Trefferquote sinkt. Ein Modell lässt sich daher nicht in beiden Maßen zugleich beliebig verbessern, es wird nur verschoben.
Wie man wählt
Über die Kosten der beiden Fehlerarten. Bei einer Krebsvorsorge ist ein übersehener Fall teuer, ein Fehlalarm kostet eine zweite Untersuchung: Trefferquote zuerst. Bei einem Spamfilter ist ein verlorener Geschäftsbrief teuer, eine durchgerutschte Werbemail nicht: Präzision zuerst. Diese Abwägung ist eine fachliche Entscheidung und keine technische. Sie gehört deshalb vor den Bau des Modells und schriftlich festgehalten, weil sie später die Einstellung der Schwelle bestimmt.
Was in jedem Bericht stehen sollte
Beide Zahlen nebeneinander und die Schwelle, bei der sie gemessen wurden. Eine einzelne Zahl ohne die andere lässt sich beliebig schönrechnen: Ein Modell, das genau einen Fall meldet und richtig liegt, hat hundert Prozent Präzision. Üblich ist außerdem, eine Kurve über alle Schwellen abzubilden; daran sieht man auf einen Blick, welcher Tausch möglich ist. Wer nur eine Zahl nennen will, nimmt den F1-Wert.