Ein False Positive, auf Deutsch falsch positiv, ist ein Fehlalarm: Das Modell meldet einen Fall, den es nicht gibt. Der Spamfilter wirft eine echte Mail aus, die Betrugserkennung sperrt eine rechtmäßige Zahlung, die Bilderkennung meldet einen Defekt an einem fehlerfreien Teil.
- False Positive (Falsch positiv)
Ein Fehlalarm: Das Modell meldet einen Fall, den es nicht gibt.
Beispiel: „Die False Positives kosteten mehr Zeit als die echten Fälle einbrachten.“Google definiert es als „An example in which the model mistakenly predicts the positive class.“
Positiv bezeichnet dabei die gesuchte Klasse und sagt nichts darüber, ob sie erwünscht ist. Bei einer Krankheitsvorhersage ist positiv der Befund, und ein falsch positives Ergebnis ist ein Fehlalarm.
In der medizinischen Diagnostik: ein Befund, der eine Erkrankung anzeigt, die nicht vorliegt.
Beispiel: „Der falsch positive Schnelltest löste eine zweite Untersuchung aus, die den Verdacht ausräumte.“In der Statistik: der Fehler erster Art, also das Verwerfen einer zutreffenden Annahme.
Beispiel: „Ein falsch positives Ergebnis heißt in der Statistik Fehler erster Art und wird über das Signifikanzniveau begrenzt.“In der IT-Sicherheit: eine Meldung über eine Bedrohung, die keine ist.
Beispiel: „Der Virenscanner meldete die eigene Software als Schädling, ein klassisches falsch positives Ergebnis.“
Was Fehlalarme kosten
Meist Arbeitszeit, manchmal Vertrauen. Jede Meldung muss geprüft werden, und bei hoher Zahl wird die Prüfung zur Pflichtübung: Wer jeden Tag vierzig Fehlalarme sieht, bestätigt auch den einundvierzigsten ungelesen. Das ist der eigentliche Schaden, und er trifft genau den Fall, für den das System gebaut wurde.
Wie man ihre Zahl senkt
Über die Schwelle, ab der gemeldet wird. Das geht unmittelbar und kostet Trefferquote: Weniger Fehlalarme heißt mehr übersehene Fälle, siehe falsch negativ. Der bessere Weg führt über die Daten: Welche Merkmale unterscheiden die Fehlalarme von den echten Fällen, und lassen sie sich ergänzen?
Wo die Abwägung im Alltag auftaucht
Bei jedem Prüfsystem. Ein Formular mit Erkennung unerwünschter Einsendungen, das zu streng steht, verliert Anfragen; eines, das zu locker steht, erzeugt Arbeit. Die richtige Einstellung hängt daran, was teurer ist, und diese Frage ist in zwei Minuten beantwortet, sobald man sie überhaupt stellt. Hilfreich ist außerdem eine Zwischenstufe: unsichere Fälle zur Prüfung legen, statt sie zu verwerfen. Damit wird aus einer Ja-Nein-Entscheidung ein Ablauf mit drei Ausgängen. Das kostet etwas Entwicklung und senkt beide Fehlerarten zugleich, weil die unsicheren Fälle ohnehin die fehleranfälligen sind. Wie groß der mittlere Bereich sein darf, richtet sich nach der verfügbaren Arbeitszeit.