Der F1-Wert ist ein Gütemaß für KI-Modelle, das Präzision und Trefferquote in einer einzelnen Zahl zusammenfasst. Er liegt zwischen null und eins und wird hoch nur dann, wenn beide Maße hoch sind.
- F1-Wert (F1-Score)
Ein Gütemaß für KI-Modelle, das Präzision und Trefferquote in einer Zahl zusammenfasst.
Beispiel: „Der F1-Wert von 0,55 zeigte, dass die hohe Präzision die schwache Trefferquote nicht aufwog.“Gebildet wird er als harmonisches Mittel der beiden Maße. Der Unterschied zum gewöhnlichen Mittelwert ist wesentlich: Beim harmonischen Mittel zieht der kleinere Wert das Ergebnis stark nach unten, und genau das ist gewollt.
Google beschreibt ihn als „roll-up“ für die binäre Einordnung, der sich auf Präzision und Trefferquote zugleich stützt.
Warum das harmonische Mittel
Weil der arithmetische Mittelwert einen groben Fehler verdecken würde. Ein Modell mit hundert Prozent Präzision und zwei Prozent Trefferquote hätte im Durchschnitt 51 Prozent und sähe mittelmäßig aus; der F1-Wert liegt bei knapp vier Prozent und sagt damit die Wahrheit. Für die Bewertung eines unbrauchbaren Modells ist das der Unterschied zwischen Erkennen und Übersehen.
Wann er die falsche Wahl ist
Wenn die beiden Fehlerarten unterschiedlich teuer sind. Der F1-Wert gewichtet Präzision und Trefferquote gleich, und das passt selten zur Wirklichkeit. Für solche Fälle gibt es Abwandlungen, die eines der beiden Maße stärker gewichten. Wer eine Entscheidung trifft, sieht sich ohnehin besser beide Zahlen getrennt an. Der F1-Wert ist das Maß für den Vergleich zwischen Modellen, die getrennten Zahlen sind das Maß für die Entscheidung über den Einsatz. Beides nebeneinander anzugeben kostet eine Zeile.
Wo er einem begegnet
In Vergleichstabellen und in Modellkarten, weil er ein Modell mit einer Zahl beschreibt. Für Einordnungsaufgaben ist er dort das übliche Maß. Bei erzeugendem Text taugt er nicht, weil es dort keine eindeutig richtige Antwort gibt. Dort misst man anders: mit menschlichen Urteilen, mit Vergleichen zwischen zwei Antworten oder mit einem zweiten Modell als Prüfer, siehe LLM-Benchmark.