Die Fehlerrate im Test ist die Anzahl der ungewollten Handlungen, die Testpersonen bei einer Aufgabe machen, bezogen auf alle Versuche. Als Fehler gilt nach der verbreiteten Arbeitsdefinition jede unbeabsichtigte Handlung und jede Auslassung auf dem Weg zum Ziel. Diese Definition ist weit, und darin liegt der Haken: Solange nicht vorher festgelegt ist, was bei dieser Aufgabe konkret als Fehler gezählt wird, ist die Zahl beliebig.
- Fehlerrate im Test
Anzahl der ungewollten Handlungen, die Testpersonen bei einer Aufgabe machen, bezogen auf alle Versuche.
Beispiel: „Beim Registrieren lag die Fehlerrate bei 1,8 Fehlern pro Versuch, fast immer an der Passwortregel.“Auch: Fehlerquote, Error Rate. Abgrenzung: Die Task Success Rate bewertet das Ergebnis, die Fehlerrate den Weg dorthin. Eine Aufgabe kann mit mehreren Fehlern gelöst werden.
Nicht gemeint sind die Validierungsmeldungen aus dem laufenden Betrieb. Die lassen sich zwar zählen, sagen aber nichts über die Absicht der Person davor.
Wer festlegt, was als Fehler zählt
Die Entscheidung gehört ins Testkonzept, vor die erste Sitzung. Für jede Aufgabe wird notiert, welche Handlungen als Fehler gewertet werden, etwa der Nachname im Vorname-Feld oder das Übergehen eines Pflichtfelds. Diese Liste schreibt die Person, die den Test leitet, und der Auftraggeber bestätigt sie, bevor gemessen wird.
Der Grund für die Reihenfolge ist einfach. Wer erst hinterher entscheidet, was ein Fehler war, liest die gewünschte Zahl in die Aufzeichnung hinein. Bei uns steht der Fehlerkatalog deshalb im selben Dokument wie die Aufgabenstellung, und zwar Aufgabe für Aufgabe.
Erheben und rechnen
Gezählt wird pro Versuch. Zwei Darstellungen sind üblich: die mittlere Fehlerzahl pro Aufgabe und der Anteil der Personen, die mindestens einen Fehler gemacht haben. Der Anteil ist bei kleinen Gruppen stabiler, weil ein einzelner Teilnehmer mit acht Fehlern den Mittelwert sonst allein bestimmt.
Hilfreich ist die Trennung nach Ursache. Ein Patzer passiert bei richtiger Absicht und falscher Ausführung, etwa ein Tippfehler im Datumsfeld. Ein Denkfehler entsteht aus einer falschen Annahme über das System. Der erste ruft nach einer toleranteren Eingabe, der zweite nach einer anderen Beschriftung.
Was die Zahl verschweigt
In der Rate sind alle Fehler gleich schwer, im Projekt sind sie es nie. Ein Vertipper, den die nächste Eingabe korrigiert, wiegt anders als ein Klick, der den Warenkorb leert. Deshalb bekommt jeder Fehler beim Notieren eine Schwere, und die Auswertung nennt beide Größen: wie oft und wie schlimm.
Ein Problem benennt die Rate ebenfalls nicht. Sie zeigt, dass eine Stelle im Ablauf teuer ist. Welche Beschriftung oder welcher Schritt dahintersteckt, steht in der Beobachtung daneben.