Die Task Success Rate ist der Anteil der Testpersonen, die eine im Test vorgegebene Aufgabe zu Ende bringen, geteilt durch alle, die sie versucht haben. Sieben von zehn ergeben 70 Prozent. Jakob Nielsen und Raluca Budiu nennen sie die einfachste Kennzahl der Usability, weil sie ohne Werkzeug auskommt: Du brauchst eine klar formulierte Aufgabe und eine Entscheidung darüber, was als gelöst gilt. Genau diese Entscheidung ist der schwierige Teil.
- Task Success Rate
Anteil der Testpersonen, die eine vorgegebene Aufgabe zu Ende bringen, gemessen an allen, die es versucht haben.
Beispiel: „Die Task Success Rate beim Terminformular lag bei vier von zehn, deshalb bauen wir den Schritt neu.“Auch: Erfolgsquote, Task Completion Rate. Im Deutschen steht Erfolgsquote je nach Abteilung auch für Verkaufsabschlüsse. Im Usability-Test ist damit immer die gelöste Aufgabe gemeint.
Abgrenzung: Die Fehlerrate im Test zählt die Patzer auf dem Weg. Eine Aufgabe kann mit vier Fehlern gelöst und trotzdem als Erfolg gezählt werden.
Wie die Quote entsteht
Vor dem Test wird je Aufgabe festgelegt, welcher Zustand als Erfolg gilt: die Bestellbestätigung auf dem Bildschirm oder der Termin im Kalender. Im Test wird dann binär notiert, gelöst oder nicht gelöst, und über alle Teilnehmer zusammengezählt. Bei den üblichen fünf bis zwölf Personen bleibt die Quote grob: Eine Person mehr oder weniger verschiebt das Ergebnis bei zehn Teilnehmern um zehn Prozentpunkte. Wir berichten die Quote deshalb immer mit der Zahl der Teilnehmer daneben, also „7 von 10“ statt „70 Prozent“.
Teilerfolge sind der schwierige Fall
Häufig schafft jemand die Aufgabe, aber auf Umwegen. Nielsen und Budiu schlagen dafür Abstufungen vor: voller Erfolg, Erfolg mit kleinen Schwierigkeiten, Erfolg mit großen Schwierigkeiten, Abbruch. Ihr Hinweis dazu wiegt schwer: Diese Stufen dürfen nicht in Zahlen übersetzt und gemittelt werden. Eine Stufenfolge ist eine Rangordnung ohne gleiche Abstände, ein Mittelwert daraus hat keine Bedeutung. Berichtet wird deshalb die Verteilung über die Stufen.
Was die Quote offenlässt
Die Kennzahl sagt nichts darüber, warum jemand gescheitert ist, und nichts darüber, wie mühsam der Weg für die Erfolgreichen war. Zwei Entwürfe können dieselben 70 Prozent erreichen, und einer davon kostet jeden Teilnehmer drei Anläufe. Deshalb wird die Quote zusammen mit der Beobachtung aus der Sitzung gelesen.
Im Projekt machen wir sie an drei bis fünf Aufgaben fest, die das Geschäft tatsächlich tragen, etwa Angebot anfragen oder Termin buchen. Genau diese Aufgaben werden nach dem Umbau wiederholt, im gleichen Wortlaut.