UX-KPIs sind die Messgrößen, auf die sich ein Team festlegt, um die Qualität einer Benutzererfahrung über die Zeit zu beobachten. KPI steht für Key Performance Indicator. Jede einzelne Zahl deckt nur einen Ausschnitt ab: ob eine Aufgabe gelingt, oder wie die Leute das Ergebnis hinterher bewerten. Über den Nutzen einer Messung entscheidet die Auswahl der Kennzahlen stärker als die Erhebung.
- UX-KPIs
Messgrößen, mit denen sich die Qualität einer Benutzererfahrung über die Zeit vergleichbar beobachten lässt.
Beispiel: „Bevor wir den Checkout umbauen, legen wir zwei UX-KPIs fest und messen den Ist-Stand.“Auch: UX-Metriken. Metriken sind alle Werte, die sich erheben lassen, KPIs die wenigen, an denen ein Team seine Arbeit messen lässt.
Häufige Fehlverwendung: Seitenaufrufe und Verweildauer aus der Webanalyse werden als UX-KPI ausgegeben. Beide sagen nichts darüber, ob jemand sein Ziel erreicht hat.
Kennzahlen aus dem Test und Kennzahlen aus dem Betrieb
Die Unterscheidung, die im Alltag am meisten trägt, betrifft die Herkunft der Zahl. Im Usability-Test bearbeiten wenige Personen festgelegte Aufgaben unter Beobachtung. Dort entstehen Task Success Rate, Time on Task und die Fehlerrate im Test, und die System Usability Scale wird hinterher als Fragebogen ausgefüllt. Du siehst dabei, woran jemand scheitert. Dafür schwankt jede Zahl erheblich: Ein einzelner Teilnehmer verschiebt eine Quote bei zehn Personen um zehn Prozentpunkte.
Aus dem laufenden Betrieb kommen Kennzahlen über viele tausend Fälle, etwa Abbruchquoten aus der Webanalyse oder Bewertungen aus einer eingeblendeten Umfrage. Sie sind statistisch belastbar und zeigen Verläufe, erklären aber nichts. Der Betrieb zeigt, wo es klemmt, der Test zeigt, warum.
Das HEART-Modell als Auswahlraster
Ein brauchbares Raster für die Auswahl stammt von Google. Kerry Rodden, Hilary Hutchinson und Xin Fu stellten es 2010 auf der Konferenz CHI im Papier „Measuring the User Experience on a Large Scale“ vor. HEART steht für Happiness, Engagement, Adoption, Retention und Task Success. Dazu gehört das Vorgehen Goals-Signals-Metrics: erst das Ziel benennen, dann das beobachtbare Signal, danach die Kennzahl.
Nicht jede Dimension passt auf jedes Projekt. Ein Antrag, den jemand einmal im Leben ausfüllt, hat keine sinnvolle Retention. Wir nehmen aus dem Raster meist zwei Dimensionen und lassen die übrigen bewusst weg.
Woran du KPIs im Projekt festmachst
Die erste Messung ist der Benchmark, und sie liegt vor dem Umbau. Danach wird mit derselben Aufgabenstellung und demselben Wortlaut wiederholt, sonst vergleichst du zwei verschiedene Untersuchungen. Aufgabe und Erfolgskriterium halten wir schriftlich fest, bevor die erste Sitzung läuft, weil sich jede Definition hinterher unbemerkt verschiebt.
Zielwerte gehören in die Absprache mit dem Kunden, als Richtung samt Datum: Wo stehen wir heute, wo wollen wir in sechs Monaten stehen. Eine Kennzahl ohne Ausgangswert wird nach dem Livegang nicht wieder angeschaut.
Die gängigen Kennzahlen und wie sie gebildet werden
Kennzahl | Berechnung | Anmerkung |
|---|---|---|
Task Success Rate | gelöste Aufgaben geteilt durch alle Versuche | Erfolg muss vorher definiert sein |
Time on Task | Dauer vom Start bis zum Abschluss | Median statt Mittelwert, sonst dominieren einzelne Ausreißer |
Fehlerrate im Test | Fehlbedienungen geteilt durch Versuche | Zählt auch Fehler, die der Nutzer selbst korrigiert |
System Usability Scale | zehn Aussagen, Ergebnis 0 bis 100 | 68 gilt als Durchschnitt, der Wert ist keine Prozentangabe |
Single Ease Question | eine Frage nach jeder Aufgabe, Skala 1 bis 7 | Aufwand von fünf Sekunden, deshalb in jedem Test brauchbar |
Die Auswahl steht und fällt mit der Definition. Eine Task Success Rate ohne schriftlich festgehaltenes Erfolgskriterium ist keine Kennzahl, sondern eine Meinung mit Prozentzeichen.
Warum kleine Stichproben trügen
Bei fünf Teilnehmern verschiebt eine einzige Person die Erfolgsquote um zwanzig Prozentpunkte. Eine Quote aus einem Test mit fünf Personen taugt deshalb dazu, ein Problem zu finden, nicht dazu, einen Fortschritt zu belegen. Für belastbare Quoten braucht es deutlich größere Gruppen, wie sie unmoderiert oder aus dem laufenden Betrieb zusammenkommen. Wer im kleinen Test messen will, nimmt Kennzahlen, die je Teilnehmer entstehen, etwa die Bewertung nach jeder Aufgabe.
Sind Core Web Vitals UX-KPIs?
Die Ladekennzahlen von Google messen technische Eigenschaften der Seite und nicht, ob jemand sein Ziel erreicht. Sie gehören trotzdem in die Betrachtung, weil eine Seite, die spät reagiert, jede Aufgabe erschwert. Wir führen sie getrennt: Die Vitals sind eine Voraussetzung, die eingehalten wird, die UX-KPIs messen das Ergebnis. Eine grüne Ladezeit sagt nichts darüber, ob ein Formular verständlich ist.
Wie die Zahlen berichtet werden
Eine Kennzahl ohne Erzählung wird missverstanden. Zu jeder Zahl gehören der Vergleichswert von vorher, die Zahl der Fälle und ein Satz dazu, was sie verursacht hat. Ein Bericht, der nur Werte auflistet, führt zu der Frage, ob sich der Umbau gelohnt hat, und lässt sie unbeantwortet.