Die heuristische Evaluation ist ein Prüfverfahren, bei dem mehrere Fachleute eine Oberfläche unabhängig voneinander gegen eine Liste anerkannter Gestaltungsregeln durchgehen und jeden Verstoß notieren. Jakob Nielsen und Rolf Molich haben es 1990 vorgestellt, als schlanke Alternative zu Richtlinienkatalogen mit Tausenden von Einzelregeln. Es braucht keine Testpersonen und ist bei einer mittleren Website in einem Tag zu machen. Daraus folgen auch seine Grenzen.
- Heuristische Evaluation
Prüfverfahren, bei dem mehrere Fachleute eine Oberfläche unabhängig voneinander gegen anerkannte Gestaltungsregeln durchgehen.
Beispiel: „Die heuristische Evaluation hat 34 Befunde ergeben, elf davon mit hohem Schweregrad.“Auch: Usability-Inspektion oder Expert Review. Die Begriffe werden im Alltag gleichbedeutend benutzt, wobei Expert Review häufig die Prüfung durch eine einzelne Person meint.
Abgrenzung: Der Usability-Test lässt echte Nutzer an echten Aufgaben scheitern, die heuristische Evaluation prüft die Oberfläche gegen Regeln. Beide Verfahren finden unterschiedliche Probleme und ersetzen sich gegenseitig nicht.
Wie ein Durchgang abläuft
Jeder Prüfer geht die Oberfläche zweimal durch: einmal, um die Abläufe kennenzulernen, und einmal, um jeden Bildschirm gegen die Heuristiken zu halten. Jeder Befund wird einzeln notiert, mit der verletzten Regel, der Stelle und einer kurzen Begründung. Bis dahin sehen die Prüfer die Notizen der anderen nicht, weil sich Beobachtungen sonst aneinander angleichen.
Erst danach kommen die Listen zusammen. Doppelte Befunde werden zusammengeführt, und jeder Punkt bekommt einen Schweregrad aus Häufigkeit und Auswirkung. Die sortierte Liste ergibt die Reihenfolge für die Umsetzung. Ohne diesen Schritt liegt am Ende ein Bericht vor, den niemand abarbeitet.
Warum drei bis fünf Prüfer
Eine einzelne Person deckt nur einen Teil der Probleme auf, und welcher Teil das ist, hängt stark von ihr ab. Die Nielsen Norman Group empfiehlt deshalb, dass drei bis fünf Leute unabhängig voneinander prüfen. Hilfreich ist eine Mischung aus jemandem mit Blick für Interaktion und jemandem, der die Fachdomäne kennt. Wer die Seite selbst gebaut hat, ist als Prüfer schlecht geeignet, weil er die gedachte Logik mitliest.
Die Regeln müssen vorher feststehen. Üblich sind Nielsens zehn Heuristiken, oft ergänzt um Prüfpunkte aus der Barrierefreiheit oder um Vorgaben aus dem eigenen Designsystem. Ohne gemeinsame Liste sammelt der Durchgang Geschmacksurteile.
Was das Verfahren findet und was ihm entgeht
Stark ist die heuristische Evaluation bei allem, was gegen erlernte Muster verstößt: eine fehlende Rückmeldung nach dem Absenden oder ein Formular ohne Weg zurück. Solche Verstöße sind ohne Nutzer zu erkennen, und sie lassen sich meist billig beheben.
Was ihr entgeht, sind die Annahmen der Nutzer. Ob jemand „Objektnummer“ für seine Bestellnummer hält, sagt keine Regel voraus. Dazu kommen Fehlalarme, denn ein Verstoß gegen eine Heuristik stört im echten Ablauf nicht immer. Wir setzen die Evaluation deshalb vor den Test mit Nutzern: Sie räumt die klaren Verstöße weg, damit die knappen Sitzungen nicht an Selbstverständlichkeiten draufgehen.
Der Schweregrad, und wie er vergeben wird
Der Begriff Schweregrad bleibt wertlos, solange er nicht definiert ist. Nielsen schlägt eine Skala von 0 bis 4 vor: 0 ist kein Problem, 1 ein kosmetischer Mangel, 2 ein geringes Problem, 3 ein großes und 4 ein Hindernis, das vor dem Livegang behoben sein muss. Die Einstufung ergibt sich daraus, wie viele Nutzer betroffen sind, wie oft der Fall auftritt und ob sie ihn selbst umgehen können.
Jeder Prüfer vergibt den Schweregrad unabhängig, danach wird gemittelt. Eine einzelne Einschätzung streut zu stark, um eine Reihenfolge zu tragen.
Wie viel ein Durchgang findet
Nielsen hat den Zusammenhang zwischen Prüferzahl und Trefferquote ausgewertet: Eine Person findet im Mittel rund 35 Prozent der vorhandenen Usability-Probleme, fünf Personen zusammen etwa drei Viertel. Der Zugewinn flacht danach ab, während die Kosten weiterlaufen. Daraus ergibt sich die Empfehlung von drei bis fünf Prüfern, und nicht aus einer Faustregel.
Der Cognitive Walkthrough als Gegenstück
Neben der Prüfung gegen Regeln gibt es das aufgabenbezogene Verfahren. Beim Cognitive Walkthrough gehen die Prüfer eine festgelegte Aufgabe Schritt für Schritt durch und fragen an jeder Stelle: Wird der Nutzer versuchen, das Richtige zu tun? Erkennt er, dass die passende Bedienmöglichkeit vorhanden ist? Versteht er, dass sie zu seinem Ziel führt? Merkt er, dass es geklappt hat? Das Verfahren findet andere Dinge als die Heuristiken, vor allem bei Erstnutzung und bei Abläufen über mehrere Seiten.
Damit der Bericht abgearbeitet wird
Eine Liste mit 34 Befunden bleibt liegen, wenn sie als Fließtext ankommt. Brauchbar ist eine Tabelle, in der jede Zeile die Stelle mit Bildschirmfoto nennt, dazu die verletzte Regel, den Schweregrad und einen Vorschlag. Der Vorschlag ist der Teil, an dem die meisten Berichte sparen, und er entscheidet darüber, ob ein Befund in ein Ticket wandert. Wir sortieren die Liste zusätzlich nach Aufwand, damit die Punkte mit hohem Schweregrad und kleinem Aufwand zuerst sichtbar sind. Wo der Befund messbar sein soll, gehört er mit einer der UX-KPIs verknüpft, damit die Wirkung der Behebung später nachweisbar ist.