Eine Testhypothese ist die vor einem Test festgelegte Annahme, welche Änderung welche messbare Wirkung haben soll und warum. Allgemein ist eine Hypothese laut Gabler eine Vermutung über die Wirklichkeit, die meist als Wenn-dann-Aussage formuliert wird. Die Nielsen Norman Group verlangt für Tests eine Hypothese, welche Änderung welche Wirkung haben könnte, verbunden mit einem klar bestimmten Ziel.
- Testhypothese
Die vor einem Test festgelegte Annahme, welche Änderung welche messbare Wirkung haben soll und warum.
Beispiel: „Die Testhypothese lautete: Wenn das Formular die Telefonnummer nicht mehr verlangt, steigen die Anfragen, weil Besucher keine Anrufe fürchten.“Abgrenzung zur Nullhypothese: Sie ist das statistische Gegenstück, das der Test zu verwerfen versucht.
Aufbau einer Testhypothese
Die Grundform ist die Wenn-dann-Aussage: Wenn wir dies ändern, dann verändert sich jene Kennzahl. In der Praxis hat sich eine Ergänzung um ein Weil eingebürgert, das die Beobachtung nennt, aus der die Annahme stammt; einen Erstbeleg dafür gibt es nicht. Je besser die Annahme auf Nutzerforschung beruht, desto aussichtsreicher ist sie laut Nielsen Norman Group. In die Hypothese gehören auch Zielgröße und der kleinste Effekt, der zählen soll, weil sie die Stichprobengröße bestimmen.
Testhypothese und Nullhypothese
Statistisch wird die Testhypothese in zwei Aussagen übersetzt. Die Nullhypothese nimmt an, dass sich die Varianten nicht oder nur zufällig unterscheiden; der Test versucht, sie zu verwerfen. Das Gabler Wirtschaftslexikon weist auf die Asymmetrie hin: Lehnt ein Test die Nullhypothese nicht ab, heißt das nur, dass die Stichprobe nicht gegen sie spricht. Ein Test ohne Ergebnis widerlegt die Testhypothese also nicht zwingend.
Warum man die Testhypothese vorher festlegt
Kohavi und Kollegen raten 2009, die Zielgröße vorab festzulegen, weil sonst die Gefahr steigt, zufällige Unterschiede für Ergebnisse zu halten. Wer nach dem Test die Kennzahl sucht, die sich bewegt hat, findet fast immer eine, und der Confirmation Bias erledigt den Rest. Aus unserer Sicht reicht dafür ein Satz im Projektdokument, geschrieben bevor der Test startet.