Die Nullhypothese ist in der Statistik die Annahme, dass zwischen den verglichenen Gruppen kein Unterschied besteht oder nur ein zufälliger. Das Dorsch Lexikon der Psychologie kürzt sie mit H0 ab. Ein statistischer Test prüft, ob die Daten so stark von ihr abweichen, dass man sie verwerfen und die Alternativhypothese annehmen kann.
- Nullhypothese
Die statistische Annahme, dass sich verglichene Gruppen nicht oder nur zufällig unterscheiden; ein Test prüft, ob die Daten gegen sie sprechen.
Beispiel: „Bei unserem A/B-Test lautete die Nullhypothese, dass beide Überschriften gleich viele Anfragen bringen.“Auch: Null Hypothesis; engl. null = nichtig, wertlos.
Abgrenzung zur Testhypothese: Sie sagt, welche Änderung was bewirken soll und warum; die Nullhypothese ist das statistische Gegenstück, das der Test zu verwerfen versucht.
Wie ein Test mit der Nullhypothese arbeitet
Der Signifikanztest geht von der Nullhypothese aus. Laut Spektrum Lexikon der Mathematik wird er so gebaut, dass die Wahrscheinlichkeit, sie fälschlich abzulehnen, eine vorgegebene Grenze α nicht überschreitet. Bei α = 0,05 wird die Nullhypothese in etwa 5 von 100 Anwendungen abgelehnt, obwohl sie gilt.
Im A/B-Test lautet die Nullhypothese nach Kohavi und Kollegen 2009, dass sich die Zielgrößen der Varianten nicht unterscheiden und jede beobachtete Differenz aus zufälligen Schwankungen stammt. Wird sie verworfen, gilt die Variante als signifikant verschieden von der Kontrolle.
Zwei Fehler gegenüber der Nullhypothese
Dorsch unterscheidet zwei Fehlentscheidungen. Wird die Nullhypothese verworfen, obwohl sie richtig ist, liegt ein Fehler erster Art vor, auch Alpha-Fehler; im A/B-Test ist das der gefeierte Sieger, der keiner ist, ein False Positive. Wird sie beibehalten, obwohl sie falsch ist, spricht man vom Fehler zweiter Art oder Beta-Fehler, einem False Negative.
Beide Fehler lassen sich laut Spektrum nicht unabhängig voneinander zugleich klein halten. Üblich ist deshalb, α festzulegen und den Fehler zweiter Art über die Teststärke zu begrenzen. Warum ein Test ohne Ergebnis die Nullhypothese nicht bestätigt, erklärt der Eintrag zur Testhypothese.
Nullhypothese und p-Wert
Der p-Wert sagt, wie ungewöhnlich die Daten wären, wenn die Nullhypothese stimmte, und wird oft überschätzt. Die American Statistical Association hat dazu im März 2016 eine Erklärung mit sechs Grundsätzen veröffentlicht. Danach zeigt ein p-Wert, wie unvereinbar die Daten mit einem bestimmten statistischen Modell sind; er misst weder die Wahrscheinlichkeit, dass die geprüfte Hypothese stimmt, noch die Größe eines Effekts.
Geschäftsentscheidungen sollen laut ASA nicht allein daran hängen, ob ein p-Wert eine Schwelle unterschreitet. Aus unserer Sicht gehört neben den p-Wert im Testbericht deshalb immer die gemessene Differenz mit ihrer Spanne, damit sichtbar wird, ob sich die Umstellung lohnt.