Die Stichprobengröße ist die Zahl der Beobachtungen, bei Website-Tests meist Besucher je Variante, die ein Test braucht, um einen Unterschied einer bestimmten Größe mit festgelegter Sicherheit zu erkennen. Eine Stichprobe ist laut Gabler die Teilmenge einer Grundgesamtheit, die für eine Untersuchung ausgewählt wird. Das Dorsch Lexikon der Psychologie betont, dass der nötige Umfang immer vor der Studie ermittelt werden sollte.
- Stichprobengröße
Die Zahl der Beobachtungen, bei Website-Tests meist Besucher je Variante, die ein Test braucht, um einen Unterschied bestimmter Größe mit festgelegter Sicherheit zu erkennen.
Beispiel: „Die Stichprobengröße lag bei 13.000 Besuchern je Variante, also bei über einem Jahr Laufzeit.“Auch: Stichprobenumfang, Sample Size.
Abgrenzung zum Gesetz der großen Zahlen: Es erklärt, warum große Stichproben stabiler sind; die Stichprobengröße ist die Planungsgröße vor dem Test.
Drei Stellgrößen der Stichprobengröße
Den nötigen Umfang bestimmen drei Größen. Das Signifikanzniveau begrenzt die Wahrscheinlichkeit, einen Unterschied zu sehen, wo keiner ist; laut Spektrum Lexikon der Mathematik wird es häufig auf 0,05 gesetzt. Die Teststärke ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied zu finden; Cohens Faustregel verlangt mindestens 0,8. Die dritte Größe ist der kleinste Unterschied, den man finden will, der minimal nachweisbare Effekt. Je kleiner er ist, desto mehr Besucher braucht es.
Die Faustformel nach Kohavi
Kohavi und Kollegen geben 2009 eine Faustformel an: n = 16 · s² / d² je Variante für 95 Prozent Konfidenz und 80 Prozent Teststärke. Dabei ist s² die Varianz der Zielgröße, für eine Conversion Rate p also p · (1 − p), und d der gesuchte Unterschied. Weil d im Quadrat steht, vervierfacht ein halb so großer Effekt den Bedarf. Bei 3 Prozent Ausgangsrate und 20 Prozent relativer Änderung ergeben sich rund 12.900 Besucher je Variante, bei 10 Prozent schon rund 51.700.
Was die Stichprobengröße für kleine Websites heißt
Eine Anfrageseite mit 2.000 Besuchern im Monat und 3 Prozent Anfragequote bräuchte nach dieser Rechnung für einen Effekt von 20 Prozent über ein Jahr. Aus unserer Sicht ist das der häufigste Grund, warum Tests auf kleineren Websites nichts zeigen. Auswege sind größere Änderungen, eine häufigere Micro Conversion als Zielgröße oder die begründete Entscheidung ohne Test. Wer mit zu kleinen Stichproben auswertet, landet beim Gesetz der kleinen Zahlen.