Die Testdauer ist die Zeit, die ein A/B-Test laufen muss, bis er die vorab berechnete Stichprobe erreicht hat. Die Testdauer folgt aus der Zahl der Besucher, die jede Variante braucht, der Zahl der Varianten und dem Verkehr pro Woche. Optimizely rät, das Ergebnis auf volle Wochen aufzurunden, weil die meisten Geschäftszahlen im Wochenrhythmus laufen.
- Testdauer
Die Zeit, die ein A/B-Test laufen muss, bis er die vorab berechnete Stichprobe erreicht hat, aufgerundet auf volle Wochen.
Beispiel: „Bei 5.000 Besuchern pro Woche lag die Testdauer für das neue Formular bei drei Wochen.“Auch: Test Duration, engl. duration = Dauer.
Abgrenzung zur Stichprobengröße: Die Stichprobengröße sagt, wie viele Besucher ein Test braucht, die Testdauer, wie lange es dauert, bis sie da sind.
Wie man die Testdauer berechnet
Optimizely teilt die gesamte Stichprobe durch die eindeutigen Besucher pro Woche. In seinem Beispiel ergeben 60.000 Besucher bei 40.000 pro Woche anderthalb Wochen, aufgerundet zwei.
Die Stichprobe selbst hängt vom kleinsten Unterschied ab, den der Test erkennen soll: Nach der Faustregel von Kohavi und Kollegen wächst sie mit dem Kehrwert seines Quadrats, wer einen halb so großen Effekt sehen will, braucht also viermal so viele Besucher.
Warum die Testdauer vorher feststeht
Evan Miller hat 2010 gezeigt, was passiert, wenn man täglich nachsieht und beim ersten signifikanten Ergebnis abbricht. Die Rechnung der Signifikanz setzt voraus, dass die Stichprobe vorher feststand. In seinem Beispiel steigt der Anteil falscher Treffer dadurch von fünf auf 26,1 Prozent, und wer zehnmal nachsieht, hat statt vermeintlich einem Prozent Irrtum tatsächlich fünf.
Es gibt Methoden, die früheres Entscheiden erlauben, Miller nennt sequenzielle und bayessche Versuchspläne. Optimizely verzichtet mit seiner Stats Engine auf die vorab berechnete Stichprobe; die Testdauer bleibt trotzdem eine Planungsgröße.
Testdauer, Wochentage und Cookies
Als Untergrenze nennen Optimizely und VWO sieben Tage, damit Werktage und Wochenende gleichermaßen im Test stecken. Zu lange Tests haben ein anderes Problem: Safari begrenzt seit ITP 2.1 vom Februar 2019 dauerhafte Cookies, die per JavaScript gesetzt werden, auf sieben Tage. Merkt sich ein Testwerkzeug die Zuteilung in einem solchen Cookie, kann ein Besucher nach einer Woche die andere Variante sehen.
Aus unserer Sicht lohnt die Rechnung vor dem Start. Kommt eine Testdauer von einem halben Jahr heraus, ist der Test auf dieser Seite der falsche Weg, und ein paar Gespräche mit Kunden beantworten die Frage schneller.