Zum Inhalt springen

Testdauer

oder auch Test Duration

Männliche Person, frontal, schaut in die Kamera; trägt kariertes Hemd über dunkelfarbigem T‑Shirt; heller Innenraum mit unscharfem Monitor oder Poster links und Fenster rechts.

von Richard Albrecht am 20.11.2026

Die Testdauer ist die Zeit, die ein A/B-Test laufen muss, bis er die vorab berechnete Stichprobe erreicht hat. Die Testdauer folgt aus der Zahl der Besucher, die jede Variante braucht, der Zahl der Varianten und dem Verkehr pro Woche. Optimizely rät, das Ergebnis auf volle Wochen aufzurunden, weil die meisten Geschäftszahlen im Wochenrhythmus laufen.

Testdauer

Die Zeit, die ein A/B-Test laufen muss, bis er die vorab berechnete Stichprobe erreicht hat, aufgerundet auf volle Wochen.
Beispiel: „Bei 5.000 Besuchern pro Woche lag die Testdauer für das neue Formular bei drei Wochen.“

Auch: Test Duration, engl. duration = Dauer.

Abgrenzung zur Stichprobengröße: Die Stichprobengröße sagt, wie viele Besucher ein Test braucht, die Testdauer, wie lange es dauert, bis sie da sind.

Wie man die Testdauer berechnet

Optimizely teilt die gesamte Stichprobe durch die eindeutigen Besucher pro Woche. In seinem Beispiel ergeben 60.000 Besucher bei 40.000 pro Woche anderthalb Wochen, aufgerundet zwei.

Die Stichprobe selbst hängt vom kleinsten Unterschied ab, den der Test erkennen soll: Nach der Faustregel von Kohavi und Kollegen wächst sie mit dem Kehrwert seines Quadrats, wer einen halb so großen Effekt sehen will, braucht also viermal so viele Besucher.

Drei Kästen mit Pfeilen: 6.000 Besucher je Variante, mal zwei Varianten gleich 12.000, geteilt durch 5.000 pro Woche gleich 2,4 Wochen, aufgerundet 3 Wochen. Darunter drei Wochen mit je sieben Tagen; ein Pfeil am Freitag der ersten Woche, ein Pfeil am Sonntag der dritten Woche markiert das Testende
Wer nach dem Freitag der ersten Woche abbricht, misst einen Zufall; das Ende steht vor dem Start fest.

Warum die Testdauer vorher feststeht

Evan Miller hat 2010 gezeigt, was passiert, wenn man täglich nachsieht und beim ersten signifikanten Ergebnis abbricht. Die Rechnung der Signifikanz setzt voraus, dass die Stichprobe vorher feststand. In seinem Beispiel steigt der Anteil falscher Treffer dadurch von fünf auf 26,1 Prozent, und wer zehnmal nachsieht, hat statt vermeintlich einem Prozent Irrtum tatsächlich fünf.

Es gibt Methoden, die früheres Entscheiden erlauben, Miller nennt sequenzielle und bayessche Versuchspläne. Optimizely verzichtet mit seiner Stats Engine auf die vorab berechnete Stichprobe; die Testdauer bleibt trotzdem eine Planungsgröße.

Testdauer, Wochentage und Cookies

Als Untergrenze nennen Optimizely und VWO sieben Tage, damit Werktage und Wochenende gleichermaßen im Test stecken. Zu lange Tests haben ein anderes Problem: Safari begrenzt seit ITP 2.1 vom Februar 2019 dauerhafte Cookies, die per JavaScript gesetzt werden, auf sieben Tage. Merkt sich ein Testwerkzeug die Zuteilung in einem solchen Cookie, kann ein Besucher nach einer Woche die andere Variante sehen.

Aus unserer Sicht lohnt die Rechnung vor dem Start. Kommt eine Testdauer von einem halben Jahr heraus, ist der Test auf dieser Seite der falsche Weg, und ein paar Gespräche mit Kunden beantworten die Frage schneller.

Siehe auch:

A/B-Test

Der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und nur ein Merkmal sich unterscheidet.

#Suchmaschinenmarketing (SEM)

Stichprobengröße

Die Zahl der Beobachtungen, bei Website-Tests meist Besucher je Variante, die ein Test braucht, um einen Unterschied bestimmter Größe mit festgelegter Sicherheit zu erkennen.

#Online-Marketing-Grundlagen

Split-Test

Der Oberbegriff für Vergleiche, bei denen der Verkehr auf zwei oder mehr Varianten aufgeteilt wird.

#Suchmaschinenmarketing (SEM)

Testhypothese

Die vor einem Test festgelegte Annahme, welche Änderung welche messbare Wirkung haben soll und warum.

#Online-Marketing-Grundlagen

Multivariater Test

Ein Test, der mehrere Elemente einer Seite gleichzeitig in je mehreren Varianten verändert und alle Kombinationen vergleicht.

#Online-Marketing-Grundlagen

Cookie

Ein kleiner Textwert, den eine Website im Browser ablegt und bei jedem Aufruf zurückbekommt.

#Frontend-Entwicklung (HTML, CSS, JavaScript) #Web-Security