Ein A/B-Test ist der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und sich nur ein Merkmal unterscheidet. Beide laufen zugleich, damit äußere Einflüsse beide gleich treffen.
- A/B-Test
Der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und nur ein Merkmal sich unterscheidet.
Beispiel: „Der A/B-Test verglich zwei Überschriften der Landingpage bei sonst gleicher Seite.“Der A/B-Test vergleicht genau zwei Varianten; für den Vergleich mehrerer steht der Split-Test als Oberbegriff.
In Werbekonten gibt es dafür eigene Versuchsfunktionen, die eine Kampagne spiegeln und den Verkehr aufteilen.
Was ein A/B-Test braucht
Genug Daten und Geduld. Als Richtwert gelten einige hundert Conversions je Variante, damit ein Unterschied nicht im Zufall untergeht; bei zwanzig Anfragen im Monat dauert das länger, als die Frage aktuell bleibt.
Dazu kommt eine feste Laufzeit, die vor dem Start festgelegt wird. Wer täglich nachsieht und abbricht, sobald eine Variante vorn liegt, misst Schwankung und nicht Wirkung.
Warum die meisten A/B-Tests nichts beweisen
Weil sie zu klein sind. Ein Unterschied von zehn Prozent bei je fünfzig Conversions ist statistisch nichts, wird aber regelmäßig als Ergebnis verkauft und führt zu Entscheidungen.
Zweiter Grund sind veränderte Bedingungen: Wer nacheinander testet statt parallel, vergleicht zwei Zeiträume und misst die Saison mit.
Was man statt eines A/B-Tests tun kann
Bei kleinen Datenmengen größere Unterschiede ausprobieren. Zwei Überschriften, die sich um ein Wort unterscheiden, erzeugen einen Effekt, den man nicht messen kann; zwei verschiedene Ansätze erzeugen einen, den man sieht.
Dazu kommt die Beurteilung nach Augenschein und Erfahrung, offen benannt. Eine Entscheidung mit der Begründung „wir halten das für klarer“ ist ehrlicher als ein Test, dessen Zahlen nichts hergeben.