Ein Split-Test ist der Oberbegriff für Vergleiche, bei denen der Verkehr auf zwei oder mehr Varianten aufgeteilt wird. Die Aufteilung läuft gleichzeitig, damit äußere Einflüsse alle Varianten gleich treffen.
- Split-Test
Der Oberbegriff für Vergleiche, bei denen der Verkehr auf zwei oder mehr Varianten aufgeteilt wird.
Beispiel: „Der Split-Test verglich vier Überschriften gegeneinander.“Auch: Splittest, A/B/n-Test. Der A/B-Test ist der Sonderfall mit genau zwei Varianten und der verbreitetste.
Abzugrenzen ist der multivariate Test: Dort werden mehrere Merkmale zugleich verändert und ihre Kombinationen verglichen.
Wie ein Split-Test zum A/B-Test steht
Als Oberbegriff zum Sonderfall. Jeder A/B-Test ist ein Split-Test, nicht jeder Split-Test ist ein A/B-Test: Sobald eine dritte Variante dazukommt, trifft der engere Name nicht mehr zu.
Im Sprachgebrauch werden beide oft gleichgesetzt. Das geht so lange gut, wie tatsächlich zwei Varianten laufen, und führt zu Missverständnissen, sobald über die Zahl der Varianten gesprochen wird.
Was zusätzliche Varianten in einem Split-Test kosten
Daten und Zeit. Der Verkehr teilt sich auf alle Varianten auf; bei vier statt zwei bekommt jede die Hälfte, und bis ein Unterschied belastbar ist, dauert es entsprechend länger.
Daraus folgt eine schlichte Regel: so wenige Varianten wie möglich und so viele wie nötig. Wer vier Ideen hat und wenig Verkehr, entscheidet zwei davon nach Augenmaß und testet die übrigen beiden.
Wann ein Split-Test die richtige Form ist
Wenn genug Verkehr auf eine Frage trifft, deren Antwort sich lohnt. Überschriften, Angebote, Formularlängen und Preisdarstellungen sind die Fälle, in denen Unterschiede groß genug ausfallen, um messbar zu sein.
Bei kleinen Mengen ist die ehrliche Alternative die begründete Entscheidung. Ein Test, dessen Zahlen nichts hergeben, erzeugt nur den Anschein von Sicherheit.