Ein multivariater Test verändert mehrere Elemente einer Seite gleichzeitig in je mehreren Varianten und vergleicht alle Kombinationen. Das Glossar von Google Analytics beschreibt ihn als Test, der die effektivste Kombination der Varianten ermittelt, und nennt ihn auch Kombinationstest. Die Nielsen Norman Group spricht 2018 von Variablen, also Elementen, von Varianten eines Elements und von Variationen als Kombinationen; ihre Zahl ist das Produkt der Varianten.
- Multivariater Test
Ein Test, der mehrere Elemente einer Seite gleichzeitig in je mehreren Varianten verändert und alle Kombinationen vergleicht.
Beispiel: „Der multivariate Test lief mit zwei Überschriften und zwei Bildern, also vier Kombinationen.“Auch: MVT, Multivariate Testing, Kombinationstest, Multivariable Testing.
Abgrenzung zum A/B-Test: Er vergleicht eine Änderung oder eine ganze Seite mit dem Original; der multivariate Test zeigt, wie die Elemente zusammenspielen.
Wozu ein multivariater Test dient
Der Vorteil sind Wechselwirkungen. Zwei A/B-Tests nacheinander, erst zum Video, dann zum Button, können die beste Kombination verfehlen. Kohavi und Kollegen nennen 2009 zwei Faktoren wechselwirkend, wenn ihr gemeinsamer Effekt von der Summe der Einzeleffekte abweicht; ihr Beispiel ist ein größeres Produktbild mit mehr Text, das die Kaufbox unter den sichtbaren Bereich schiebt. Große Wechselwirkungen seien allerdings seltener, als die meisten glauben.
Wie viel Verkehr ein multivariater Test braucht
Es kommt auf die Auswertung an. Wird jede Kombination wie eine eigene Variante mit der Kontrolle verglichen, braucht jede Zelle die volle Stichprobengröße, und der Bedarf wächst mit der Zahl der Kombinationen. Werden die Haupteffekte über alle Daten geschätzt, geht nach Kohavi kaum Teststärke verloren: Wer nur wissen will, welche Überschrift und welches Bild für sich besser sind, kommt mit ähnlich vielen Besuchern aus wie bei einem A/B-Test. Teuer wird die Frage nach dem Zusammenspiel. Für die meisten kleineren Websites ist ein MVT aus unserer Sicht nicht machbar; Kohavi rät, das erste Experiment als A/B-Test zu fahren.
Multivariat in der Statistik
In der Statistik meint multivariat etwas anderes: Verfahren für mehrere gemeinsam beobachtete Merkmale wie Faktoren-, Cluster- oder Regressionsanalyse, so das Gabler Wirtschaftslexikon. Kohavi und Kollegen sprechen deshalb von MultiVariable Testing, um die Verwechslung zu vermeiden.