Ein A/A-Test ist ein Experiment, bei dem die Besucher wie bei einem A/B-Test auf zwei Gruppen verteilt werden, beide Gruppen aber genau dieselbe Seite sehen. Er prüft das Testsystem selbst. Ronny Kohavi und Kollegen nennen 2009 zwei Zwecke: die Streuung der Daten für die Planung messen und kontrollieren, ob die Auswertung korrekt arbeitet.
- A/A-Test
Ein Experiment mit zwei identischen Varianten, das prüft, ob Aufteilung, Datenerfassung und Auswertung eines Testwerkzeugs korrekt arbeiten.
Beispiel: „Vor dem ersten richtigen Test haben wir zwei Wochen lang einen A/A-Test laufen lassen.“Abgrenzung zum A/B-Test: Er vergleicht zwei verschiedene Varianten; im A/A-Test sind beide gleich, jeder Unterschied ist also Zufall oder ein Fehler.
Was ein A/A-Test zeigen soll
Weil beide Gruppen dasselbe sehen, gilt die Nullhypothese hier sicher. Bei 95 Prozent Konfidenz sollte der Test sie nach Kohavi deshalb nur in etwa 5 Prozent der Fälle ablehnen. Für laufende A/A-Tests nennen die Autoren Prüffragen: Werden die Nutzer im geplanten Verhältnis aufgeteilt, stimmen die erfassten Daten mit dem System überein, das die Zahlen sonst führt, und sind die Ergebnisse in 95 Prozent der Fälle nicht signifikant?
Zeigt ein A/A-Test deutlich mehr signifikante Ergebnisse, stimmt etwas nicht. Kohavi berichtet von Robotern, die so viele Kennzahlen verzerrten, dass ein A/A-Test weit mehr als 5 Prozent False Positives lieferte.
A/A-Test und Sample Ratio Mismatch
Ein häufiger Befund ist das Sample Ratio Mismatch, wörtlich die nicht passende Aufteilung: Das beobachtete Verhältnis der Gruppen weicht vom geplanten ab. Aleksander Fabijan und Kollegen fanden 2019 ein solches Missverhältnis bei etwa 6 Prozent der Experimente bei Microsoft. Prüfen lässt es sich mit einem Chi-Quadrat-Test.
Ihr Beispiel stammt aus einem A/A-Test bei MSN.com. Der Dienst, der Nutzer den Gruppen zuteilte, gab der Kontrolle einen von tausend Anteilen zu wenig; aus 50 zu 50 wurde 49,9 zu 50. Zeigt schon ein A/A-Test ein solches Missverhältnis, liegt die Ursache laut den Autoren meist im System, oder die Varianten sind doch verschieden, etwa weil in einer zusätzlich gemessen wird.
Wann sich ein A/A-Test lohnt
Kohavi rät, A/A-Tests fortlaufend neben den eigentlichen Experimenten mitlaufen zu lassen. Er nutzt sie auch, um vor einer Studie die Streuung der Zielgröße zu schätzen, aus der sich die Stichprobengröße berechnet. In der Literatur heißt der A/A-Test bei Kohavi nach Eric Peterson auch Null Test.
Aus unserer Sicht ist ein A/A-Test auf einer kleinen Website vor allem eine Einrichtungsprüfung. Er zeigt, ob das Werkzeug richtig teilt und zählt, bevor eine echte Variante live geht; als Daueraufgabe kostet er dort mehr Verkehr, als er einbringt.