Ein Geo-Experiment ist ein Werbetest, bei dem ganze Regionen zufällig einer Test- oder Kontrollgruppe zugeordnet werden und die Werbung nur in den Testregionen verändert wird. Jon Vaver und Jim Koehler beschreiben die Methode 2011 für Google. Das Ergebnis ist der zusätzliche Erfolg je eingesetztem Werbeeuro.
- Geo-Experiment
Ein kontrolliertes Experiment, bei dem Regionen zufällig in Test- und Kontrollgruppe geteilt werden, um die zusätzliche Wirkung einer Werbemaßnahme auf eine regional messbare Zielgröße zu bestimmen.
Beispiel: „Im Geo-Experiment lief die Suchkampagne in acht Regionen weiter und pausierte in acht anderen.“Abgrenzung zum Incrementality Testing: Es ist der Oberbegriff für Tests auf zusätzliche Wirkung; das Geo-Experiment ist seine Form mit Regionen statt einzelner Nutzer.
Abgrenzung zum Geotargeting: Es steuert, wo Anzeigen erscheinen, und ist im Geo-Experiment das Werkzeug, mit dem die Regionen ihre Bedingung bekommen.
Wie ein Geo-Experiment abläuft
Am Anfang steht eine Einteilung des Marktes in Regionen, die Vaver und Koehler Geos nennen. Sie müssen zwei Bedingungen erfüllen: Anzeigen lassen sich je Region verlässlich ausspielen, und Werbeausgaben wie Zielgröße lassen sich je Region messen. In den USA nennen die Autoren die 210 Designated Market Areas von Nielsen als mögliche Einteilung; Postleitzahlgebiete seien meist zu klein.
Jedes Experiment hat zwei Zeiträume. Im Vortest laufen alle Regionen gleich, im Test wird die Kampagne nur in den Testregionen geändert. Weil Verkäufe im Laden verzögert folgen, reicht der Testzeitraum über das Ende der Änderung hinaus. Die Regionen vor der Zuteilung nach Größe zu gruppieren, verengte das Konfidenzintervall laut den Autoren um 10 Prozent oder mehr.
Wann ein Geo-Experiment passt
Geo-Experimente brauchen keine Daten über einzelne Nutzer. Jouni Kerman, Peng Wang und Jon Vaver nennen sie 2017 datenschutzfreundlich, weil die Ergebnisse je Region zusammengefasst werden. Meta hat mit GeoLift ein Werkzeug für Fälle gebaut, in denen nutzerbasierte Messung nicht möglich ist, und empfiehlt die nutzerbasierte trotzdem, wo sie geht, weil sie die höhere Teststärke hat.
Für wenige Regionen beschreiben Kerman und Kollegen eine zeitbasierte Auswertung, die den Verlauf ohne Kampagne vorhersagt. Sie eignet sich auch für Matched Market Tests, bei denen sorgfältig gepaarte Regionen verglichen werden. Solche Tests sind bequem und günstig, schützen ohne zufällige Zuteilung aber nicht vor verborgenen Unterschieden.
Grenzen des Geo-Experiments
Die Wirkung hält sich nicht an Regionsgrenzen. Wer im Testgebiet Werbung sieht und in der Kontrollregion kauft, verwässert den Unterschied; Vaver und Koehler nennen Menschen, die über Grenzen hinweg unterwegs sind, und die begrenzte Genauigkeit der regionalen Ausspielung als Risiko.
Aus unserer Sicht lohnt vor dem Start ein Blick in die Daten des Vortests: Laufen Test- und Kontrollregionen ohne Eingriff nicht annähernd parallel, ist auch der spätere Abstand kaum zu deuten. Die Grundidee bleibt die eines A/B-Tests, mit Regionen als Versuchseinheiten.