Incrementality Testing ist ein Experiment, das misst, wie viele Conversions oder wie viel Umsatz eine Werbemaßnahme zusätzlich verursacht. Dazu vergleicht man eine Gruppe, die die Werbung sieht, mit einer vergleichbaren Kontrollgruppe ohne Werbung. Johnson, Lewis und Nubbemeyer formulieren das Problem 2017 so: Um Werbewirkung zu messen, muss man wissen, wie sich Kunden ohne die Werbung verhalten hätten.
- Incrementality Testing
Ein Experiment, das misst, wie viele Conversions oder wie viel Umsatz eine Werbemaßnahme zusätzlich verursacht, durch den Vergleich einer Gruppe mit Werbung und einer Kontrollgruppe ohne.
Beispiel: „Beim Incrementality Testing kamen aus den Regionen ohne Kampagne fast genauso viele Anfragen.“Auch: Inkrementalitätstest, Incrementality Test, bei Google Conversion Lift.
Abgrenzung zum A/B-Test: Er vergleicht zwei Varianten, beide Gruppen bekommen etwas; der Incrementality Test vergleicht Werbung mit keiner Werbung.
Was inkrementell hier heißt
Inkrementell heißt im Duden schrittweise. Im Marketing ist etwas anderes gemeint: der Zuwachs, der ursächlich auf die Maßnahme zurückgeht, also die Conversions, die es ohne die Werbung nicht gegeben hätte. Google nennt seine Testfunktion im Deutschen Conversion-Steigerung und spricht von zusätzlichen Conversions. Die Grundlogik ist die des klassischen Experiments mit Versuchs- und Kontrollgruppe, wie Gabler sie beschreibt.
Formen des Incrementality Testing
Google unterscheidet nutzerbasierte und geografiebasierte Studien. Beim Geo-Experiment werden laut Vaver und Koehler 2011 nicht überlappende Regionen zufällig der Test- oder Kontrollbedingung zugeordnet; das funktioniert auch mit Offline-Daten. Bei nutzerbasierten Tests sieht die Kontrollgruppe keine Anzeige oder einen Platzhalter. Die Statistik dahinter ist dieselbe wie bei jedem Test; Stichprobengröße und Testhypothese gelten weiter.
Warum Incrementality Testing teuer ist
Lewis und Rao werteten 2015 25 Feldexperimente aus. Das mittlere Konfidenzintervall für den Return on Investment war über 100 Prozentpunkte breit, und aussagekräftige Experimente können leicht mehr als zehn Millionen Personenwochen brauchen. Für kleine Budgets ist ein sauberer Test deshalb oft nicht machbar. Aus unserer Sicht ist die einfachste Form ein regionaler Test, etwa eine Kampagne in einigen Regionen zu pausieren und die Anfragen über die Website zu vergleichen, mit Vorsicht bei der Deutung.