Ein minimal nachweisbarer Effekt (MDE) ist der kleinste Unterschied zwischen zwei Varianten, den ein Test mit der geplanten Stichprobe zuverlässig erkennen soll. Ronny Kohavi und Kollegen nennen die Größe 2009 Sensitivität, also den Umfang der Änderung, die man entdecken will; im Englischen heißt sie Minimum Detectable Effect.
- Minimal nachweisbarer Effekt (MDE)
Der kleinste Unterschied zwischen zwei Varianten, den ein Test mit der geplanten Stichprobe und Teststärke zuverlässig erkennen soll, festgelegt vor dem Start.
Beispiel: „Wir haben den minimal nachweisbaren Effekt auf 20 Prozent gesetzt, kleinere Verbesserungen bleiben in diesem Test unsichtbar.“Auch: MDE, Minimum Detectable Effect; engl. detectable = nachweisbar.
Abgrenzung zur Stichprobengröße: Sie ist die Zahl der Besucher, die ein Test braucht; der minimal nachweisbare Effekt ist eine der Größen, aus denen sie berechnet wird.
Relativer und absoluter minimal nachweisbarer Effekt
Meist wird der Wert relativ angegeben, als Anteil des Ausgangswerts. Die Nielsen Norman Group rechnet 2024 mit einer Klickrate von 3 Prozent und einem MDE von 20 Prozent; gemeint ist eine Änderung um 0,6 Prozentpunkte, also auf 2,4 oder 3,6 Prozent.
Wie stark der Wert den Aufwand bestimmt, zeigen Kohavi und Kollegen an einem Shop mit 5 Prozent Kaufquote: Wer statt einer Änderung von 5 Prozent eine von 20 Prozent sucht, braucht 16-mal weniger Nutzer, rund 7.600 statt 122.000. Die Rechnung dahinter steht im Eintrag zur Stichprobengröße.
Wie man den minimal nachweisbaren Effekt wählt
Die Nielsen Norman Group rät, vom Geschäft her zu fragen: Welche Änderung der Zielgröße ist praktisch bedeutsam und rechtfertigt die Kosten der Umstellung? Ein Effekt von 1 Prozent hieße im Beispiel, eine um 0,03 Prozentpunkte höhere Klickrate nachweisen zu wollen. Kohavi ergänzt die Folgekosten: Auch ein messbar besseres Merkmal lohnt sich nicht, wenn seine Pflege mehr kostet, als der kleine Zuwachs einbringt.
Der MDE beschreibt, was der Test sehen kann. Wie groß der Effekt der Änderung tatsächlich ist, weiß vorher niemand. Liegt er unter dem MDE, endet der Test oft ohne Befund, und daraus folgt keineswegs, dass die Änderung wirkungslos war.
Den minimal nachweisbaren Effekt senken
Wer kleinere Unterschiede finden will, ohne länger zu testen, muss die Streuung der Zielgröße verringern. Kohavi nennt dafür Kennzahlen mit geringer Schwankung, etwa die Kaufquote statt des Umsatzes, und das Herausfiltern von Nutzern, die die Änderung nie gesehen haben. Alex Deng und Kollegen haben 2013 bei Bing mit Daten aus der Zeit vor dem Experiment die Varianz um etwa 50 Prozent gesenkt und damit dieselbe Teststärke mit der Hälfte der Nutzer erreicht.
Aus unserer Sicht ist der MDE die ehrlichste Zahl im Testplan einer kleinen Website. Steht er vorher in der Testhypothese, sieht jeder, welche Verbesserungen der Test überhaupt erkennen kann.