Zum Inhalt springen

Minimal nachweisbarer Effekt (MDE)

oder auch MDE, Minimum Detectable Effect

Männliche Person, frontal, schaut in die Kamera; trägt kariertes Hemd über dunkelfarbigem T‑Shirt; heller Innenraum mit unscharfem Monitor oder Poster links und Fenster rechts.

von Richard Albrecht am 20.11.2026

Ein minimal nachweisbarer Effekt (MDE) ist der kleinste Unterschied zwischen zwei Varianten, den ein Test mit der geplanten Stichprobe zuverlässig erkennen soll. Ronny Kohavi und Kollegen nennen die Größe 2009 Sensitivität, also den Umfang der Änderung, die man entdecken will; im Englischen heißt sie Minimum Detectable Effect.

Minimal nachweisbarer Effekt (MDE)

Der kleinste Unterschied zwischen zwei Varianten, den ein Test mit der geplanten Stichprobe und Teststärke zuverlässig erkennen soll, festgelegt vor dem Start.
Beispiel: „Wir haben den minimal nachweisbaren Effekt auf 20 Prozent gesetzt, kleinere Verbesserungen bleiben in diesem Test unsichtbar.“

Auch: MDE, Minimum Detectable Effect; engl. detectable = nachweisbar.

Abgrenzung zur Stichprobengröße: Sie ist die Zahl der Besucher, die ein Test braucht; der minimal nachweisbare Effekt ist eine der Größen, aus denen sie berechnet wird.

Relativer und absoluter minimal nachweisbarer Effekt

Meist wird der Wert relativ angegeben, als Anteil des Ausgangswerts. Die Nielsen Norman Group rechnet 2024 mit einer Klickrate von 3 Prozent und einem MDE von 20 Prozent; gemeint ist eine Änderung um 0,6 Prozentpunkte, also auf 2,4 oder 3,6 Prozent.

Wie stark der Wert den Aufwand bestimmt, zeigen Kohavi und Kollegen an einem Shop mit 5 Prozent Kaufquote: Wer statt einer Änderung von 5 Prozent eine von 20 Prozent sucht, braucht 16-mal weniger Nutzer, rund 7.600 statt 122.000. Die Rechnung dahinter steht im Eintrag zur Stichprobengröße.

Wie man den minimal nachweisbaren Effekt wählt

Die Nielsen Norman Group rät, vom Geschäft her zu fragen: Welche Änderung der Zielgröße ist praktisch bedeutsam und rechtfertigt die Kosten der Umstellung? Ein Effekt von 1 Prozent hieße im Beispiel, eine um 0,03 Prozentpunkte höhere Klickrate nachweisen zu wollen. Kohavi ergänzt die Folgekosten: Auch ein messbar besseres Merkmal lohnt sich nicht, wenn seine Pflege mehr kostet, als der kleine Zuwachs einbringt.

Der MDE beschreibt, was der Test sehen kann. Wie groß der Effekt der Änderung tatsächlich ist, weiß vorher niemand. Liegt er unter dem MDE, endet der Test oft ohne Befund, und daraus folgt keineswegs, dass die Änderung wirkungslos war.

Den minimal nachweisbaren Effekt senken

Wer kleinere Unterschiede finden will, ohne länger zu testen, muss die Streuung der Zielgröße verringern. Kohavi nennt dafür Kennzahlen mit geringer Schwankung, etwa die Kaufquote statt des Umsatzes, und das Herausfiltern von Nutzern, die die Änderung nie gesehen haben. Alex Deng und Kollegen haben 2013 bei Bing mit Daten aus der Zeit vor dem Experiment die Varianz um etwa 50 Prozent gesenkt und damit dieselbe Teststärke mit der Hälfte der Nutzer erreicht.

Aus unserer Sicht ist der MDE die ehrlichste Zahl im Testplan einer kleinen Website. Steht er vorher in der Testhypothese, sieht jeder, welche Verbesserungen der Test überhaupt erkennen kann.

Siehe auch:

Stichprobengröße

Die Zahl der Beobachtungen, bei Website-Tests meist Besucher je Variante, die ein Test braucht, um einen Unterschied bestimmter Größe mit festgelegter Sicherheit zu erkennen.

#Online-Marketing-Grundlagen

A/B-Test

Der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und nur ein Merkmal sich unterscheidet.

#Suchmaschinenmarketing (SEM)

Testhypothese

Die vor einem Test festgelegte Annahme, welche Änderung welche messbare Wirkung haben soll und warum.

#Online-Marketing-Grundlagen

Multivariater Test

Ein Test, der mehrere Elemente einer Seite gleichzeitig in je mehreren Varianten verändert und alle Kombinationen vergleicht.

#Online-Marketing-Grundlagen

Teststärke

Die Wahrscheinlichkeit, dass ein statistischer Test einen tatsächlich vorhandenen Effekt der geplanten Größe als signifikant erkennt.

Nullhypothese

Die statistische Annahme, dass sich verglichene Gruppen nicht oder nur zufällig unterscheiden; ein Test prüft, ob die Daten gegen sie sprechen.