Zum Inhalt springen

Teststärke

oder auch Statistical Power

Männliche Person, frontal, schaut in die Kamera; trägt kariertes Hemd über dunkelfarbigem T‑Shirt; heller Innenraum mit unscharfem Monitor oder Poster links und Fenster rechts.

von Richard Albrecht am 20.11.2026

Die Teststärke ist die Wahrscheinlichkeit, mit der ein statistischer Test einen tatsächlich vorhandenen Effekt als signifikant erkennt. Das Dorsch Lexikon der Psychologie beschreibt sie als 1 − β, das Gegenstück zur Wahrscheinlichkeit eines Fehlers zweiter Art. Im Englischen heißt sie Statistical Power.

Teststärke

Die Wahrscheinlichkeit, dass ein statistischer Test einen tatsächlich vorhandenen Effekt der geplanten Größe als signifikant erkennt, geschrieben 1 − β.
Beispiel: „Weil die Teststärke zu gering war, blieb der echte Vorteil der neuen Seite im Test unentdeckt.“

Auch: Statistical Power; engl. power = Stärke, Macht.

Abgrenzung zum False Negative: Er ist der übersehene Effekt selbst, der Fehler zweiter Art; die Teststärke ist die Wahrscheinlichkeit, ihn zu vermeiden.

Was die Teststärke bestimmt

Die Teststärke ist eine Planungsgröße mit mehreren Stellschrauben. Kohavi und Kollegen nennen 2009 als üblichen Zielwert 80 bis 95 Prozent und betonen, dass sie sich nicht direkt einstellen lässt. Sie steigt mit der Größe des gesuchten Effekts und mit kleinerem Standardfehler; ein strengeres Konfidenzniveau senkt sie.

Den Standardfehler verringern laut den Autoren mehr Nutzer, also meist eine längere Laufzeit, eine Zielgröße mit weniger Streuung und das Weglassen von Besuchern, die die Änderung gar nicht gesehen haben. Wie sich daraus die nötige Stichprobengröße ergibt, steht dort; der kleinste gesuchte Unterschied ist der minimal nachweisbare Effekt.

Zwei glockenförmige Kurven über einer Achse für den gemessenen Unterschied: links die Ergebnisse, wenn die Nullhypothese gilt, rechts die Ergebnisse bei einem echten Effekt. Eine gestrichelte Linie markiert den kritischen Wert. Rechts davon unter der linken Kurve die kleine dunkle Fläche Alpha, links davon unter der rechten Kurve die graue Fläche Beta, rechts davon unter der rechten Kurve die große blaue Fläche Teststärke
Die Teststärke ist der Teil der Ergebnisse mit echtem Effekt, der jenseits des kritischen Werts landet.

Teststärke und die Deutung von Ergebnissen

Laut Dorsch braucht man die Teststärke für jedes Ergebnis, signifikant oder nicht. Bleibt ein Test ohne Befund, spricht das nur dann für die Nullhypothese, wenn die Teststärke schon für kleine Abweichungen hoch war. Kohavi warnt davor, eine Änderung ohne signifikanten Unterschied einzuführen, weil sie „nicht schadet“: Das Experiment kann negativ und nur zu schwach gewesen sein.

Schwache Tests verzerren auch die Treffer. Katherine Button und Kollegen zeigten 2013, dass geringe Teststärke die Wahrscheinlichkeit senkt, dass ein signifikantes Ergebnis einen echten Effekt widerspiegelt; die mittlere Teststärke neurowissenschaftlicher Studien schätzten sie auf etwa 8 bis 31 Prozent. Andrew Gelman und John Carlin zeigen 2014, dass signifikante Schätzungen bei einer Teststärke deutlich unter 50 Prozent den Effekt stark übertreiben und unter 10 Prozent oft sogar das falsche Vorzeichen haben.

Teststärke im Website-Alltag

Cohen hat laut Dorsch zwei Formen der Teststärkeanalyse vorgeschlagen: die A-priori-Analyse, die vor der Studie den nötigen Umfang berechnet, und die Post-hoc-Analyse für schon vorliegende Untersuchungen. Für Website-Tests zählt die erste; als Werkzeug nennt Dorsch Programme wie G*Power.

Aus unserer Sicht erreichen Tests auf kleinen Websites die üblichen 80 Prozent selten, weil der Verkehr fehlt. Ein knapper Sieger aus so einem Test ist deshalb mit Vorsicht zu lesen; die gemessene Verbesserung fällt im Betrieb meist kleiner aus.

Siehe auch:

Stichprobengröße

Die Zahl der Beobachtungen, bei Website-Tests meist Besucher je Variante, die ein Test braucht, um einen Unterschied bestimmter Größe mit festgelegter Sicherheit zu erkennen.

#Online-Marketing-Grundlagen

False Negative

Ein übersehener Fall: Das Modell meldet nicht, obwohl der gesuchte Fall vorliegt.

#Künstliche Intelligenz (KI)

False Positive

Ein Fehlalarm: Das Modell meldet einen Fall, den es nicht gibt.

#Künstliche Intelligenz (KI)

A/B-Test

Der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und nur ein Merkmal sich unterscheidet.

#Suchmaschinenmarketing (SEM)

Minimal nachweisbarer Effekt (MDE)

Der kleinste Unterschied zwischen zwei Varianten, den ein Test mit der geplanten Stichprobe zuverlässig erkennen soll, festgelegt vor dem Start.

Nullhypothese

Die statistische Annahme, dass sich verglichene Gruppen nicht oder nur zufällig unterscheiden; ein Test prüft, ob die Daten gegen sie sprechen.