Zum Inhalt springen

Overall Evaluation Criterion (OEC)

oder auch OEC

Männliche Person, frontal, schaut in die Kamera; trägt kariertes Hemd über dunkelfarbigem T‑Shirt; heller Innenraum mit unscharfem Monitor oder Poster links und Fenster rechts.

von Richard Albrecht am 20.11.2026

Ein Overall Evaluation Criterion (OEC) ist die eine, vorab vereinbarte Zielgröße, an der ein kontrolliertes Experiment gemessen wird. Ronny Kohavi und Kollegen beschreiben das Kriterium 2009 nach Ranjit Roy als quantitatives Maß für das Ziel eines Experiments. Wörtlich heißt der Ausdruck etwa übergreifendes Bewertungskriterium.

Overall Evaluation Criterion (OEC)

Die vorab festgelegte Zielgröße eines kontrollierten Experiments, oft eine gewichtete Kombination mehrerer Kennzahlen, nach der über die Einführung einer Variante entschieden wird.
Beispiel: „Als Overall Evaluation Criterion für den Formulartest galt die Zahl der Anfragen je Besucher.“

Auch: OEC; engl. overall = gesamt, übergreifend, criterion = Kriterium.

Abgrenzung zur North Star Metric: Sie richtet ein ganzes Produkt auf Dauer aus; das OEC entscheidet einzelne Experimente und soll vorhersagen, was langfristig zählt.

Was ein gutes Overall Evaluation Criterion ausmacht

In der Statistik heißt eine solche Größe meist Zielvariable oder abhängige Variable. Kohavi empfiehlt, wenn möglich eine einzige Kennzahl zu wählen, notfalls als gewichtete Kombination mehrerer Ziele. Eine einzige Größe zwinge dazu, Zielkonflikte einmal für viele Experimente zu klären, und richte die Organisation auf ein klares Ziel aus.

Kurzfristige Größen wie Klicks taugen dafür wenig. Ein gutes OEC soll Faktoren enthalten, die langfristige Ziele vorhersagen, etwa den erwarteten Customer Lifetime Value und wiederholte Besuche. Für Suchanzeigen schlagen die Autoren einen Abzug für Anzeigenfläche vor, die nicht geklickt wird, weil viele Anzeigen das Nutzererlebnis verschlechtern.

Das OEC vorher vereinbaren

Kohavi rät, sich vor dem Experiment mit allen Beteiligten auf das OEC zu einigen. Wer eine solche Größe formuliert, muss den Wert der einzelnen Bestandteile gegeneinander abwägen; als Technik empfehlen die Autoren, den Wert von Nutzern und ihren Handlungen über die ganze Kundenbeziehung abzuschätzen. Eine Suche eines neuen Nutzers kann danach mehr wert sein als eine weitere Suche eines bestehenden.

Aus unserer Sicht reicht auf einer Unternehmenswebsite oft eine einfache Größe wie Anfragen je Besucher, solange alle vorher wissen, dass sie entscheidet. Die übrigen Zahlen im Testwerkzeug dienen dann als Kontrolle, etwa ob die Absprungrate steigt.

Das Overall Evaluation Criterion bei Bing

Wie leicht eine falsche Zielgröße täuscht, beschreiben Kohavi und Kollegen 2012 an Microsofts Suchmaschine Bing. Ein Fehler in einem Experiment zeigte Nutzern deutlich schlechtere Suchergebnisse, und zwei wichtige Kennzahlen stiegen: die Zahl verschiedener Suchanfragen je Nutzer um über 10 Prozent, der Umsatz je Nutzer um über 30 Prozent.

Die Erklärung: Schlechtere Ergebnisse zwingen zu mehr Suchen und mehr Anzeigenklicks, auf Dauer wandern die Nutzer aber zur Konkurrenz. Die Autoren raten deshalb, Suchanfragen allein nicht als OEC zu nehmen, und sehen den Wert eines Kunden über die ganze Beziehung als Leitlinie. Dass eine Kennzahl ihre Aussagekraft verliert, sobald sie zum Ziel wird, beschreibt Goodharts Gesetz.

Siehe auch:

North Star Metric

Die eine Kennzahl, an der ein Unternehmen sein Produktwachstum ausrichtet, weil sie den Wert misst, den Kunden aus dem Produkt ziehen, etwa wöchentliche Fahrten bei Uber.

#Online-Marketing-Grundlagen

KPI (Key Performance Indicator)

Eine ausgewählte Kennzahl, die misst, wie gut ein Unternehmen, ein Team oder eine Website ein festgelegtes Ziel erreicht, etwa Anfragen oder Umsatz im Monat.

#Online-Marketing-Grundlagen

A/B-Test

Der Vergleich zweier Varianten, bei dem der Verkehr geteilt wird und nur ein Merkmal sich unterscheidet.

#Suchmaschinenmarketing (SEM)

Goodharts Gesetz

Die Beobachtung, dass eine Kennzahl ihre Aussagekraft verliert, sobald sie zum Ziel gemacht wird, weil sich das Verhalten dann auf die Zahl richtet statt auf die Sache.

#Online-Marketing-Grundlagen

Customer Lifetime Value (CLV)

Der Wert eines Kunden über die ganze Dauer seiner Beziehung zum Unternehmen, berechnet als abgezinster Überschuss seiner Zahlungen über die Kosten.

#Online-Marketing-Grundlagen

Vanity Metrics

Kennzahlen, die gut aussehen und gern gezeigt werden, aber keine Entscheidung nahelegen, etwa Seitenaufrufe, Downloads oder die Zahl der Follower insgesamt.

#Online-Marketing-Grundlagen