Ein Overall Evaluation Criterion (OEC) ist die eine, vorab vereinbarte Zielgröße, an der ein kontrolliertes Experiment gemessen wird. Ronny Kohavi und Kollegen beschreiben das Kriterium 2009 nach Ranjit Roy als quantitatives Maß für das Ziel eines Experiments. Wörtlich heißt der Ausdruck etwa übergreifendes Bewertungskriterium.
- Overall Evaluation Criterion (OEC)
Die vorab festgelegte Zielgröße eines kontrollierten Experiments, oft eine gewichtete Kombination mehrerer Kennzahlen, nach der über die Einführung einer Variante entschieden wird.
Beispiel: „Als Overall Evaluation Criterion für den Formulartest galt die Zahl der Anfragen je Besucher.“Auch: OEC; engl. overall = gesamt, übergreifend, criterion = Kriterium.
Abgrenzung zur North Star Metric: Sie richtet ein ganzes Produkt auf Dauer aus; das OEC entscheidet einzelne Experimente und soll vorhersagen, was langfristig zählt.
Was ein gutes Overall Evaluation Criterion ausmacht
In der Statistik heißt eine solche Größe meist Zielvariable oder abhängige Variable. Kohavi empfiehlt, wenn möglich eine einzige Kennzahl zu wählen, notfalls als gewichtete Kombination mehrerer Ziele. Eine einzige Größe zwinge dazu, Zielkonflikte einmal für viele Experimente zu klären, und richte die Organisation auf ein klares Ziel aus.
Kurzfristige Größen wie Klicks taugen dafür wenig. Ein gutes OEC soll Faktoren enthalten, die langfristige Ziele vorhersagen, etwa den erwarteten Customer Lifetime Value und wiederholte Besuche. Für Suchanzeigen schlagen die Autoren einen Abzug für Anzeigenfläche vor, die nicht geklickt wird, weil viele Anzeigen das Nutzererlebnis verschlechtern.
Das OEC vorher vereinbaren
Kohavi rät, sich vor dem Experiment mit allen Beteiligten auf das OEC zu einigen. Wer eine solche Größe formuliert, muss den Wert der einzelnen Bestandteile gegeneinander abwägen; als Technik empfehlen die Autoren, den Wert von Nutzern und ihren Handlungen über die ganze Kundenbeziehung abzuschätzen. Eine Suche eines neuen Nutzers kann danach mehr wert sein als eine weitere Suche eines bestehenden.
Aus unserer Sicht reicht auf einer Unternehmenswebsite oft eine einfache Größe wie Anfragen je Besucher, solange alle vorher wissen, dass sie entscheidet. Die übrigen Zahlen im Testwerkzeug dienen dann als Kontrolle, etwa ob die Absprungrate steigt.
Das Overall Evaluation Criterion bei Bing
Wie leicht eine falsche Zielgröße täuscht, beschreiben Kohavi und Kollegen 2012 an Microsofts Suchmaschine Bing. Ein Fehler in einem Experiment zeigte Nutzern deutlich schlechtere Suchergebnisse, und zwei wichtige Kennzahlen stiegen: die Zahl verschiedener Suchanfragen je Nutzer um über 10 Prozent, der Umsatz je Nutzer um über 30 Prozent.
Die Erklärung: Schlechtere Ergebnisse zwingen zu mehr Suchen und mehr Anzeigenklicks, auf Dauer wandern die Nutzer aber zur Konkurrenz. Die Autoren raten deshalb, Suchanfragen allein nicht als OEC zu nehmen, und sehen den Wert eines Kunden über die ganze Beziehung als Leitlinie. Dass eine Kennzahl ihre Aussagekraft verliert, sobald sie zum Ziel wird, beschreibt Goodharts Gesetz.