Der BLEU-Wert ist ein Maß für maschinelle Übersetzungen. BLEU steht für Bilingual Evaluation Understudy, auf Deutsch etwa zweisprachige Bewertungs-Zweitbesetzung: Das Maß springt für die Bewertung durch Menschen ein, so wie am Theater die Zweitbesetzung für den Hauptdarsteller. Gezählt wird, wie viele Wortfolgen einer erzeugten Übersetzung in einer oder mehreren menschlichen Referenzübersetzungen vorkommen; das Ergebnis liegt zwischen null und eins, meist angegeben als Zahl zwischen null und hundert.
- BLEU-Wert
Bilingual Evaluation Understudy: ein Maß für maschinelle Übersetzungen, das die Übereinstimmung mit menschlichen Referenzübersetzungen zählt.
Beispiel: „Der BLEU-Wert stieg von 28 auf 34, und die Übersetzungen lasen sich spürbar flüssiger.“Wie gezählt wird: nicht nur einzelne Wörter, sondern auch Zweier-, Dreier- und Vierergruppen. Dazu kommt ein Abzug für zu kurze Ausgaben, damit ein Modell nicht durch Weglassen punktet.
Was der Name sagt: zweisprachig, weil zwei Sprachen beteiligt sind; Bewertung, weil eine Note herauskommt; Zweitbesetzung, weil das Maß die menschliche Beurteilung vertritt und nicht ersetzt. Diese letzte Einschränkung steckt also schon im Namen.
Woher das Maß stammt
Aus einer Arbeit bei IBM aus dem Jahr 2002, entstanden aus einem praktischen Bedürfnis: Die Bewertung von Übersetzungen durch Menschen war zu langsam und zu teuer, um damit die Entwicklung zu steuern. Über zwei Jahrzehnte war der Wert deshalb der Standard in der Übersetzungsforschung, und er steht bis heute in Veröffentlichungen.
Was der Wert zeigt
Eine Richtung, keinen Absolutwert. Ein Wert von 34 ist für sich genommen nichts; er wird erst aussagekräftig im Vergleich zweier Systeme auf demselben Testsatz. Zwischen Sprachpaaren sind die Zahlen ebenfalls nicht vergleichbar, weil manche Sprachen mehr zulässige Formulierungen haben als andere.
Warum er heute an Grenzen stößt
Weil er auf Wortgleichheit beruht. Eine gute Übersetzung mit anderer Wortwahl bekommt einen niedrigen Wert, eine holprige mit den richtigen Wörtern einen hohen. Bei den heutigen Übersetzungen durch Sprachmodelle führt das regelmäßig in die Irre; neuere Maße vergleichen deshalb Bedeutungen statt Wortfolgen und messen über Modelle.
Wofür er dennoch benutzt wird
Für Vergleiche über die Zeit und für schnelle Prüfungen. Er ist billig zu rechnen, braucht kein Modell und ist seit zwanzig Jahren dokumentiert; wer eine Entwicklung über Jahre zeigen will, braucht genau diese Eigenschaft. In Veröffentlichungen steht er deshalb weiter neben den neueren Maßen.
Was daraus für Projekte folgt
Dass eine Zahl keine Abnahme ist. Für die Frage, ob eine Übersetzung veröffentlicht werden kann, zählt eine Durchsicht durch einen Menschen mit Fachkenntnis, und zwar an Texten aus dem eigenen Bestand. Maschinelle Maße taugen für die Vorauswahl zwischen zwei Diensten, nicht für die Freigabe.