BLEU

Grundlegendes

BLEU vergleicht einen Kandidaten (die maschinelle Übersetzung) mit mehreren Referenzübersetzungen. Der BLEU-Wert liegt zwischen 0 und 1. Je näher der Wert bei 1 liegt, desto größer ist die Übereinstimmung zwischen Kandidat und Referenzen. Die Zählungen werden satzweise ermittelt, aber über den gesamten Testkorpus aufsummiert.

Ein n-Gramm ist eine Folge von ${\displaystyle n}$ aufeinanderfolgenden Token (üblicherweise Wörtern). Ein 1-Gramm (Unigramm) ist etwa „der“ oder „Lehrer“, ein 2-Gramm (Bigramm) „der Lehrer“. Als Standard (BLEU-4) werden n-Gramme bis ${\displaystyle n=4}$ verwendet.

Modifizierte n-Gramm-Präzision

Gezählt wird zunächst, wie viele n-Gramme des Kandidaten in mindestens einer der Referenzen vorkommen, dies wird geteilt durch die Zahl der im Kandidaten vorkommenden n-Gramme (für ${\displaystyle n=1}$ also die Zahl der Wörter). Mehrfach im Kandidaten vorkommende n-Gramme werden dabei nur so oft gezählt wie sie auch in mindestens einer der Referenzen mehrfach vorgefunden werden (Clipping).

Kürzungsstrafe

Zu lange Kandidaten werden bereits bestraft, weil überzählige n-Gramme, für die keine Übereinstimmung mit den Referenzen gefunden wurde, den Nenner des Bruchs erhöhen.

Um auch zu kurze Kandidaten zu bestrafen, gibt es eine multiplikative Kürzungsstrafe (englisch brevity penalty, BP).

Es sei

• ${\displaystyle c}$ die Gesamtlänge des Kandidatenkorpus (Summe der Tokenzahlen über alle Kandidatensätze),
• ${\displaystyle r}$ die effektive Referenzlänge: Pro Kandidatensatz wird die Länge derjenigen Referenz gewählt, die der Kandidatenlänge am nächsten liegt (best match length); diese Längen werden über den Korpus summiert. Bei Gleichstand in der Längendifferenz wird üblicherweise die kürzere der infrage kommenden Referenzen genommen.

Dann ist der Faktor für die Kürzungsstrafe:

${\displaystyle BP={\begin{cases}1,&{\text{wenn }}c\geq r,\\[0.4em]\exp {\bigl (}1-{\tfrac {r}{c}}{\bigr )},&{\text{wenn }}c<r.\end{cases}}}$

Definition von BLEU

BLEU ist das mit der Kürzungsstrafe multiplizierte gewichtete geometrische Mittel der modifizierten n-Gramm-Präzisionen.

Es sei:

• ${\displaystyle N}$ die höchste berücksichtigte n-Gramm-Ordnung,
• ${\displaystyle p_{n}}$ die modifizierten n-Gramm-Präzisionen,
• ${\displaystyle w_{n}}$ positive Gewichte mit ${\displaystyle \sum _{n}w_{n}=1}$,
• ${\displaystyle BP}$ die Kürzungsstrafe.

Dann ist das BLEU-Maß definiert als:

${\displaystyle \mathrm {BLEU} =BP\cdot \exp \left(\sum _{n=1}^{N}w_{n}\log p_{n}\right)}$ (Ist eines der ${\displaystyle p_{n}}$ gleich 0, wird BLEU ohne Glättung üblicherweise als 0 definiert.)

Im Originalartikel von Papineni et al. ist ${\displaystyle N=4}$; die Gewichte sind alle gleich ${\displaystyle w_{1}=\cdots =w_{4}={\tfrac {1}{4}}}$. Dann gilt

${\displaystyle \mathrm {BLEU} =BP\cdot {\bigl (}p_{1}\,p_{2}\,p_{3}\,p_{4}{\bigr )}^{1/4}.}$

BLEU am Beispiel

Folgendes Beispiel veranschaulicht die Schritte zur Berechnung des BLEU-Wertes für einen einzelnen Satz:

1. Vorverarbeitung:

Im Originalpapier ist Kleinschreibung (case folding) die einzige genannte Normalisierung. In der Praxis (NIST, Moses, SacreBLEU) werden zusätzlich Satzzeichen tokenisiert. Für das Beispiel werden Kleinbuchstaben verwendet und der Satzendepunkt nicht als Token gezählt.

Damit ist die Kandidatenlänge ${\displaystyle c=8}$. Referenz 1 hat 10 Token, Referenz 2 hat 7 Token.

2. n-Gramme:

Der Kandidat wird in 1- bis 4-Gramme zerlegt.

3. Clipping:

Die Zählung jedes n-Gramms im Kandidaten wird auf die höchste Häufigkeit begrenzt, in der es auch in einer Referenz vorkommt. Im Beispiel kommt das Unigramm „die“ im Kandidaten dreimal vor, in jeder Referenz aber nur einmal. Also wird „die“ auch nur einmal bei der Zählung der Übereinstimmungen berücksichtigt.

4. Berechnung der modifizierten n-Gramm-Präzision:

Berechnet wird jeweils:

${\displaystyle p_{n}={\frac {\text{Summe der geclippten Zählungen}}{\text{Gesamtzahl der n-Gramm-Vorkommen im Kandidaten}}}}$

In den Tabellen stehen die n-Gramme mit ihren Häufigkeiten. Der Nenner von ${\displaystyle p_{n}}$ ist die Gesamtzahl der n-Gramme der jeweiligen Ordnung im Kandidaten (sozusagen die „Länge“ des Kandidaten)

Für 1-Gramme des Kandidaten:

${\displaystyle p_{1}={\frac {6}{8}}=0{,}75}$

Für 2-Gramme des Kandidaten:

Das Bigramm „dem baum“ kommt in keiner Referenz vor.

${\displaystyle p_{2}={\frac {4}{7}}\approx 0{,}5714}$

Für 3-Gramme des Kandidaten:

${\displaystyle p_{3}={\frac {3}{6}}=0{,}5}$

Für 4-Gramme des Kandidaten:

${\displaystyle p_{4}={\frac {2}{5}}=0{,}4}$

5. Berechnung der Kürzungsstrafe (brevity penalty):

Der Kandidat hat die Länge ${\displaystyle c=8}$, die beiden Referenzen die Längen 7 und 10. 7 ist die Referenzlänge mit dem kleinsten Abstand zu ${\displaystyle c=8}$, also ist ${\displaystyle r=7}$.

Weil ${\displaystyle c>r}$ (8 > 7), gilt ${\displaystyle BP=1}$.

Wäre der Kandidat kürzer als ${\displaystyle r}$, wäre ${\displaystyle BP=e^{1-r/c}<1}$.

6. Zusammenführen der Ergebnisse:

Mit gleichen Gewichten ${\displaystyle w_{n}=1/4}$ ist das geometrische Mittel

${\displaystyle G=(p_{1}\cdot p_{2}\cdot p_{3}\cdot p_{4})^{1/4}=\left({\frac {3}{4}}\cdot {\frac {4}{7}}\cdot {\frac {1}{2}}\cdot {\frac {2}{5}}\right)^{1/4}=\left({\frac {3}{35}}\right)^{1/4}\approx 0{,}5411.}$

${\displaystyle \mathrm {BLEU} =BP\cdot G=1\cdot 0{,}5411=0{,}5411.}$

Zusammenfassung

(Quelle: )

1. Vorverarbeitung:

Die Texte werden normalisiert, zum Beispiel durch Kleinschreibung. Dies stellt sicher, dass Unterschiede in der Groß- und Kleinschreibung die Bewertung nicht beeinflussen.

2. n-Gramm-Übereinstimmung:

Die n-Gramme (Wortfolgen der Länge n) in der maschinellen Übersetzung und den Referenzübersetzungen werden gezählt. Dies ermöglicht einen detaillierten Vergleich der Übersetzungsqualität auf Wortebene.

3. Clipping:

Die Zählungen der n-Gramme in der maschinellen Übersetzung werden auf das Maximum begrenzt, das in den Referenzen vorkommt. Dies verhindert, dass übermäßige Wiederholungen von Wörtern zu einer künstlich hohen Genauigkeit führen.

4. Berechnung der modifizierten n-Gramm-Genauigkeit:

Die Anzahl der geclippten n-Gramme wird durch die Gesamtanzahl der n-Gramme in der maschinellen Übersetzung geteilt. Dies gibt eine proportionale Genauigkeit der maschinellen Übersetzung im Vergleich zu den Referenzen an.

5. Berechnung der Kürzungsstrafe (brevity penalty):

Die Länge der maschinellen Übersetzung wird im Verhältnis zur nächsten Referenzlänge bestimmt. Dies stellt sicher, dass die Übersetzung nicht zu kurz und somit möglicherweise unvollständig ist.

6. Zusammenführen der Ergebnisse:

Der BLEU-Score wird durch die gewichtete geometrische Mittelung der logarithmierten modifizierten n-Gramm-Genauigkeiten und das Multiplizieren mit der Kürzungsstrafe berechnet. Dies liefert den endgültigen BLEU-Score, der die Gesamtqualität der maschinellen Übersetzung im Vergleich zu den Referenzen angibt.