Brier-Score und Log Loss: Was ist der Unterschied?

Ein sicherer Fehler kostet unterschiedlich viel

Brier-Score und Log Loss vergleichen die vorhergesagten Wahrscheinlichkeiten mit dem eingetretenen Ergebnis. In der hier verwendeten Verlustkonvention gilt: Je kleiner, desto besser. Der Brier-Score verwendet quadratische Fehler und ist nach oben begrenzt. Der Log Loss wächst ohne Obergrenze, wenn die Wahrscheinlichkeit für das tatsächlich eingetretene Ergebnis gegen null geht.

Wählen Sie die Hauptmetrik vor der Auswertung. Zwei Prognosen können dieselbe Antwort vorhersagen und sich dennoch stark im Sicherheitsgrad unterscheiden. Tritt „Ja“ ein, ergibt eine Ja-Wahrscheinlichkeit von 51 % einen binären Brier-Verlust von 0,2401; bei 99 % sind es 0,0001.

Die Zahlen gelten als Verluste. Wird der logarithmische Score mit umgekehrtem Vorzeichen angegeben, gilt entsprechend die umgekehrte Bewertungsrichtung.

Formeln für ein Ereignis mit zwei Ausgängen

p sei die Wahrscheinlichkeit für „Ja“. Das Ergebnis y ist 1 für „Ja“ und sonst 0. Der binäre Brier-Verlust lautet (p − y)². Der Log Loss mit natürlichem Logarithmus beträgt −ln(p) bei „Ja“ und −ln(1 − p) bei „Nein“. Für den gleich gewichteten Mittelwert addieren Sie die Einzelverluste und teilen durch die Anzahl der Prognosen.

Für 0 < p < 1 lässt sich der Log Loss auch als −[y ln(p) + (1 − y) ln(1 − p)] schreiben. An den Randwerten ist die Fallunterscheidung einfacher; alternativ verwendet man für 0 × ln(0) den Grenzwert 0.

Drei Prognosen nach beiden Regeln bewertet

Die folgenden Zahlen sind fiktiv. Alle Prognosen zählen gleich viel und liegen vor dem jeweiligen Ergebnis vor. Die Rechnung begrenzt die Wahrscheinlichkeiten nicht künstlich.

Bei B tritt „Nein“ ein. Daher ist −ln(0,70) zu berechnen. Die Mittelwerte beruhen auf ungerundeten Einzelwerten. Aus 0,370033 gegenüber 1,728330 folgt nicht, dass die erste Kennzahl das „bessere“ Ergebnis misst: Sie verwendet eine andere Skala. Vergleichen Sie jeweils dieselbe Kennzahl für dieselben Ereignisse und Konventionen.

Warum der Brier-Score zwei Skalen haben kann

Die binäre Formel verwendet nur die Ja-Wahrscheinlichkeit. Summieren Sie stattdessen die quadratischen Fehler für beide Klassen, erhalten Sie 2(p − y)². Damit steigt der Mittelwert im Beispiel von 0,370033 auf 0,740067, obwohl die Prognosen unverändert bleiben. Eine einheitliche Verdopplung ändert die Reihenfolge nicht.

Bei einander ausschließenden und zusammen vollständigen Klassen liegt die volle Brier-Summe zwischen 0 und 2. Bei drei Klassen A, B und C mit den Wahrscheinlichkeiten 0,70, 0,20 und 0,10 und Ausgang A ergibt sich 0,09 + 0,04 + 0,01 = 0,14; eine ausdrücklich halbierte Variante ergibt 0,07. Der kategoriale Log Loss beträgt −ln(0,70) = 0,356675. Er addiert nicht für jede nicht eingetretene Klasse einen eigenen Verlustterm. Die Rechnung gilt nicht ohne Weiteres für mehrere gleichzeitig mögliche Labels.

Die volle Summe gewichtet nicht jede Klasse mit 1/3: Eine Mittelung der drei quadratischen Fehler wäre eine andere Konvention.

Logarithmusbasis, Randwerte und Clipping

Der Wechsel von ln zum Logarithmus zur Basis 2 teilt sämtliche Verluste durch ln(2): Aus dem Mittel 1,728330 wird 2,493452. Die Reihenfolge bleibt bei einheitlicher Basis erhalten. Prüfen Sie auch, ob das Werkzeug eine Summe, einen Mittelwert oder eine gewichtete Kennzahl meldet.

Hat der beobachtete Ausgang Wahrscheinlichkeit 1, ist der mathematische Log Loss 0. Bei Wahrscheinlichkeit 0 ist er ohne Begrenzung positiv unendlich. Der binäre Brier-Verlust beträgt in diesen beiden Fällen 0 beziehungsweise 1. Bei Clipping beschränkt ein Programm Wahrscheinlichkeiten auf [ε, 1 − ε]. Für das frei gewählte ε = 0,000001 ergibt eine ursprüngliche Null dann −ln(ε) = 13,815511. Das ist kein allgemeiner Softwarestandard: scikit-learn dokumentiert die Begrenzung anhand des numerischen Datentyps. Halten Sie Originalwerte, Schwelle und Zahl der betroffenen Prognosen fest.

scikit-learn verwendet natürliche Logarithmen. Prüfen Sie die tatsächlich genutzte Version. Werte jenseits derselben Clipping-Grenze fallen auf denselben Wert zusammen; das Clipping verändert daher die tatsächlich ausgewertete Regel.

Warum ehrliche Wahrscheinlichkeiten im Erwartungswert am besten abschneiden

Beide mathematischen Regeln sind streng eigentlich (strictly proper): Die wahre Verteilung minimiert den erwarteten Verlust. Daraus folgt nicht, dass sie in jeder kleinen Stichprobe den niedrigsten beobachteten Verlust erzielt. Bei wahrer Ja-Wahrscheinlichkeit 0,70 beträgt der erwartete Brier-Verlust für eine Prognose von 0,70 genau 0,21, für eine Prognose von 0,90 dagegen 0,25. Tritt im Einzelfall „Ja“ ein, erzielt 0,90 trotzdem den kleineren Verlust.

Verwenden Sie dieselben Ereignisse, Prognosezeitpunkte, beobachteten Ergebnisse und Gewichte und nennen Sie die Rechenkonventionen. Ein einzelner Wert trennt Kalibrierung und Trennschärfe nicht und erklärt nicht die Ursache eines Fehlers. Die Bewertungsregeln sind keine Aussage über Gewinne oder künftige Ergebnisse.

Für die wahre Ja-Wahrscheinlichkeit q ist der erwartete binäre Brier-Verlust q(1 − p)² + (1 − q)p² = q(1 − q) + (p − q)². Der einzige Minimierer ist p = q. Strikte Properness der mathematischen Regel garantiert nicht, dass geclippte Ausgaben ursprüngliche Prognosen an der Grenze eindeutig unterscheiden.

Quellen und Geltungsbereich

• scikit-learn: Brier-Verlust, Formel und Skalierung.
• scikit-learn: Log Loss, Logarithmus und numerische Begrenzung.
• scikit-learn: Wahrscheinlichkeitskalibrierung, Interpretation der Kennzahlen.
• scoringrules: Theorie von Bewertungsregeln, Eigenschaften im Erwartungswert.

Der englische Ausgangstext prüfte seine Quellen am 22. Oktober 2026. Die Zahlen in diesem Bildungsartikel sind fiktiv und stellen keine tatsächlichen Prognoseergebnisse dar.

HypaForecast veröffentlicht Bildungsleitfäden und betreibt einen Prognosemarkt. Dieser Text empfiehlt keine Transaktion, beurteilt keinen Dienstzugang und verspricht weder eine Rendite noch ein Ergebnis.