En esta página
- La diferencia está en cómo puntúan un error seguro
- Las fórmulas para un evento binario
- Tres pronósticos medidos con las dos reglas
- Cómo se comportan las dos curvas de pérdida
- Por qué hay escalas de Brier de 0 a 1 y de 0 a 2
- Logaritmo, probabilidades cero y recorte
- Qué quiere decir que ambas reglas son estrictamente propias
- Seis comprobaciones para una comparación justa
- Fuentes y alcance
La diferencia está en cómo puntúan un error seguro
La puntuación de Brier y la pérdida logarítmica comparan las probabilidades anunciadas con lo que ocurrió. Bajo la convención de pérdida, un valor menor es mejor. Brier utiliza un error cuadrático y tiene un máximo finito. La pérdida logarítmica crece sin límite cuando la probabilidad asignada al resultado que ocurre se acerca a cero.
Conviene elegir la métrica principal antes de ver los resultados. Dos pronósticos pueden acertar la misma opción con grados de confianza distintos. Si ocurre el «sí», asignarle un 51 % da una pérdida de Brier binaria de 0,2401; asignarle un 99 %, de 0,0001.
Se trata de pérdidas. Si una fuente utiliza la puntuación logarítmica con el signo opuesto, se invierte el sentido de la comparación.
Las fórmulas para un evento binario
Sea p la probabilidad del «sí» e y su resultado: 1 si sucede y 0 si no. La pérdida de Brier binaria es (p − y)². Con logaritmo natural, la pérdida logarítmica es −ln(p) si ocurre el «sí» y −ln(1 − p) si ocurre el «no». Para obtener la media con pesos iguales, sume las pérdidas y divida por el número de pronósticos.
Cuando 0 < p < 1, la pérdida logarítmica también se escribe −[y ln(p) + (1 − y) ln(1 − p)]. En los extremos, es más claro usar la fórmula por casos o tomar 0 × ln(0) por su límite, 0.
Tres pronósticos medidos con las dos reglas
Los datos siguientes son ficticios. Cada pronóstico tiene el mismo peso y se registra antes del desenlace. En esta tabla no se recortan las probabilidades.
| Evento | p(sí) | y | Pérdida de Brier binaria | Pérdida logarítmica |
|---|---|---|---|---|
| A | 0,80 | 1 | 0,040000 | 0,223144 |
| B | 0,30 | 0 | 0,090000 | 0,356675 |
| C | 0,01 | 1 | 0,980100 | 4,605170 |
| Media | — | — | 0,370033 | 1,728330 |
En B el desenlace es «no», por lo que el cálculo usa −ln(0,70). Las medias se obtienen con los valores sin redondear. Que 0,370033 sea menor que 1,728330 no significa que una métrica produzca el «mejor resultado»: son escalas distintas. Compare Brier con Brier, o pérdida logarítmica con pérdida logarítmica, sobre los mismos eventos y con la misma convención.
Cómo se comportan las dos curvas de pérdida
Si ocurre el «sí», ambas pérdidas disminuyen al subir p. Cuando p se acerca a cero, la pérdida de Brier binaria se aproxima a su máximo de 1, mientras que la pérdida logarítmica sigue creciendo. Los valores usan logaritmo natural y no se recortan.
| Probabilidad del «sí» cuando ocurre | Pérdida de Brier binaria | Pérdida logarítmica |
|---|---|---|
| 0,50 | 0,250000 | 0,693147 |
| 0,10 | 0,810000 | 2,302585 |
| 0,01 | 0,980100 | 4,605170 |
| 0,00 | 1,000000 | Infinito positivo |
Por qué hay escalas de Brier de 0 a 1 y de 0 a 2
La fórmula binaria anterior solo usa la probabilidad del «sí». Si se suman las diferencias cuadráticas de las dos clases, la pérdida es 2(p − y)². En el ejemplo, la media pasa de 0,370033 a 0,740067, sin que cambien los pronósticos. Duplicar todas las pérdidas no cambia el orden al aplicar la misma regla.
Con clases mutuamente excluyentes y exhaustivas, la suma completa de Brier está entre 0 y 2. Si las probabilidades de A, B y C son 0,70, 0,20 y 0,10 y ocurre A, la pérdida completa es 0,09 + 0,04 + 0,01 = 0,14, o 0,07 con el factor explícito de un medio. La pérdida logarítmica categórica es −ln(0,70) = 0,356675; no suma términos independientes para las clases no observadas. El ejemplo no es aplicable sin más a varias etiquetas que pueden ocurrir juntas.
Promediar los errores de las tres clases no equivale a sumarlos; es otra convención.
Logaritmo, probabilidades cero y recorte
Si todos los pronósticos usan la misma base, pasar de ln al logaritmo en base 2 divide las pérdidas por ln(2): la media del ejemplo pasa de 1,728330 a 2,493452 y el orden no cambia. Compruebe también si la herramienta informa una suma, una media o un promedio ponderado.
Asignar probabilidad 1 a lo que ocurre da pérdida logarítmica 0; asignarle probabilidad 0 da infinito positivo sin recorte. En Brier binaria corresponden 0 y 1. Una aplicación puede limitar las probabilidades al intervalo [ε, 1 − ε]. Con ε = 0,000001 como ejemplo, un desenlace al que se asignó cero obtiene −ln(ε) = 13,815511, no infinito. No es un valor predeterminado universal: scikit-learn documenta un recorte según el tipo numérico. Conserve los valores originales y declare el umbral y la frecuencia de recorte.
scikit-learn emplea el logaritmo natural. Revise la versión utilizada. El recorte asigna el mismo valor a probabilidades distintas que quedan más allá del mismo límite, por lo que cambia la regla que se evalúa.
Qué quiere decir que ambas reglas son estrictamente propias
En esperanza, la distribución verdadera minimiza la pérdida bajo ambas reglas matemáticas. Eso no significa que acierte mejor en cada muestra pequeña. Si la probabilidad verdadera es 0,70, la pérdida de Brier esperada al declarar 0,70 es 0,21; al declarar 0,90 es 0,25. Sin embargo, en el caso individual en que ocurra el «sí», el 90 % obtiene menor pérdida. La propiedad teórica no es una promesa de rentabilidad ni de resultados futuros.
Compare los mismos eventos, fechas de pronóstico, resultados y pesos, y declare las convenciones antes de evaluar. Una puntuación resume la calidad probabilística, pero por sí sola no separa la calibración de la capacidad de discriminación ni explica por qué un modelo se equivocó.
Para una probabilidad verdadera q, la pérdida de Brier binaria esperada es q(1 − p)² + (1 − q)p² = q(1 − q) + (p − q)². Solo se minimiza en p = q. La propiedad estricta de la regla matemática no implica que una implementación con recorte distinga de manera única los pronósticos originales junto a los límites.
Seis comprobaciones para una comparación justa
- Use las mismas reglas de evento y resolución: pregunta, plazo, clases y fuente de resolución. Ganar en el tiempo reglamentario no es lo mismo que clasificarse tras la prórroga. Decida de antemano cómo tratar los eventos anulados, disputados o sin resolver.
- Iguale el momento de la previsión y la información disponible. No equipare una previsión temprana con una actualización justo antes de la resolución sin explicar esa diferencia.
- Evalúe los mismos eventos resueltos. Indique cuántos son y qué pronósticos faltan. Seleccionar eventos de dificultad diferente sesga la comparación.
- Declare la escala de Brier, la base del logaritmo, suma o media, pesos, recorte y orden de clases. La media ponderada es Σ(wᵢ × pérdidaᵢ) ÷ Σwᵢ, con pesos no negativos cuya suma sea positiva; explique qué representan.
- Separe el ajuste de la evaluación. Use resultados que no se hayan utilizado para ajustar el método. Si hay actualizaciones, declare qué previsiones puntúa por evento y cómo las pondera.
- Elija una referencia de antemano. Un pronóstico constante del 50 % da Brier binaria 0,25 y pérdida logarítmica natural 0,693147 en cada caso binario, pero puede no ser informativo si las clases están desequilibradas.
Una pérdida menor no basta para demostrar una mejor calibración ni una ventaja duradera. Una curva de calibración con suficientes casos y recuentos por grupo ayuda a interpretar la métrica. Ninguna fórmula incluye el precio de entrada, el importe, las comisiones, la liquidez o la decisión de salida: un pronóstico mejor puntuado no demuestra una estrategia rentable.
Fuentes y alcance
- scikit-learn: pérdida de Brier, fórmula y escalas.
- scikit-learn: pérdida logarítmica, logaritmo y recorte numérico.
- scikit-learn: calibración probabilística, interpretación de las métricas.
- scoringrules: teoría de reglas de puntuación, propiedad de minimización en esperanza.
El texto de origen en inglés comprobó sus fuentes el 22 de octubre de 2026. Esta guía educativa usa ejemplos ficticios y no presenta resultados reales de predicción.
HypaForecast publica guías educativas y opera un mercado de predicción. Este texto no recomienda transacciones, no determina la elegibilidad para un servicio y no promete rendimientos ni resultados.