Оценка Бриера

Оценка Бриера - это правильная функция оценки, которая измеряет точность вероятностных прогнозов. Для одномерных прогнозов это строго эквивалентно среднеквадратической ошибке.

Оценка Бриера применима к задачам, в которых прогнозы должны назначать вероятности набору взаимоисключающих дискретных результатов. Набор возможных результатов может быть бинарным или категориальным по своей природе, и вероятности, присвоенные этому набору результатов, должны в сумме равняться единице (где каждая индивидуальная вероятность находится в диапазоне от 0 до 1). Он был предложен Гленном В. Брайером в 1950 году.

Показатель Брайера можно рассматривать как функцию стоимости. Точнее, по всем элементам $i\; \in \; 1...\; N\; \{\backslash \; displaystyle\; i\; \backslash \; in\; \{1...\; N\}\}$в наборе из N прогнозов показатель Бриера измеряет средний квадрат разница между:

• Прогнозируемая вероятность, присвоенная возможным результатам для элемента i
• Фактический результат $oi\; \{\backslash \; displaystyle\; o\_\; \{i\}\}$

Следовательно, чем ниже оценка Брайера для набор прогнозов, тем лучше прогнозы откалиброваны. Обратите внимание, что показатель Бриера в его наиболее распространенной формулировке принимает значение от нуля до единицы, поскольку это квадрат наибольшей возможной разницы между предсказанной вероятностью (которая должна быть между нулем и единицей) и фактическим результатом (которая может принимать значения только 0 или 1). В первоначальной (1950 г.) формулировке шкалы Брайера диапазон удваивается, от нуля до двух.

Оценка Бриера подходит для двоичных и категориальных результатов, которые могут быть структурированы как истинные или ложные, но не подходит для порядковых переменных, которые могут принимать три или более значений.

• 1 Определение
  • 1.1 Пример
  • 1.2 Исходное определение Бриера
• 2 Разложения
  • 2.1 3-компонентное разложение
    • 2.1.1 Неопределенность
    • 2.1.2 Надежность
    • 2.1.3 Разрешение
  • 2.2 Двухкомпонентная декомпозиция
• 3 Недостатки
• 4 См. Также
• 5 Ссылки
• 6 Внешние ссылки

Наиболее распространенная формулировка оценки Брайера составляет

$BS\; =\; 1\; N\; \sum \; t\; =\; 1\; N\; (ft\; -\; ot)\; 2\; \{\backslash \; displaystyle\; BS\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{t\; =\; 1\}\; ^\; \{\; N\}\; (f\_\; \{t\}\; -o\_\; \{t\})\; ^\; \{2\}\; \backslash ,\; \backslash !\}$

где $ft\; \{\backslash \; displaystyle\; f\_\; \{t\}\}$- вероятность того, что прогноз, $от\; \{\backslash \; displaystyle\; o\_\; \{t\}\}$фактический результат события в экземпляре $t\; \{\backslash \; displaystyle\; t\}$($0\; \{\backslash \; displaystyle\; 0\}$, если этого не произошло, и $1\; \{\backslash \; displaystyle\; 1\}$, если это произошло) и $N\; \{\backslash \; displaystyle\; N\}$- количество экземпляров прогнозирования. По сути, это среднеквадратичная ошибка прогноза. Эта формулировка в основном используется для двоичных событий (например, «дождь» или «без дождя»). Вышеприведенное уравнение является правильным правилом оценки только для двоичных событий; если должен оцениваться прогноз по нескольким категориям, то следует использовать исходное определение, данное Бриером ниже.

Пример

Предположим, что кто-то прогнозирует вероятность $P\; \{\backslash \; displaystyle\; P\}$того, что в данный день пойдет дождь. Затем оценка Брайера рассчитывается следующим образом:

• Если прогноз равен 100% ($P\; \{\backslash \; displaystyle\; P\}$= 1) и идет дождь, то оценка Бриера равна 0, лучший достижимая оценка.
• Если прогноз равен 100% и не идет дождь, то оценка Брайера равна 1, наихудшая из возможных оценок.
• Если прогноз составляет 70% ($P\; \{\backslash \; displaystyle\; P\}$= 0,70) и идет дождь, тогда оценка Бриера составляет (0,70–1) = 0,09.

• Напротив, если прогноз составляет 70% ($P\; \{\backslash \; displaystyle\; P\}$= 0.70) и нет дождя, то оценка Бриера составляет (0.70-0) = 0.49.
• Аналогично, если прогноз 30% ($P\; \{\backslash \; displaystyle\; P\}$= 0,30) и идет дождь, то оценка Бриера составляет (0,30–1) = 0,49.
• Если прогноз равен 50% ($P\; \{\backslash \; displaystyle\; P\}$= 0,50), то оценка Бриера будет (0,50-1) = (0,50-0) = 0,25, независимо от того, идет ли дождь.

Исходное определение Бриера

Хотя приведенная выше формулировка является наиболее широко используемой, исходное определение Брайера применимо. e для прогнозов по нескольким категориям, а также остается правильным правилом оценки, в то время как двоичная форма (используемая в примерах выше) подходит только для двоичных событий. Для бинарных прогнозов исходная формулировка «вероятностной оценки Бриера» имеет двойное значение оценки, известной в настоящее время как оценка Брайера.

$BS\; =\; 1\; N\; \sum \; T\; знак\; равно\; 1\; N\; \sum \; я\; знак\; равно\; 1\; R\; (fti\; -\; oti)\; 2\; \{\backslash \; displaystyle\; BS\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{t\; =\; 1\}\; ^\; \{\; N\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{R\}\; (f\_\; \{ti\}\; -o\_\; \{ti\})\; ^\; \{2\}\; \backslash ,\; \backslash !\}$

в котором $R\; \{\backslash \; displaystyle\; R\}$- количество возможных классов, в которые может попасть событие, а $N\; \{\backslash \; displaystyle\; N\}$- общее количество экземпляров всех классов. Для случая Дождь / Без дождя $R\; =\; 2\; \{\backslash \; displaystyle\; R\; =\; 2\}$, а для прогноза Холодный / Нормальный / Теплый, $R\; =\; 3\; \{\backslash \; displaystyle\; R\; =\; 3\; \}$.

Есть несколько разложений оценки Бриера, которые обеспечивают более глубокое понимание поведения двоичного классификатора.

3-компонентное разложение

Оценка Бриера может быть разложена на 3 дополнительных компонента: неопределенность, надежность и разрешение. (Мерфи 1973)

$B\; S\; =\; R\; E\; L\; -\; R\; E\; S\; +\; U\; N\; C\; \{\backslash \; displaystyle\; BS\; =\; REL-RES\; +\; UNC\}$

Каждый из этих компонентов может быть дополнительно разложен в соответствии с количеством возможных классов, в которые может попасть событие. Злоупотребление знаком равенства:

$BS\; =\; 1\; N\; \sum \; k\; =\; 1\; K\; nk\; (fk\; -\; o\; ¯\; k)\; 2\; -\; 1\; N\; \sum \; k\; =\; 1\; K\; nk\; (o\; ¯\; k\; -\; o\; ¯)\; 2\; +\; o\; ¯\; (1\; -\; о\; ¯)\; \{\backslash \; displaystyle\; BS\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; \{n\_\; \{k\}\; (\backslash \; mathbf\; \{f\_\; \{k\}\}\; -\; \backslash \; mathbf\; \{\; \backslash \; bar\; \{o\}\}\; \_\; \{\backslash \; mathbf\; \{k\}\})\}\; ^\; \{2\}\; -\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; \{n\_\; \{k\}\; (\backslash \; mathbf\; \{\{\backslash \; bar\; \{o\}\}\; \_\; \{k\}\}\; -\; \{\backslash \; bar\; \{\backslash \; mathbf\; \{o\}\}\})\}\; ^\; \{2\}\; +\; \backslash \; mathbf\; \{\backslash \; bar\; \{o\}\}\; \backslash \; left\; (\{1-\; \backslash \; mathbf\; \{\backslash \; bar\; \{o\}\}\}\; \backslash \; right)\}$

Если $N\; \{\backslash \; displaystyle\; \backslash \; textstyle\; N\}$- общее количество выданных прогнозов, $K\; \{\backslash \; displaystyle\; \backslash \; textstyle\; K\}$количество выданных уникальных прогнозов, $o\; ¯\; =\; \sum \; t\; =\; 1\; N\; ot\; /\; N\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; bar\; \{o\}\}\; =\; \{\backslash \; sum\; \_\; \{t\; =\; 1\}\; ^\; \{N\}\}\; \backslash \; mathbf\; \{o\_\; \{t\}\}\; /\; N\}$наблюдаемая климатологическая базовая скорость события, $nk\; \{\backslash \; displaystyle\; n\_\; \{k\}\}$количество прогнозов с той же категорией вероятности и $o\; ¯\; k\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; overline\; \{o\}\}\; \_\; \{\backslash \; mathbf\; \{k\}\}\}$наблюдаемая частота, учитывая прогнозы вероятности $fk\; \{\backslash \; di\; splaystyle\; \backslash \; mathbf\; \{f\_\; \{k\}\}\}$. Жирное обозначение в приведенной выше формуле указывает векторы, что является еще одним способом обозначить исходное определение оценки и разложить его в соответствии с количеством возможных классов, в которые может попасть событие. Например, вероятность дождя 70% и отсутствие дождя обозначаются как $f\; =\; (0.3,\; 0.7)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{f\}\; =\; (0.3,0.7)\}$и $o\; =\; (1,\; 0)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{o\}\; =\; (1,0)\}$соответственно. Считается, что такие операции, как возведение в квадрат и умножение этих векторов, покомпонентны. В этом случае оценка Брайера представляет собой сумму результирующего вектора в правой части.

Неопределенность

Термин неопределенности измеряет внутреннюю неопределенность результатов события. Для бинарных событий он максимален, когда каждый результат происходит в 50% случаев, и минимален (ноль), если результат всегда возникает или никогда не происходит.

Надежность

Термин надежности измеряет, насколько близки вероятности прогноза к истинным вероятностям для данного прогноза. Надежность определяется в противоположном направлении по сравнению с английским языком. Если надежность равна 0, прогноз абсолютно надежен. Например, если мы сгруппируем все случаи прогноза, в которых вероятность дождя составляла 80%, мы получим идеальную надежность только в том случае, если дождь шел 4 из 5 раз после выпуска такого прогноза.

Разрешение

Термин разрешающей способности измеряет, насколько условные вероятности с учетом различных прогнозов отличаются от среднего климатического значения. Чем выше этот срок, тем лучше. В худшем случае, когда климатическая вероятность всегда прогнозируется, разрешение равно нулю. В лучшем случае, когда условные вероятности равны нулю и единице, разрешающая способность равна неопределенности.

Двухкомпонентная декомпозиция

Альтернативная (и связанная с ней) декомпозиция генерирует два члена вместо трех.

$BS\; =\; CAL\; +\; REF\; \{\backslash \; displaystyle\; BS\; =\; CAL\; +\; REF\}$

$BS\; =\; 1\; N\; \sum \; k\; =\; 1\; K\; nk\; (fk\; -\; o\; ¯\; k)\; 2\; +\; 1\; N\; \sum \; k\; =\; 1\; K\; nk\; (o\; ¯\; к\; (1\; -\; о\; ¯\; к))\; \{\backslash \; displaystyle\; BS\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; \{n\_\; \{k\}\; (\backslash \; mathbf\; \{f\_\; \{k\; \}\}\; -\; \backslash \; mathbf\; \{\backslash \; bar\; \{o\}\}\; \_\; \{\backslash \; mathbf\; \{k\}\})\}\; ^\; \{2\}\; +\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{k\; =\; 1\}\; ^\; \{K\; \}\; \{n\_\; \{k\}\; (\backslash \; mathbf\; \{\{\backslash \; bar\; \{o\}\}\; \_\; \{k\}\}\; (1-\; \backslash \; mathbf\; \{\{\backslash \; bar\; \{o\}\}\; \_\; \{k\}\}\}))\}$

Первый член называется калибровкой (и может использоваться как мера калибровки, см. статистическая калибровка ) и приравнивается к надежности. Второй член известен как уточнение и представляет собой совокупность разрешающей способности и неопределенности и относится к области под кривой ROC.

Оценка Бриера и разложение CAL + REF могут быть представлены графически с помощью так называемых кривых Бриера, где ожидаемые потери показаны для каждого рабочего состояния. Это делает показатель Бриера мерой агрегированной производительности при равномерном распределении асимметрии классов.

Оценка Бриера становится неадекватной для очень редких (или очень частых) событий, потому что это не так. в достаточной степени различать небольшие изменения прогноза, значимые для редких событий. Wilks (2010) обнаружил, что «[Q] достаточно большие размеры выборки, то есть n>1000, требуются для высококвалифицированных прогнозов относительно редких событий, тогда как только весьма скромные размеры выборки необходимы для низкоквалифицированных прогнозов обычных событий. "

• Навык прогнозирования
• Правило оценки

Примечания

Источники

• J. Скотт Армстронг, Принципы прогнозирования.
• Глоссарий по метеорологии AMS

• Состав баллов по Брайеру: мини-учебник