Войти
Калиброванные оценки вероятностей - это субъективные вероятности, присвоенные людьми, которые были обучены оценивать вероятности способом, который исторически представляет их неопределенность. Например, когда человек откалибровал ситуацию и говорит, что он «уверен на 80%» в каждом из 100 сделанных им прогнозов, он получит около 80% из них верными. Точно так же они будут правы в 90% случаев, когда говорят, что уверены на 90%, и так далее.
Обучение калибровке улучшает субъективные вероятности, потому что большинство людей либо «самоуверенны», либо «недостаточно самоуверенны» (обычно первое). Практикуясь с серией простых вопросов, испытуемые могут точно настроить свою способность оценивать вероятности. Например, тему могут спросить:
Если человек ничего не знает, он скажет, что уверен только на 50%. Если они абсолютно уверены в своей правоте, они скажут 100%. Но большинство людей ответят где-то посередине. Если откалиброванному человеку задать большое количество таких вопросов, он получит примерно столько правильных, сколько ожидал. Некалиброванный человек, который систематически чрезмерно самоуверен, может сказать, что он на 90% уверен в большом количестве вопросов, тогда как он отвечает только на 70% правильными. С другой стороны, некалиброванный человек, который систематически не уверен в себе, может сказать, что он на 50% уверен в большом количестве вопросов, тогда как на самом деле он отвечает на 70% правильными.
В качестве альтернативы, обучаемого попросят указать числовой диапазон для такого вопроса, как «В каком году Наполеон вторгся в Россию?», С указанием, что указанный диапазон представляет собой 90% доверительный интервал. То есть тестируемый должен быть на 90% уверен, что диапазон содержит правильный ответ.
Обучение калибровке обычно включает в себя серию таких тестов. Между тестами обеспечивается обратная связь, и испытуемые уточняют свои вероятности. Обучение калибровке может также включать изучение других методов, которые помогают компенсировать постоянную чрезмерную или недостаточную уверенность. Поскольку испытуемые лучше размещают коэффициенты, когда делают вид, что делают ставку на деньги, их учат, как преобразовать вопросы калибровки в тип игры со ставками, которая, как показано, улучшает их субъективные вероятности. Были разработаны различные совместные методы, такие как рынок прогнозов, так что можно принимать во внимание субъективные оценки нескольких лиц.
Методы стохастического моделирования, такие как метод Монте-Карло, часто используют субъективные оценки от «экспертов в предметной области». Исследования показывают, что такие эксперты, скорее всего, будут чрезмерно самоуверенными в статистическом отношении, и поэтому модель будет склонна недооценивать неопределенность и риск. Обучение калибровке используется для повышения способности человека давать точные оценки для стохастических методов. Исследования показали, что большинство людей можно было бы откалибровать, если бы они потратили на это время, и что калибровка человека, то есть его эффективность в предоставлении точных оценок, переносится на оценки, предоставленные для контента за пределами обучения калибровке, такого как область работы человека. Такая калибровка могла лишь в некоторой степени повысить точность и предполагала использование корректирующих технологий в дополнение к калибровке экспертов.
Метод прикладной информационной экономики систематически использует обучение калибровке как часть процесса моделирования решений.
Критика калибровки Один из результатов исследования «Калибровка вероятностей»: состояние дел до 1980 года заключалось в том, что обучение может улучшить калибровку лишь в ограниченной степени (Lichtenstein et al. 1981).
