Войти
Байесовская вероятность - это интерпретация концепции вероятности в где вместо частоты или склонности к какому-либо явлению вероятность интерпретируется как разумное ожидание, представляющее состояние знаний или как количественная оценка личного убеждения.
Байесовский подход. интерпретацию вероятности можно рассматривать как расширение логики высказываний, которое позволяет рассуждать с помощью гипотез, то есть с предложениями, истинность или ложность которых неизвестны. В байесовской точке зрения гипотезе присваивается вероятность, тогда как при частотном выводе гипотеза обычно проверяется без присвоения вероятности.
Байесовская вероятность относится к категории доказательных вероятностей; чтобы оценить вероятность гипотезы, байесовский вероятностник указывает априорную вероятность. Это, в свою очередь, затем обновляется до апостериорной вероятности в свете новых релевантных данных (свидетельство). Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого вычисления.
Термин байесовский происходит от математика и теолога 18 века Томаса Байеса, который впервые математически рассмотрел нетривиальную проблему статистического анализа данных, используя то, что теперь известен как байесовский вывод. Математик Пьер-Симон Лаплас стал пионером и популяризировал то, что сейчас называется байесовской вероятностью.
Байесовские методы характеризуются следующими концепциями и процедурами:
Вообще говоря, есть две интерпретации байесовской вероятности. Для объективистов, интерпретирующих вероятность как расширение логики, вероятность количественно определяет разумное ожидание, которое каждый (даже «робот»), разделяющий одни и те же знания, должен разделять в соответствии с правилами байесовской статистики, что может быть оправдано с помощью Теорема Кокса. Для субъективистов вероятность соответствует личному убеждению. Рациональность и согласованность допускают существенные вариации в рамках устанавливаемых ими ограничений; ограничения оправдываются аргументом голландской книги или теорией принятия решений и теоремой де Финетти. Объективный и субъективный варианты байесовской вероятности различаются, главным образом, своей интерпретацией и построением априорной вероятности.
Термин байесовский происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса в статье под названием «Эссе по решению проблемы в Доктрине шансов ». В этом особом случае априорное и апостериорное распределения были бета-распределениями, а данные были взяты из испытаний Бернулли. Это был Пьер-Симон Лаплас (1749–1827), который представил общую версию теоремы и использовал ее для решения проблем небесной механики, медицинской статистики, надежности и юриспруденция. Ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточной причины Лапласа, был назван «обратной вероятностью » (поскольку он выводит в обратном направлении от наблюдений к параметрам, или от следствий к причинам). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой.
. В 20-м веке идеи Лапласа развивались в двух направлениях, порождая объективные и субъективные течения. в байесовской практике. Гарольд Джеффрис «Теория вероятностей (впервые опубликованная в 1939 году) сыграла важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Абрахама Вальда (1950) и Леонард Дж. Сэвидж (1954). Само прилагательное байесовское восходит к 1950-м годам; Производное байесовское начало, необайесианство, имеет чеканку 1960-х годов. В потоке объективистов статистический анализ зависит только от принятой модели и проанализированных данных. Не нужно принимать никаких субъективных решений. Напротив, «субъективные» статистики отрицают возможность полностью объективного анализа для общего случая.
В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием методов Монте-Карло с цепью Маркова и последующим устранением многих вычислительных проблем. и к растущему интересу к нестандартным и сложным приложениям. В то время как частотная статистика остается сильной (о чем свидетельствует тот факт, что большая часть обучения в бакалавриате все еще основана на ней), байесовские методы широко приняты и используются, например, в области машинного обучения.
Использование байесовских вероятностей в качестве основы байесовского вывода было подтверждено несколькими аргументами, такими как аксиомы Кокса, аргумент голландской книги, аргументы, основанные на теории принятия решений и теореме де Финетти.
Ричард Т. Кокс показали, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотеза дифференцируемости. Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на своем наблюдении, что булева алгебра утверждений может быть конечной. Другие аксиоматизации были предложены различными авторами с целью сделать теорию более строгой.
Аргумент голландской книги был предложен де Финетти; он основан на ставках. Голландская книга создается, когда умный игрок делает набор ставок, которые гарантируют прибыль, независимо от их исхода. Если букмекер следует правилам байесовского исчисления при построении своих коэффициентов, голландская книга не может быть составлена.
Однако Ян Хакинг отметил, что традиционные аргументы голландских книг не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Hacking пишет: «И ни аргумент в голландской книге, ни любой другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесовство. Таким образом, персоналист требует динамического допущения. быть байесовским. Верно, что в последовательности, персоналист мог бы отказаться от байесовской модели обучения на основе опыта. Соль может потерять свой вкус ».
Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждалось в литературе по «вероятностной кинематике » после публикации Ричарда С. Джеффриса ', которое само считается байесовским). Дополнительные гипотезы, достаточные (однозначно) для определения байесовского обновления, являются существенными и не всегда считаются удовлетворительными.
A теоретико-решение обоснование использования байесовского вывода (и, следовательно, байесовского вывода). вероятностей) был дан Абрахамом Вальдом, который доказал, что каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. И наоборот, каждая байесовская процедура допустима.
После работы над ожидаемой полезностью теорией из Рамси и фон Нейман, теоретики принятия решений, учли рациональное поведение, используя распределение вероятностей для агента. Иоганн Пфанцагл завершил Теорию игр и экономического поведения, предоставив аксиоматизацию субъективной вероятности и полезности, - задачу, которую фон Нейман и Оскар Моргенштерн оставили незавершенной: их первоначальная теория предполагала, что все для удобства агенты имели одинаковое распределение вероятностей. Аксиоматизация Пфанцагля была поддержана Оскаром Моргенштерном: «Фон Нейман и я предвидели... [вопрос о том, могут ли вероятности] быть, возможно, более типично, субъективными, и специально заявили, что в последнем случае можно найти аксиомы, из которых можно вывести желаемая числовая полезность вместе с числом для вероятностей (см. стр. 19 из Теория игр и экономического поведения ). Мы этого не выполняли; это было продемонстрировано Пфанцаглом... со всеми необходимая строгость ».
Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента может быть объективно изучено в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) были разработаны Рамси (1931) и де Финетти (1931, 1937, 1964, 1970). Бруно де Финетти и Фрэнк П. Рэмси признают свои долги прагматической философии, в частности (для Рэмси) Чарльзу С. Пирсу.
«Тест Рамсея» для оценки вероятностных распределений теоретически реализуем и занимал психологов-экспериментаторов в течение полувека. Эта работа демонстрирует, что предположения с байесовской вероятностью могут быть фальсифицированы и, таким образом, соответствуют эмпирическим критериям Чарльза С. Пирса, работа которого вдохновила Рамси. (Этот критерий фальсифицируемости популяризировал Карл Поппер.)
В современной работе по экспериментальной оценке личных вероятностей используется рандомизация, ослепление, и процедуры логического решения эксперимента Пирса-Ястроу. Поскольку люди действуют в соответствии с различными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).
Личные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени для определения информированного распределения вероятностей (на основе которого они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы для определения априорных вероятностей.
В самом деле, некоторые байесовцы утверждали, что предшествующее состояние знаний определяет (уникальное) априорное распределение вероятностей для «обычных» статистических задач; ср. хорошо поставленные задачи. Поиск правильного метода для построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был предметом поиска теоретиков статистики от Лапласа до Джона Мейнарда Кейнса, Гарольда Джеффриса и Эдвин Томпсон Джейнс. Эти теоретики и их последователи предложили несколько методов построения «объективных» априорных значений (к сожалению, неясно, как оценить относительную «объективность» априорных значений, предложенных этими методами):
Каждый из этих методов дает полезные априорные значения для «обычных» задач с одним параметром, и каждый из них может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов был полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно «по умолчанию» или «незнание») априорных значений были разработаны общепризнанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер (Duke University ) и Хосе-Мигель Бернардо (Universitat de València ) просто потому, что такие априорные значения необходимы для байесовской практики, особенно в науке. Поиски "универсального метода построения априорных значений" продолжают привлекать теоретиков-статистиков.
Таким образом, байесовский статистик должен либо использовать информированные априорные значения (используя соответствующий опыт или предыдущие данные), либо выбирать среди конкурирующих методов для построение "объективных" приоров.
Математический портал (обновленная печать, 2007 г., Holden-Day, 1976 г.)CS1 maint: ref = harv (ссылка )
Обновленный классический учебник. Байесовская теория четко представлена
