метод оценки распределения
В статистике выборка по важности общий метод оценки свойств конкретного распределения, имея только выборки, сгенерированные из другого распределения, чем интересующее распределение. Это связано с зонтичной выборкой в вычислительной физике. В зависимости от приложения этот термин может относиться к процессу выборки из этого альтернативного распределения, процессу вывода или тому и другому.
Содержание
- 1 Базовая теория
- 2 Применение к вероятностному выводу
- 3 Применение к моделированию
- 3.1 Математический подход
- 3.2 Традиционные методы смещения
- 3.2.1 Масштабирование
- 3.2. 2 Перевод
- 3.3 Влияние сложности системы
- 3.4 Функция стоимости отклонения
- 4 См. Также
- 5 Примечания
- 6 Ссылки
- 7 Внешние ссылки
Базовая теория
Пусть будет случайной величиной в некотором вероятностном пространстве . Мы хотим оценить ожидаемое значение X при P, обозначенном E [X; P]. Если у нас есть статистически независимые случайные выборки , сгенерированные в соответствии с P, то эмпирическая оценка E [X; P] равно
, а точность этой оценки зависит от дисперсии X:
Основная идея выборки по важности заключается в выборке состояний из другого распределения, чтобы снизить дисперсию оценки E [X; P], или когда выборка из P затруднена. Для этого сначала выбирается случайная величина такая, что E [L; P] = 1 и что P- почти везде . С помощью переменной L мы определяем вероятность , которая удовлетворяет
Переменная Таким образом, X / L будет выбираться под P для оценки E [X; P], как указано выше, и эта оценка улучшается, когда .
Когда X имеет постоянный знак над Ω, наилучшей переменной L явно будет , так что X / L * искомой константы E [X; P] и единственной выборки под P достаточно, чтобы дать ее значение. К сожалению, мы не можем сделать этот выбор, потому что E [X; P] - это именно то значение, которое мы ищем! Однако этот наилучший теоретический случай L * дает нам представление о том, что делает выборка по важности:
вправо, - один из бесконечно малых элементов, которые в сумме составляют E [X; P]:
следовательно, хорошее изменение вероятности P в выборке важности перераспределит закон X, так что частоты его выборок будут отсортированы непосредственно в соответствии с их весами в E [X; P]. Отсюда и название «выборка по важности».
Выборка по важности часто используется как интегратор Монте-Карло. Когда - равномерное распределение, а , E[X; P] соответствует интеграл действительной функции .
Применение для вероятностного вывода
Такие методы часто используются для оценивать апостериорные плотности или ожидания в задачах оценки состояния и / или параметров в вероятностных моделях, которые слишком сложно обрабатывать аналитически, например, в байесовских сетях.
Применение для моделирования
Выборка по важности - это метод уменьшения дисперсии, который можно использовать в методе Монте-Карло. Идея выборки по важности заключается в том, что определенные значения входных случайных величин в моделировании оказывают большее влияние на оцениваемый параметр, чем другие. Если эти "важные" значения подчеркиваются путем более частой выборки, то дисперсия оценщика может быть уменьшена. Следовательно, основная методология выборки по важности заключается в выборе распределения, которое «поощряет» важные ценности. Такое использование «смещенного» распределения приведет к смещению оценки, если оно применяется непосредственно в моделировании. Однако выходные данные моделирования взвешиваются для корректировки использования смещенного распределения, и это гарантирует, что новая оценка выборки важности будет несмещенной. Вес задается отношением правдоподобия, то есть производной Радона – Никодима истинного основного распределения по отношению к смещенному распределению моделирования.
Фундаментальной проблемой при реализации моделирования выборки по важности является выбор смещенного распределения, которое поощряет важные области входных переменных. Выбор или разработка хорошего предвзятого распределения - это «искусство» выборки по важности. Наградой за хорошее распространение может быть огромная экономия времени выполнения; Наказанием за плохое распределение может быть более длительное время выполнения, чем для общего моделирования методом Монте-Карло без выборки по важности.
Считаем образцом и - отношение правдоподобия, где - функция плотности (массы) вероятности желаемого распределения и - функция плотности вероятности (массы) смещения / предложения / распределения выборки. Тогда проблему можно охарактеризовать, выбрав распределение выборки , которое минимизирует дисперсию масштабированной выборки:
Можно показать, что следующее распределение минимизирует указанную выше дисперсию:
Обратите внимание, что когда , эта дисперсия становится 0.
Математический подход
Рассмотрите возможность оценки вероятности с помощью моделирования события , где - случайная величина с распределением и функцией плотности вероятности , где штрих означает производную. A -length независимая и идентично распределенная последовательность (iid) генерируется из распределения и числа случайных величин, которые лежат выше порога . Случайная величина характеризуется биномиальным распределением
Можно показать, что и , поэтому в пределе мы можем получить . Обратите внимание, что дисперсия низкая, если . Выборка по важности связана с определением и использованием альтернативной функции плотности (для ), обычно называемую плотностью смещения, для имитационного эксперимента. Эта плотность позволяет событию происходить чаще, поэтому длины последовательности становится меньше для данной дисперсии оценки. В качестве альтернативы, для данного использование плотности смещения приводит к меньшей дисперсии, чем у традиционной оценки Монте-Карло. Из определения , мы можем ввести как ниже.
где
- это отношение правдоподобия, которое называется весовой функцией. Последнее равенство в приведенном выше уравнении мотивирует оценку
Это беспристрастный оценщик выборки важности . То есть процедура оценки заключается в создании i.i.d. выборки из и для каждой выборки, превышающей , оценка увеличивается на вес , оцениваемый по выборочному значению. Результаты усредняются по испытаниям. Легко показать, что дисперсия оценки выборки важности составляет
Теперь задача выборки по важности фокусируется на определении плотности смещения таким образом, что дисперсия оценки выборки важности меньше дисперсии общей оценки Монте-Карло. Для некоторой функции плотности смещения, которая минимизирует дисперсию и при определенных условиях уменьшает ее до нуля, она называется оптимальной функцией плотности смещения.
Традиционные методы смещения
Хотя существует много видов методов смещения, следующие два метода наиболее широко используются в приложениях выборки по важности.
Масштабирование
Смещение вероятностной массы в область события путем положительного масштабирования случайной величины с числом больше единицы приводит к увеличению дисперсии (также среднего) функции плотности. Это приводит к более тяжелому хвосту плотности, что приводит к увеличению вероятности события. Масштабирование, вероятно, является одним из первых известных методов смещения, широко используемым на практике. Он прост в реализации и обычно обеспечивает консервативный выигрыш от моделирования по сравнению с другими методами.
При выборке важности путем масштабирования плотность моделирования выбирается как функция плотности масштабированной случайной величины , где обычно для оценки вероятности хвоста. По преобразованию
и весовая функция
Хотя масштабирование сдвигает вероятностную массу в желаемую область события, оно также увеличивает массу дополнительная область
Перенос
Другой простой и эффективный метод смещения использует перенос функции плотности (и, следовательно, случайной величины), чтобы поместить большую часть ее вероятностной массы в область редких событий. Трансляция не страдает от эффекта размерности и успешно использовалась в нескольких приложениях, связанных с моделированием систем цифровой связи. Часто это дает лучший эффект моделирования, чем масштабирование. При смещении путем перевода плотность моделирования определяется как
- f * (x) = f (x - c), c>0 {\ displaystyle f _ {*} (x) = f (xc), \ quad c>0 \,}
где c {\ displaystyle c \,}- величина сдвига, которую следует выбирать для минимизации дисперсии оценки выборки важности.
Влияние сложности системы
Фундаментальная проблема с выборкой по важности состоит в том, что проектирование хороших смещенных распределений усложняется по мере увеличения сложности системы. Сложные системы - это системы с большой памятью, поскольку сложная обработка нескольких входных данных намного проще Эта размерность или память могут вызвать проблемы по трем причинам:
- длинная память (серьезная межсимвольная интерференция (ISI))
- неизвестная память (декодеры Витерби )
- возможно бесконечная память (адаптивные эквалайзеры)
В принципе, идеи выборки по важности остаются прежними в этих ситуациях, но дизайн становится намного сложнее. Успешный подход к решению этой проблемы состоит в том, чтобы разбить моделирование на несколько более мелких, более четко определенных подзадач. Затем для решения каждой из более простых подзадач используются стратегии выборки по важности. Примерами методов для прерывания моделирования являются моделирование условий и событий ошибки (EES) и регенеративное моделирование.
Функция стоимости отклонения
Дисперсия - не единственная возможная функция стоимости для моделирования, и другие функции стоимости, такие как среднее абсолютное отклонение, используются в различных статистических Приложения. Тем не менее, дисперсия является основной функцией затрат, рассматриваемой в литературе, вероятно, из-за использования дисперсии в доверительных интервалах и в показателе эффективности σ MC 2 / σ IS 2 {\ displaystyle \ sigma _ {MC} ^ {2} / \ sigma _ {IS} ^ {2} \,}.
Связанная проблема заключается в том, что отношение σ MC 2 / σ IS 2 {\ displaystyle \ sigma _ {MC} ^ {2} / \ sigma _ {IS} ^ {2} \,}переоценивает экономию времени выполнения из-за выборки важности, поскольку не включает дополнительное время вычислений, необходимое для вычисления весовая функция. Следовательно, некоторые люди оценивают чистое улучшение времени выполнения различными способами. Возможно, более серьезные накладные расходы на выборку по важности связаны со временем, затраченным на разработку и программирование техники и аналитическое получение желаемой весовой функции.
.
См. Также
- Метод Монте-Карло
- Уменьшение дисперсии
- Стратифицированная выборка
- Рекурсивная стратифицированная выборка
- Алгоритм VEGAS
- Фильтр частиц - последовательный метод Монте-Карло, использующий важность sampling
- Вспомогательное поле Monte Carlo
- Rejection sampling
- Переменный битрейт - обычное звуковое приложение с важностью дискретизации. «Адаптивный метод Монте-Карло, метод уменьшения дисперсии». Методы Монте-Карло и их приложения. 10 (1): 1–24. doi : 10.1515 / 156939604323091180.
- Баклью, Джеймс Антонио (2004). Введение в моделирование редких событий. Нью-Йорк: Springer-Verlag.
- Doucet, A.; de Freitas, N.; Гордон, Н. (2001). Последовательные методы Монте-Карло на практике. Springer. ISBN 978-0-387-95146-1.
- Ferrari, M.; Беллини, С. (2001). Важность моделирования выборки кодов турбо-продуктов. Международная конференция IEEE по коммуникациям. 9 . С. 2773–2777. DOI : 10.1109 / ICC.2001.936655. ISBN 978-0-7803-7097-5.
- Мазонка Олег (2016). «Просто как Пи: метод выборки по важности» (PDF). Справочный журнал. 16.
- Оберг, Томми (2001). Модуляция, обнаружение и кодирование. Нью-Йорк: John Wiley Sons.
- Press, WH; Теукольский С.А.; Феттерлинг, штат Вашингтон; Фланнери, ВР (2007). «Раздел 7.9.1 Выборка по важности». Числовые рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8.
- Рипли, Б. Д. (1987). Стохастическое моделирование. Wiley Sons.
- Смит, П. Дж.; Шафи, М.; Гао, Х. (1997). «Быстрое моделирование: обзор методов выборки важности в системах связи». Журнал IEEE по избранным областям коммуникаций. 15 (4): 597–613. doi : 10.1109 / 49.585771.
- Шринивасан, Р. (2002). Выборка по важности - Приложения в области связи и обнаружения. Берлин: Springer-Verlag.
Внешние ссылки