Принцип групп преобразований

Принцип групп преобразований - это правило для присвоения эпистемических вероятностей в задаче статистического вывода. Впервые он был предложен Эдвином Т. Джейнсом и может рассматриваться как обобщение принципа безразличия.

. Это можно рассматривать как метод создания вероятностей объективного незнания в том смысле, что два люди, которые применяют этот принцип и сталкиваются с одной и той же информацией, приписывают одинаковые вероятности.

• 1 Мотивация и описание метода
• 2 Примеры
  • 2.1 Дискретный случай - подбрасывание монеты
  • 2.2 Непрерывный случай - параметр местоположения
  • 2.3 Непрерывный случай - параметр масштаба
  • 2.4 Непрерывный случай - парадокс Бертрана
• 3 Обсуждение
• 4 Примечания
• 5 Ссылки

Метод мотивируется следующим нормативным принципом или желанием:

В двух задачах, где у нас одна и та же априорная информация, мы должны присвоить одинаковые априорные вероятности

Затем метод возникает из «преобразования» данной проблемы в эквивалентную. Этот метод имеет тесные связи с теорией групп и в значительной степени направлен на поиск симметрии в данной задаче, а затем использование этой симметрии для определения априорных вероятностей.

В задачах с дискретными переменными (например, игральные кости, карты, категориальные данные) принцип сводится к принципу безразличия, поскольку «симметрия» в дискретном случае - это перестановка меток, то есть группа перестановок является соответствующей группой преобразований для этой проблемы.

В задачах с непрерывными переменными этот метод обычно сводится к решению дифференциального уравнения. Учитывая, что дифференциальные уравнения не всегда приводят к уникальным решениям, нельзя гарантировать, что этот метод даст уникальное решение. Однако в большом классе наиболее распространенных типов параметров это действительно приводит к уникальным решениям (см. Примеры ниже)

Дискретный случай - подбрасывание монеты

Рассмотрим проблема, когда все, что вам говорят, это то, что есть монета, и у нее есть голова (H) и хвост (T). Обозначьте эту информацию I. Затем вас спросят: «Какова вероятность выпадения орлов?». Назовем эту задачу 1 и обозначим вероятность P (H | I). Рассмотрим еще один вопрос «какова вероятность выпадения решки?». Назовем эту задачу 2 и обозначим эту вероятность через P (T | I).

Судя по информации, которая была фактически в вопросе, нет различия между орлом и решкой. Весь предыдущий абзац можно было бы переписать, поменяв местами «головы» и «решки», поменяв местами «H» и «T», и формулировка проблемы не изменилась бы. Затем для использования желаемого результата требуется, чтобы

$P\; (H\; |\; I)\; =\; P\; (T\; |\; I)\; \{\backslash \; displaystyle\; P\; (H\; |\; I)\; =\; P\; (T\; |\; I)\}$

Вероятности должны складываться с 1, это означает, что

$P\; (H\; |\; I)\; +\; P\; (T\; |\; I)\; =\; 1\; \to \; 2\; P\; (H\; |\; I)\; =\; 1\; \to \; P\; (H\; |\; I)\; =\; 0,5\; \{\backslash \; displaystyle\; P\; (H\; |\; I)\; +\; P\; (T\; |\; I)\; =\; 1\; \backslash \; rightarrow\; 2P\; (H\; |\; I)\; =\; 1\; \backslash \; rightarrow\; P\; (H\; |\; I)\; =\; 0.5\}$.

Таким образом, у нас есть единственное решение. Этот аргумент легко распространяется на N категорий, чтобы получить «плоскую» априорную вероятность 1 / N. Это обеспечивает аргумент, основанный на согласованности, принципу безразличия, который выглядит следующим образом: если кто-то действительно не осведомлен о дискретном / исчисляемом наборе результатов, помимо своего потенциального существования, но не приписывает им равные априорные вероятности, тогда они присваивают разные вероятности когда предоставляется такая же информация.

Альтернативно это можно сформулировать так: человек, который не использует принцип безразличия для определения априорных вероятностей дискретным переменным, либо не игнорирует их, либо рассуждает непоследовательно.

Непрерывный регистр - параметр местоположения

Это самый простой пример для непрерывных переменных. Он задается тем, что кто-то "не знает" о параметре местоположения в данной задаче. Утверждение, что параметр является «параметром местоположения», заключается в том, что распределение выборки или вероятность наблюдения X зависит от параметра $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$только через разницу

$p\; (X\; |\; \mu ,\; I)\; =\; f\; (X\; -\; \mu )\; \{\backslash \; displaystyle\; p\; (X\; |\; \backslash \; mu,\; I)\; =\; f\; (X-\; \backslash \; mu)\}$

для некоторого нормализованного, но в остальном произвольного распределения f (.).

Обратите внимание, что данная информация о том, что f (.) Является нормализованным распределением, является важной предпосылкой для получения окончательного вывода о равномерном априорном распределении; потому что равномерные распределения вероятностей могут быть нормализованы только для конечной входной области. Другими словами, предположение, что f (.) Нормализовано, неявно также требует, чтобы параметр местоположения $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$не простирался до бесконечности ни в одном из своих измерений. В противном случае униформа приора не подлежала бы нормализации.

Примеры параметров местоположения включают средний параметр нормального распределения с известной дисперсией и медианный параметр распределение Коши с известным межквартильным диапазоном.

Две «эквивалентные проблемы» в данном случае, если знать распределение выборки $p\; (X\; |\; \mu ,\; I)\; =\; f\; (X\; -\; \mu )\; \{\backslash \; displaystyle\; p\; (X\; |\; \backslash \; mu,\; I)\; =\; f\; (X-\; \backslash \; mu)\}$, но никакие другие знания о $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$не даются просто "сдвигом" равная величина по X и $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$. Это связано с соотношением:

$f\; (X\; -\; \mu )\; =\; f\; ([X\; +\; b]\; -\; [\mu \; +\; b])\; =\; f\; (X\; (1)\; -\; \mu \; (1))\; \{\backslash \; displaystyle\; f\; (X\; -\; \backslash \; mu)\; =\; f\; ([X\; +\; b]\; -\; [\backslash \; mu\; +\; b])\; =\; f\; (X\; ^\; \{(1)\}\; -\; \backslash \; mu\; ^\; \{(1)\})\}$

Так что просто "сдвигая" все величин на некоторое число b и решение в «смещенном пространстве», а затем «переход» обратно к исходному, должно дать точно такой же ответ, как если бы мы только что работали с исходным пространством. Выполнение преобразования из $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$в $\mu \; (1)\; \{\backslash \; displaystyle\; \backslash \; mu\; ^\; \{(1)\}\}$имеет Якобиан просто 1, поэтому априорная вероятность $g\; (\mu )\; =\; p\; (\mu \; |\; I)\; \{\backslash \; displaystyle\; g\; (\backslash \; mu)\; =\; p\; (\backslash \; mu\; |\; I)\}$должен удовлетворять функциональному уравнению:

$g\; (\mu )\; =\; |\; \partial \; \mu \; (1)\; \partial \; \mu \; |\; g\; (\mu \; (1))\; знак\; равно\; g\; (\mu \; +\; b)\; \{\backslash \; displaystyle\; g\; (\backslash \; mu)\; =\; \backslash \; left\; |\; \{\backslash \; partial\; \backslash \; mu\; ^\; \{(1)\}\; \backslash \; over\; \backslash \; partial\; \backslash \; mu\}\; \backslash \; right\; |\; g\; (\backslash \; mu\; ^\; \{(1)\})\; =\; g\; (\backslash \; mu\; +\; b)\}$

И единственная функция, которая удовлетворяет этому уравнению, - это «априорная константа»:

$p\; (\mu \; |\; I)\; \propto \; 1\; \{\backslash \; displaystyle\; p\; (\backslash \; mu\; |\; I)\; \backslash \; propto\; 1\}$

Таким образом, унифицированное априорное распределение оправдано для выражения полного игнорирования нормализованного априорного распределения на конечном, непрерывном параметре местоположения.

Непрерывный регистр - параметр масштаба

Как и в приведенном выше аргументе, утверждение, что $\sigma \; \{\backslash \; displaystyle\; \backslash \; sigma\}$является параметром масштаба, означает, что выборка распределение имеет функциональную форму:

$p\; (X\; |\; \sigma ,\; I)\; =\; 1\; \sigma \; f\; (X\; \sigma )\; \{\backslash \; displaystyle\; p\; (X\; |\; \backslash \; sigma,\; I)\; =\; \{1\; \backslash \; over\; \backslash \; sigma\}\; f\; \backslash \; left\; (\{\; X\; \backslash \; over\; \backslash \; sigma\}\; \backslash \; right)\}$

Где, как и раньше, f (.) - нормализованная функция плотности вероятности. Требование конечности и положительности вероятностей приводит к выполнению условия $\sigma >0\; \{\backslash \; displaystyle\; \backslash \; sigma>0\}$. Примеры включают стандартное отклонение нормального распределения с известным средним или гамма-распределением." "в этой задаче можно найти, отметив, что

$X\; \sigma \; =\; X\; a\; \sigma \; a;\; a>0\; \{\backslash \; displaystyle\; \{X\; \backslash \; over\; \backslash \; sigma\}\; =\; \{Xa\; \backslash \; over\; \backslash \; sigma\; a\};\; a>0\}$

Но, в отличие от случая параметра местоположения, якобиан этого преобразования в пространстве выборки и пространстве параметров равен a, а не 1., поэтому вероятность выборки изменяется на:

$p\; (X\; (\; 1)\; |\; \sigma ,\; I)\; знак\; равно\; 1\; a\; \cdot \; 1\; \sigma \; е\; (X\; a\; \sigma \; a)\; =\; 1\; \sigma \; (1)\; f\; (X\; (1)\; \sigma \; (1))\; \{\backslash \; displaystyle\; p\; (X\; ^\; \{(1)\}\; |\; \backslash \; sigma,\; I)\; =\; \{1\; \backslash \; over\; a\}\; \backslash \; cdot\; \{1\; \backslash \; over\; \backslash \; sigma\}\; f\; \backslash \; left\; (\{Xa\; \backslash \; over\; \backslash \; sigma\; a\}\; \backslash \; right)\; =\; \{1\; \backslash \; over\; \backslash \; sigma\; ^\; \{(1)\}\}\; f\; \backslash \; left\; (\{X\; ^\; \{\; (1)\}\; \backslash \; over\; \backslash \; sigma\; ^\; \{(1)\}\}\; \backslash \; right)\}$

Что инвариантно (т.е. имеет ту же форму до и после преобразования), а априорная вероятность меняется на:

$p\; (\sigma \; |\; I)\; =\; 1\; ap\; (\sigma \; (1)\; |\; I)\; =\; 1\; ap\; (\sigma \; a\; |\; I)\; \{\backslash \; displaystyle\; p\; (\backslash \; sigma\; |\; I)\; =\; \{1\; \backslash \; над\; a\}\; p\; (\backslash \; sigma\; ^\; \{(1)\}\; |\; I)\; =\; \{1\; \backslash \; over\; a\}\; p\; \backslash \; left\; (\{\backslash \; sigma\; \backslash \; over\; a\}\; |\; I\; \backslash \; right)\; \}$

Которая имеет единственное решение (с точностью до константы пропорциональности):

$p\; (\sigma \; |\; I)\; \propto \; 1\; \sigma \; \to \; p\; (log\; \; (\sigma )\; |\; I)\; \propto \; 1\; \{\backslash \; displaystyle\; p\; (\backslash \; sigma\; |\; I)\; \backslash \; propto\; \{1\; \backslash \; over\; \backslash \; sigma\}\; \backslash \; rightarrow\; p\; (\backslash \; log\; (\backslash \; sigma)\; |\; I)\; \backslash \; propto\; 1\}$

Это хорошо известный предшествующий Jeffreys для параметров масштаба, который является «плоским» в логарифмической шкале, хотя он выводится с использованием другого аргумента, чем здесь, на основе функции информации Фишера. Тот факт, что эти два метода дают одинаковые результаты в этом случае, в целом не означает этого.

Непрерывный случай - парадокс Бертрана

Эдвин Джейнс использовал этот принцип, чтобы разрешить парадокс Бертрана, заявив о своем незнании точного положения круга. Подробности доступны в справочнике или по ссылке.

Этот аргумент сильно зависит от I; изменение информации может привести к другому назначению вероятности. Это так же важно, как изменение аксиом в дедуктивной логике - небольшие изменения в информации могут привести к большим изменениям в присвоении вероятностей, разрешенных «последовательным рассуждением».

Для иллюстрации предположим, что пример подбрасывания монеты также указывает в качестве части информации, что монета имеет сторону (S) (то есть это настоящая монета). Обозначим эту новую информацию через N. Тот же аргумент с использованием «полного незнания», или, точнее, фактически описанная информация, дает:

$P\; (H\; |\; I,\; N)\; =\; P\; (T\; |\; I,\; N)\; =\; P\; (\; S\; |\; I,\; N)\; =\; 1/3\; \{\backslash \; Displaystyle\; P\; (H\; |\; I,\; N)\; =\; P\; (T\; |\; I,\; N)\; =\; P\; (S\; |\; I,\; N)\; =\; 1/3\}$

Но это кажется абсурдно для большинства людей - интуиция подсказывает нам, что у нас должно быть P (S) очень близко к нулю. Это потому, что интуиция большинства людей не видит «симметрии» между приземлением монеты на бок по сравнению с приземлением на голову. Наша интуиция подсказывает, что конкретные «ярлыки» действительно несут некоторую информацию о проблеме. Можно использовать простой аргумент, чтобы сделать это более формальным математически (например, физика задачи затрудняет приземление подброшенной монеты на бок) - мы делаем различие между «толстыми» монетами и «тонкими» монетами [здесь толщина измеряется относительно диаметра монеты]. Можно разумно предположить, что:

$P\; (S\; |\; тонкая\; монета)\; \ne \; P\; (S\; |\; толстая\; монета)\; \{\backslash \; displaystyle\; P\; (S\; |\; \{\backslash \; text\; \{тонкая\; монета\}\})\; \backslash \; neq\; P\; (S\; |\; \{\backslash \; text\; \{толстая\; монета\}\})\}$

Обратите внимание, что эта новая информация, вероятно, не нарушит симметрию между «орлом» и «решкой», так что перестановка по-прежнему будет применяться при описании «эквивалентных проблем», и нам потребуется:

$P\; (T\; |\; тонкая\; монета)\; =\; P\; (H\; |\; тонкая\; монета)\; \ne \; P\; (H\; |\; толстая\; монета)\; =\; P\; (T\; |\; толстая\; монета)\; \{\backslash \; displaystyle\; P\; (T\; |\; \{\backslash \; text\; \{тонкая\; монета\}\})\; =\; P\; (H\; |\; \{\backslash \; text\; \{тонкая\; монета\}\})\; \backslash \; neq\; P\; (H\; |\; \{\backslash \; text\; \{толстая\; монета\}\})\; =\; P\; (T\; |\; \{\backslash \; text\; \{толстая\; монета\}\})\}$

Это хороший пример того, как принцип трансформации групп может быть использован для «конкретизации» личного мнения. Вся информация, использованная при выводе, явно указана. Если предварительное распределение вероятностей «не кажется правильным» в соответствии с тем, что подсказывает вам ваша интуиция, тогда должна быть некоторая «справочная информация», которая не была включена в проблему. Тогда задача состоит в том, чтобы попытаться выяснить, что это за информация. В некотором смысле, комбинируя метод трансформации групп с интуицией, можно «отсеять» существующие предположения. Это делает его очень мощным инструментом для предварительного извлечения информации.

Ввод толщины монеты в качестве переменной допустимо, поскольку предполагалось ее существование (поскольку она была настоящей монетой), но ее стоимость не была указана в задаче. Введение «мешающего параметра», а затем обеспечение инвариантности ответа к этому параметру - очень полезный метод для решения предположительно «некорректно поставленных» проблем, таких как парадокс Бертрана. Некоторые называют это «стратегией удачного позирования».

Реальная сила этого принципа заключается в его применении к непрерывным параметрам, где понятие «полное незнание» не так хорошо определено, как в дискретный случай. Однако, если применяется с бесконечными пределами, это часто дает неправильное предыдущее распределение. Обратите внимание, что дискретный случай для счетно бесконечного множества, такого как (0,1,2,...), также дает неправильный дискретный априор. В большинстве случаев, когда вероятность достаточно «велика», это не представляет проблемы. Однако, чтобы быть абсолютно уверенным в том, чтобы избежать противоречивых результатов и парадоксов, к предварительному распределению следует подходить через четко определенный и хорошо управляемый процесс ограничения. Одним из таких процессов является использование последовательности априорных значений с увеличивающимся диапазоном, например $f\; (M)\; =\; I\; (M\; \in \; [-\; b,\; b])\; 2\; b\; \{\backslash \; displaystyle\; f\; (M)\; =\; \{I\; (M\; \backslash \; in\; [-b,\; b])\; \backslash \; over\; 2b\}\}$где предел $b\; \to \; \infty \; \{\backslash \; displaystyle\; b\; \backslash \; rightarrow\; \backslash \; infty\}$следует брать в конец расчета, т.е. после нормализации апостериорного распределения. По сути, это обеспечивает то, что каждый принимает предел отношения, а не отношения двух пределов. См. Предел функции # Свойства для получения подробной информации о пределах и почему этот порядок операций важен.

Если предел отношения не существует или расходится, то это дает неправильную апостериорную (то есть апостериорную, которая не интегрируется в единицу). Это указывает на то, что данные настолько неинформативны о параметрах, что априорная вероятность произвольно больших значений по-прежнему имеет значение в окончательном ответе. В некотором смысле неправильная апостериорная оценка означает, что информация, содержащаяся в данных, не «исключила» произвольно большие значения. Глядя на неподходящие априорные значения таким образом, кажется, что имеет некоторый смысл, что априорные значения «полного незнания» должны быть неподходящими, поскольку информация, используемая для их получения, настолько скудна, что сама по себе не может исключить абсурдные значения. Из состояния полного незнания только данные или какая-то другая форма дополнительной информации могут исключить такие нелепости.

• Эдвин Томпсон Джейнс. Теория вероятностей: логика науки. Cambridge University Press, 2003. ISBN 0-521-59271-2.