Инвариантный оценщик

редактировать

В статистике концепция быть инвариантным оценщиком является критерием, который может использоваться для сравнения свойств различных оценщиков для одной и той же величины. Это способ формализовать идею о том, что оценщик должен обладать некоторыми интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки не изменяются, когда и измерения, и параметры преобразуются совместимым образом, но смысл был расширен, чтобы оценки могли изменяться соответствующим образом с такими преобразованиями. Термин эквивариантный оценщик используется в формальных математических контекстах, которые включают точное описание взаимосвязи того, как оценщик изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию «эквивалентность "в более общей математике.

Содержание
  • 1 Общая установка
    • 1.1 Предпосылки
    • 1.2 Некоторые классы инвариантных оценок
    • 1.3 Оптимальные инвариантные оценки
    • 1.4 В классификации
  • 2 Математическая установка
    • 2.1 Определение
    • 2.2 Свойства
    • 2.3 Пример: параметр местоположения
    • 2.4 Оценка Питмана
  • 3 Ссылки
Общие настройки

Фон

В статистическом выводе, Существует несколько подходов к теории оценивания, которые можно использовать для немедленного решения, какие оценки следует использовать в соответствии с этими подходами. Например, идеи из байесовского вывода привели бы непосредственно к байесовским оценкам. Точно так же теория классического статистического вывода может иногда приводить к четким выводам о том, какую оценку следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанной статистической модели и может также зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом, можно провести байесовский анализ, который приведет к апостериорному распределению соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Затем идеи инвариантности можно применить к задаче подведения итогов апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценку, концепция инвариантности оценки может применяться при поиске оценок альтернативных форм либо ради простоты применения оценки, либо для того, чтобы оценка была робастный.

Концепция инвариантности иногда используется сама по себе как способ выбора между оценками, но это не обязательно окончательно. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценка была несмещенной по среднему ; с другой стороны, критерий медианной несмещенности определяется в терминах распределения выборки оценщика и поэтому является инвариантным относительно многих преобразований.

Одно из применений концепции инвариантности - это когда предлагается класс или семейство оценок, и среди них должна быть выбрана конкретная формулировка. Одна из процедур состоит в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к так называемой оптимальной инвариантной оценке.

Некоторые классы инвариантных оценок

Есть несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценками. Каждый порождает класс оценок, которые инвариантны к этим конкретным типам преобразований.

  • Инвариантность сдвига: Теоретически оценки параметра местоположения должны быть инвариантными к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на такую ​​же величину. При рассмотрении оценки с использованием средневзвешенного значения это требование инвариантности сразу подразумевает, что суммы весов должны составлять единицу. Хотя тот же результат часто получается из требования объективности, использование «инвариантности» не требует наличия среднего значения и вообще не использует какое-либо распределение вероятностей.
  • Масштабная инвариантность: обратите внимание, что это тема об инвариантности параметра шкалы оценки, которую не следует путать с более общей масштабной инвариантностью о поведении систем при совокупных свойствах (в физике).
  • Инвариантность преобразования параметров: Здесь, преобразование применяется только к параметрам. Идея здесь заключается в том, что, по сути, из данных и модели, включающей параметр θ, следует сделать такой же вывод, как если бы модель использовала параметр φ, где φ - взаимно однозначное преобразование θ, φ = h (θ). Согласно этому типу инвариантности, результаты инвариантных преобразований оценок также должны быть связаны соотношением φ = h (θ). Оценщики максимального правдоподобия обладают этим свойством, когда преобразование монотонно. Хотя асимптотические свойства оценщика могут быть инвариантными, свойства небольшой выборки могут быть разными, и необходимо получить конкретное распределение.
  • Инвариантность перестановок: где набор значений данных может быть представлен статистической моделью что они являются результатами независимых и одинаково распределенных случайных величин, разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам: в частности, что Оценщик, рассматриваемый как функция набора значений данных, не должен изменяться, если элементы данных меняются местами в наборе данных.

Комбинация инвариантности перестановок и инвариантности местоположения для оценки параметра местоположения из независимого и идентично распределенный набор данных с использованием средневзвешенного значения подразумевает, что веса должны быть идентичны и в сумме равны единице. Конечно, могут быть предпочтительнее оценки, отличные от средневзвешенного.

Оптимальные инвариантные оценки

При этой настройке нам дается набор измерений x {\ displaystyle x}x , который содержит информацию о неизвестном параметре θ {\ displaystyle \ theta}\ theta . Измерения x {\ displaystyle x}x моделируются как векторная случайная величина, имеющая функцию плотности вероятности f (x | θ) {\ displaystyle f (x | \ theta)}f (x | \ theta) , который зависит от вектора параметров θ {\ displaystyle \ theta}\ theta .

Проблема состоит в том, чтобы оценить θ {\ displaystyle \ theta }\ theta с учетом x {\ displaystyle x}x . Оценка, обозначенная как a {\ displaystyle a}a , является функцией измерений и принадлежит набору A {\ displaystyle A}A . Качество результата определяется функцией потерь L = L (a, θ) {\ displaystyle L = L (a, \ theta)}L = L (a, \ theta) , которая определяет функция риска R = R (a, θ) = E [L (a, θ) | θ] {\ Displaystyle R = R (а, \ тета) = Е [L (а, \ тета) | \ тета]}R = R (a, \ theta) = E [L (a, \ theta) | \ theta] . Обозначаются наборы возможных значений x {\ displaystyle x}x , θ {\ displaystyle \ theta}\ theta и a {\ displaystyle a}a на X {\ displaystyle X}X, Θ {\ displaystyle \ Theta}\ Theta и A {\ displaystyle A}A соответственно.

В классификации

В статистической классификации правило, которое присваивает класс новому элементу данных, можно рассматривать как специальный тип оценки. При формулировании предварительных знаний для распознавания образов.

Математическая установка

Определение

Инвариантная оценка - это оценка, которая подчиняется следующему: два правила:

  1. Принцип рациональной инвариантности: действие, предпринимаемое в задаче решения, не должно зависеть от преобразования используемого измерения
  2. Принцип инвариантности: если две проблемы решения имеют одинаковую формальную структуру (в терминах Икс {\ displaystyle X}X, Θ {\ displaystyle \ Theta}\ Theta , f (x | θ) {\ displaystyle f (x | \ theta)}f (x | \ theta) и L { \ displaystyle L}L ), то в каждой задаче должно использоваться одно и то же правило принятия решения.

Для формального определения инвариантной или эквивариантной оценки сначала необходимы некоторые определения, относящиеся к группам преобразований. Пусть X {\ displaystyle X}Xобозначает набор возможных выборок данных. Группа преобразований из X {\ displaystyle X}X, обозначаемая G {\ displaystyle G}G , представляет собой набор (измеримого) 1: 1 и преобразований X {\ displaystyle X}Xв себя, что удовлетворяет следующим условиям:

  1. Если g 1 ∈ G {\ displaystyle g_ {1} \ in G}g_ {1} \ in G и g 2 ∈ G {\ displaystyle g_ {2} \ in G}g_ {2} \ in G , затем g 1 g 2 ∈ G {\ displaystyle g_ {1} g_ {2} \ in G \,}g_ {1} g_ {2} \ in G \,
  2. Если g ∈ G {\ displaystyle g \ in G}g \ in G , то g - 1 ∈ G {\ displaystyle g ^ {- 1} \ in G}g ^ {{- 1}} \ in G , где g - 1 (g (x)) = x. {\ displaystyle g ^ {- 1} (g (x)) = x \,.}g ^ {{- 1}} (g (x)) = x \,. (То есть каждое преобразование имеет обратное внутри группы.)
  3. e ∈ G {\ displaystyle e \ in G}e \ in G (т. е. существует преобразование тождества e (x) = x {\ displaystyle e (x) = x \,}e (x) = x \, )

Наборы данных x 1 {\ displaystyle x_ {1}}x_ {1} и x 2 {\ displaystyle x_ {2}}x_ {2} в X {\ displaystyle X}Xэквивалентны если x 1 = g (x 2) {\ displaystyle x_ {1} = g (x_ {2})}x_ {1} = g ( x_ {2}) для некоторого g ∈ G {\ displaystyle g \ in G}g \ in G . Все эквивалентные точки образуют класс эквивалентности. Такой класс эквивалентности называется орбитойX {\ displaystyle X}X). x 0 {\ displaystyle x_ {0}}x_ {0} орбита, X (x 0) {\ displaystyle X (x_ {0})}X (x_ {0}) , это набор X (x 0) = {g (x 0): g ∈ G} {\ displaystyle X (x_ {0}) = \ {g (x_ {0}): g \ in G \}}X (x_ {0}) = \ {g (x_ {0}): g \ in G \} . Если X {\ displaystyle X}Xсостоит из одной орбиты, то будет сказано g {\ displaystyle g}g быть переходным.

Семейство плотностей F {\ displaystyle F}F называется инвариантным относительно группы G {\ displaystyle G}G , если для каждого g ∈ G {\ displaystyle g \ in G}g \ in G и θ ∈ Θ {\ displaystyle \ theta \ in \ Theta}\ theta \ in \ Theta существует уникальный θ ∗ ∈ Θ {\ displaystyle \ theta ^ {*} \ in \ Theta}\ theta ^ {*} \ in \ Theta такой, что Y = g (x) {\ displaystyle Y = g (x)}Y = g (x) имеет плотность f (y | θ ∗) {\ displaystyle f (y | \ theta ^ {*})}f (y | \ theta ^ {*}) . θ ∗ {\ displaystyle \ theta ^ {*}}\ theta ^ * будет обозначаться как g ¯ (θ) {\ displaystyle {\ bar {g}} (\ theta)}{\ bar {g}} (\ theta) .

Если F {\ displaystyle F}F инвариантен в группе G {\ displaystyle G}G тогда функция потерь L (θ, a) {\ displaystyle L (\ theta, a)}L (\ theta, a) считается инвариантной относительно G {\ displaystyle G}G если для каждого g ∈ G {\ displaystyle g \ in G}g \ in G и a ∈ A {\ displaystyle a \ in A}a \ in A существует существует a ∗ ∈ A {\ displaystyle a ^ {*} \ in A}a ^ {*} \ in A такой, что L (θ, a) = L (g ¯ (θ), a ∗) {\ displaystyle L (\ theta, a) = L ({\ bar {g}} (\ theta), a ^ {*})}L (\ theta, a) = L ({\ bar {g }} (\ theta), a ^ {*}) для всех θ ∈ Θ {\ displaystyle \ тета \ ин \ тета}\ theta \ in \ Theta . Преобразованное значение a ∗ {\ displaystyle a ^ {*}}a ^ {*} будет обозначаться g ~ (a) {\ displaystyle {\ tilde {g}} (a)}{\ tilde {g}} (a) .

В вышеизложенном G ¯ = {g ¯: g ∈ G} {\ displaystyle {\ bar {G}} = \ {{\ bar {g}}: g \ in G \}}{\ bar {G}} = \ {{\ bar {g}}: g \ in G \} - это группа преобразований из Θ {\ displaystyle \ Theta}\ Theta в себя и G ~ = {g ~: g ∈ G} {\ displaystyle {\ tilde { G}} = \ {{\ tilde {g}}: g \ in G \}}{\ tilde {G}} = \ {{\ tilde {g}}: g \ in G \} - это группа преобразований из A {\ displaystyle A}A в себя.

Задача оценивания инвариантна (эквивариантна) относительно G {\ displaystyle G}G , если существуют три группы G, G ¯, G ~ {\ displaystyle G, {\ bar {G}}, {\ tilde {G}}}G, {\ bar {G}}, {\ тильда {G}} , как определено выше.

Для задачи оценки, инвариантной относительно G {\ displaystyle G}G , оценка δ (x) {\ displaystyle \ delta (x)}\ delta (x) является инвариантной оценкой относительно G {\ displaystyle G}G , если для всех x ∈ X {\ displaystyle x \ in X}x \ in X и г ∈ G {\ Displaystyle г \ в G}g \ in G ,

δ (г (х)) = г ~ (δ (х)). {\ displaystyle \ delta (g (x)) = {\ tilde {g}} (\ delta (x)).}\ delta (g (x)) = {\ tilde {g}} (\ delta (x)).

Свойства

  1. Функция риска инвариантной оценки, δ {\ displaystyle \ delta}\ delta , постоянно на орбитах Θ {\ displaystyle \ Theta}\ Theta . Эквивалентно R (θ, δ) = R (g ¯ (θ), δ) {\ displaystyle R (\ theta, \ delta) = R ({\ bar {g}} (\ theta), \ delta) }R ( \ theta, \ delta) = R ({\ bar {g}} (\ theta), \ delta) для всех θ ∈ Θ {\ displaystyle \ theta \ in \ Theta}\ theta \ in \ Theta и g ¯ ∈ G ¯ {\ displaystyle {\ bar {g}} \ in {\ bar {G}}}{\ bar {g}} \ in {\ bar {G}} .
  2. Функция риска инвариантной оценки с транзитивным g ¯ {\ displaystyle {\ bar {g}}}\ bar {g} постоянна.

Для данной проблемы инвариантная оценка с наименьшим риском называется «наилучшей инвариантной оценкой». Не всегда удается получить наилучшую инвариантную оценку. Особым случаем, в котором это может быть достигнуто, является случай, когда g ¯ {\ displaystyle {\ bar {g}}}\ bar {g} является транзитивным.

Пример: параметр местоположения

Предположим, θ {\ displaystyle \ theta}\ theta является параметром местоположения, если плотность X {\ displaystyle X}Xимеет форму f (x - θ) {\ displaystyle f (x- \ theta)}f (x- \ theta) . Для Θ = A = R 1 {\ displaystyle \ Theta = A = \ mathbb {R} ^ {1}}{\ displaystyle \ Theta = A = \ mathbb {R} ^ {1} } и L = L (a - θ) {\ displaystyle L = L (a- \ theta)}L = L (a- \ theta) , задача инвариантна относительно g = g ¯ = g ~ = {gc: gc (x) = x + c, c ∈ R} {\ displaystyle g = {\ bar {g}} = {\ tilde {g}} = \ {g_ {c}: g_ {c} (x) = x + c, c \ in \ mathbb {R} \}}{\ displaystyle g = {\ bar {g}} = {\ tilde {g}} = \ {g_ {c}: g_ {c} (x) = x + c, c \ in \ mathbb { R} \}} . Инвариантная оценка в этом случае должна удовлетворять

δ (x + c) = δ (x) + c для всех c ∈ R, {\ displaystyle \ delta (x + c) = \ delta (x) + c, {\ text {для всех}} c \ in \ mathbb {R},}{\ displaystyle \ delta (x + c) = \ delta (x) + c, {\ text {для всех}} c \ in \ mathbb {R},}

, таким образом, он имеет форму δ (x) = x + K {\ displaystyle \ delta (x) = x + K }\ delta (x) = x + K (К ∈ R {\ Displaystyle K \ in \ mathbb {R}}K \ in \ mathbb {R} ). g ¯ {\ displaystyle {\ bar {g}}}\ bar {g} является транзитивным для Θ {\ displaystyle \ Theta}\ Theta , поэтому риск не меняется с θ {\ displaystyle \ theta}\ theta : то есть R (θ, δ) = R (0, δ) = E ⁡ [L (X + K) | θ знак равно 0] {\ Displaystyle R (\ theta, \ delta) = R (0, \ delta) = \ operatorname {E} [L (X + K) | \ theta = 0]}R (\ theta, \ delta) = R (0, \ delta) = \ имя оператора {E} [L (X + K) | \ theta = 0] . Лучшая инвариантная оценка - это та, которая сводит к минимуму риск R (θ, δ) {\ displaystyle R (\ theta, \ delta)}R (\ theta, \ delta) .

В случае, когда L является квадратом ошибки δ (x) = x - E ⁡ [X | θ = 0]. {\ displaystyle \ delta (x) = x- \ operatorname {E} [X | \ theta = 0].}\ delta (x) = x- \ operatorname {E} [X | \ theta = 0].

Оценка Питмана

Проблема оценки заключается в том, что X = (X 1,…, X n) {\ displaystyle X = (X_ {1}, \ dots, X_ {n})}X = ( X_ {1}, \ dots, X_ {n}) имеет плотность f (x 1 - θ,…, xn - θ) {\ displaystyle f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta)}f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) , где θ - параметр, который необходимо оценить, а функция потерь равно L (| a - θ |) {\ displaystyle L (| a- \ theta |)}L (| a- \ theta |) . Эта задача инвариантна со следующими (аддитивными) группами преобразований:

G = {gc: gc (x) = (x 1 + c,…, xn + c), c ∈ R 1}, {\ displaystyle G = \ {g_ {c}: g_ {c} (x) = (x_ {1} + c, \ dots, x_ {n} + c), c \ in \ mathbb {R} ^ {1} \},}{\ displaystyle G = \ {g_ {c}: g_ { c} (x) = (x_ {1} + c, \ dots, x_ {n} + c), c \ in \ mathbb {R} ^ {1} \},}
G ¯ = {gc: gc (θ) = θ + c, c ∈ R 1}, {\ displaystyle {\ bar {G}} = \ {g_ {c}: g_ {c} (\ theta) = \ theta + c, c \ in \ mathbb {R} ^ {1} \},}{\ displaystyle {\ bar { G}} = \ {g_ {c}: g_ {c} (\ theta) = \ theta + c, c \ in \ mathbb {R} ^ {1} \},}
G ~ = {gc: gc (a) = a + c, c ∈ R 1}. {\ displaystyle {\ tilde {G}} = \ {g_ {c}: g_ {c} (a) = a + c, c \ in \ mathbb {R} ^ {1} \}.}{\ displaystyle {\ tilde {G}} = \ {g_ {c}: g_ {c} (a) = a + c, c \ in \ mathbb {R} ^ {1} \}.}

наилучшая инвариантная оценка δ (x) {\ displaystyle \ delta (x)}\ delta (x) - та, которая минимизирует

∫ - ∞ ∞ L (δ (x) - θ) f (x 1 - θ,…, xn - θ) d θ ∫ - ∞ ∞ f (x 1 - θ,…, xn - θ) d θ, {\ displaystyle {\ frac {\ int _ {- \ infty} ^ {\ infty } L (\ delta (x) - \ theta) f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta} {\ int _ {- \ infty} ^ {\ infty } f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta}},}{\ displaystyle {\ frac {\ int _ {- \ infty} ^ {\ infty} L (\ delta (x) - \ theta) f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta} {\ int _ {- \ infty} ^ {\ infty} f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta}},}

и это оценка Питмана (1939).

Для случая квадратичной потери ошибок результат будет

δ (x) = ∫ - ∞ ∞ θ f (x 1 - θ,…, xn - θ) d θ ∫ - ∞ ∞ f ( x 1 - θ,…, xn - θ) d θ. {\ displaystyle \ delta (x) = {\ frac {\ int _ {- \ infty} ^ {\ infty} \ theta f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta} {\ int _ {- \ infty} ^ {\ infty} f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta}}.}{\ displaystyle \ delta (x) = {\ frac {\ int _ {- \ infty} ^ {\ infty} \ theta f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta} { \ int _ {- \ infty} ^ {\ infty} f (x_ {1} - \ theta, \ dots, x_ {n} - \ theta) d \ theta}}.}

Если x ∼ N (θ 1 n, I) {\ displaystyle x \ sim N (\ theta 1_ {n}, I) \, \!}x \ sim N (\ theta 1_ {n}, I) \, \! (т.е. многомерное нормальное распределение с независимыми компонентами единичной дисперсии), то

δ pitman = δ ML = ∑ xin. {\ displaystyle \ delta _ {pitman} = \ delta _ {ML} = {\ frac {\ sum {x_ {i}}} {n}}.}\ delta _ {{pitman}} = \ delta _ {{ML}} = {\ frac {\ sum {x_ {i}}} {n}}.

Если x ∼ C (θ 1 n, Я σ 2) {\ displaystyle x \ sim C (\ theta 1_ {n}, I \ sigma ^ {2}) \, \!}x \ sim С (\ theta 1_ {n}, I \ sigma ^ {2}) \, \! (независимые компоненты, имеющие распределение Коши с параметром масштаба σ), то δ питмен ≠ δ ML {\ displaystyle \ delta _ {pitman} \ neq \ delta _ {ML}}\ delta _ {{pitman}} \ neq \ delta _ {{ML}} ,. Однако результат:

δ питмен = ∑ k = 1 nxk [Re {wk} ∑ m = 1 n Re {wk}], n>1, {\ displaystyle \ delta _ {pitman} = \ sum _ {k = 1} ^ {n} {x_ {k} \ left [{\ frac {{\ text {Re}} \ {w_ {k} \}} {\ sum _ {m = 1} ^ {n} {{ \ text {Re}} \ {w_ {k} \}}} \ right]}, \ qquad n>1,}{\displaystyle \delta _{pitman}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}

с

wk = ∏ j ≠ k [1 (xk - xj) 2 + 4 σ 2] [1-2 σ (xk - xj) i], {\ displaystyle w_ {k} = \ prod _ {j \ neq k} \ left [{\ frac {1} {(x_ {k}) -x_ {j}) ^ {2} +4 \ sigma ^ {2}}} \ right] \ left [1 - {\ frac {2 \ sigma} {(x_ {k} -x_ {j})}} i \ right].}w_ {k} = \ prod _ { {j \ neq k}} \ left [{\ frac {1} {(x_ {k} -x_ {j}) ^ {2} +4 \ sigma ^ {2}}} \ right] \ left [1- {\ frac {2 \ sigma} {(x_ {k} -x_ {j})}} i \ right].
Ссылки
Последняя правка сделана 2021-05-24 05:35:47
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте