Достаточная статистика

В статистике, А статистика является достаточной по отношению к статистической модели и связанному с ней неизвестным параметром, если «нет другого статистики, которые могут быть вычислены из того же образца, не обеспечивает какую - либо дополнительная информация, как к значению параметра». В частности, статистика является достаточным для семьи из распределений вероятности, если образец, из которого она рассчитана дает никакой дополнительной информации, чем статистики, о том, какие из этих распределений вероятностей является распределение выборки.

Связанная концепция - это концепция линейной достаточности, которая слабее, чем достаточность, но может применяться в некоторых случаях, когда нет достаточной статистики, хотя она ограничивается линейными оценками. В функции структуры Колмогоров посвящена отдельными конечных данные; с этим связано понятие алгоритмической достаточной статистики.

Эта концепция принадлежит сэру Рональду Фишеру в 1920 году. Стивен Стиглер отметил в 1973 году, что концепция достаточности потеряла популярность в описательной статистике из-за сильной зависимости от предположения о форме распределения (см. Теорему Питмана – Купмана – Дармуа ниже.), но оставался очень важным в теоретической работе.

• 1 Справочная информация
• 2 Математическое определение
  • 2.1 Пример
• 3 Теорема факторизации Фишера – Неймана
  • 3.1 Интерпретация принципа правдоподобия
  • 3.2 Доказательство
  • 3.3 Еще одно доказательство
• 4 Минимальная достаточность
• 5 примеров
  • 5.1 Распределение Бернулли
  • 5.2 Равномерное распределение
  • 5.3 Равномерное распределение (с двумя параметрами)
  • 5.4 Распределение Пуассона
  • 5.5 Нормальное распределение
  • 5.6 Экспоненциальное распределение
  • 5.7 Гамма-распределение
• 6 Теорема Рао – Блэквелла.
• 7 Экспоненциальная семья
• 8 Другие виды достаточности
  • 8.1 байесовская достаточность
  • 8.2 Линейная достаточность
• 9 См. Также
• 10 заметок
• 11 Источники

Грубо говоря, учитывая набор из независимых одинаково распределенных данных условных на неизвестном параметре, достаточная статистикой является функцией, значение которого содержит всю информацию, необходимую для вычисления какой - либо оценки параметра (например, максимальное правдоподобие оценки). В соответствии с теоремой факторизации ( см. Ниже) для достаточной статистики плотность вероятности может быть записана как. Из этой факторизации легко увидеть, что оценка максимального правдоподобия будет взаимодействовать только с сквозным. Как правило, достаточная статистика - это простая функция данных, например сумма всех точек данных. ${\ displaystyle \ mathbf {X}}$ ${\ displaystyle \ theta}$${\ Displaystyle Т (\ mathbf {X})}$ ${\ Displaystyle Т (\ mathbf {X})}$${\ Displaystyle е _ {\ mathbf {X}} (х) = час (х) \, г (\ тета, Т (х))}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {X}}$${\ Displaystyle Т (\ mathbf {X})}$

В более общем смысле, «неизвестный параметр» может представлять вектор неизвестных величин или может представлять все в модели, что неизвестно или не полностью определено. В таком случае достаточной статистикой может быть набор функций, называемых совместно достаточной статистикой. Обычно функций столько, сколько параметров. Например, для гауссовского распределения с неизвестным средним значением и дисперсией совместно достаточная статистика, из которой могут быть оценены оценки максимального правдоподобия обоих параметров, состоит из двух функций, суммы всех точек данных и суммы всех квадратов точек данных ( или, что эквивалентно, выборочное среднее и выборочная дисперсия ).

Эта концепция эквивалентна утверждению, что при условии наличия достаточной статистики для параметра совместное распределение вероятностей данных не зависит от этого параметра. И статистика, и базовый параметр могут быть векторами.

Статистики t  =  T ( X) достаточно для базового параметра θ именно в том случае, если условное распределение вероятностей данных X, учитывая статистику t  =  T ( X), не зависит от параметра θ.

В качестве альтернативы можно сказать, что статистика  T ( X) достаточна для θ, если ее взаимная информация с θ равна взаимной информации между X и θ. Другими словами, неравенство обработки данных становится равенством:

${\ Displaystyle I {\ bigl (} \ theta; T (X) {\ bigr)} = I (\ theta; X)}$

Пример

Например, выборочного среднего достаточно для среднего ( μ) нормального распределения с известной дисперсией. Как только среднее значение образца известно, никакая дополнительная информация о μ не может быть получена из самого образца. С другой стороны, для произвольного распределения медианы недостаточны для среднего: даже если медиана выборки известна, знание самой выборки предоставит дополнительную информацию о среднем генеральной совокупности. Например, если наблюдения, которые меньше медианы, лишь немного меньше, но наблюдения, превышающие медиану, превышают ее на большую величину, то это будет иметь отношение к выводу о среднем населении.

Теорема факторизации Фишера или критерий факторизации обеспечивает удобную характеристику достаточной статистики. Если функция плотности вероятности равна ƒ θ ( x), то T достаточно для θ тогда и только тогда, когда могут быть найдены такиенеотрицательные функции g и h, что

${\ Displaystyle е _ {\ тета} (х) = час (х) \, г _ {\ тета} (Т (х)),}$

т.е. плотность ƒ может быть факторизована в продукт таким образом, что один фактор, h, не зависит от θ, а другой фактор, который действительно зависит от θ, зависит от x только через T ( x).

Легко видеть, что если F ( t) - взаимно однозначная функция и T - достаточная статистика, то F ( T) - достаточная статистика. В частности, мы можем умножить достаточную статистику на ненулевую константу и получить другую достаточную статистику.

Интерпретация принципа правдоподобия

Смысл теоремы заключается в том, что при использовании вывода, основанного на правдоподобии, два набора данных, дающие одно и то же значение для достаточной статистики T ( X), всегда будут давать одни и те же выводы о θ. По критерию факторизации зависимость правдоподобия от θ только в сочетании с T ( X). Поскольку это одно и то же в обоих случаях, зависимость от θ также будет одинаковой, что приведет к идентичным выводам.

Доказательство

Из-за Хогга и Крейга. Пусть, обозначим случайную выборку из распределения, имеющего в формате PDF п ( х,  amp; thetas) для ι  lt;  θ  lt;  δ. Пусть Y 1  =  u 1 ( X 1,  X 2,...,  X n) - статистика, pdf которой равен g 1 ( y 1 ;  θ). То, что мы хотим доказать, что Y 1  =  U 1 ( X 1, X 2,...,  X п) является достаточной статистикой для amp; thetas тогда и только тогда, когда для некоторой функции H, ${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$

${\ displaystyle \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta) = g_ {1} \ left [u_ {1} (x_ {1}, x_ {2}, \ dots, x_ {n}); \ theta \ right] H (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Сначала предположим, что

${\ displaystyle \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta) = g_ {1} \ left [u_ {1} (x_ {1}, x_ {2}, \ dots, x_ {n}); \ theta \ right] H (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Сделаем преобразование y i  =  u i ( x 1,  x 2,...,  x n), для i  = 1,...,  n, имеющее обратные функции x i  =  w i ( y 1,  y 2,...,  y n) для i  = 1,...,  n и якобиана. Таким образом, ${\ displaystyle J = \ left [w_ {i} / y_ {j} \ right]}$

${\ displaystyle \ prod _ {i = 1} ^ {n} f \ left [w_ {i} (y_ {1}, y_ {2}, \ dots, y_ {n}); \ theta \ right] = | J | g_ {1} (y_ {1}; \ theta) H \ left [w_ {1} (y_ {1}, y_ {2}, \ dots, y_ {n}), \ dots, w_ {n} (y_ {1}, y_ {2}, \ dots, y_ {n}) \ right].}$

Левый член - это совместный pdf g ( y 1, y 2,..., y n ; θ) Y 1 = u 1 ( X 1,..., X n),..., Y n = u n ( X 1,..., X n). В правом элементе - pdf-файл от, так что это частное от и ; то есть, это условное PDF из дается. ${\ displaystyle g_ {1} (y_ {1}; \ theta)}$${\ displaystyle Y_ {1}}$${\ displaystyle H [w_ {1}, \ dots, w_ {n}] | J |}$${\ displaystyle g (y_ {1}, \ dots, y_ {n}; \ theta)}$${\ displaystyle g_ {1} (y_ {1}; \ theta)}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$${\ displaystyle Y_ {2}, \ dots, Y_ {n}}$${\ displaystyle Y_ {1} = y_ {1}}$

Но, таким образом, было дано не зависеть. Поскольку не было введено в преобразовании и, соответственно, не в якобиане, отсюда следует, что не зависит от и является достаточной статистикой для. ${\ Displaystyle H (x_ {1}, x_ {2}, \ dots, x_ {n})}$${\ displaystyle H \ left [w_ {1} (y_ {1}, \ dots, y_ {n}), \ dots, w_ {n} (y_ {1}, \ dots, y_ {n})) \ right ]}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ displaystyle J}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$${\ displaystyle \ theta}$${\ displaystyle Y_ {1}}$${\ displaystyle \ theta}$

Обратное доказывается следующим образом:

${\ displaystyle g (y_ {1}, \ dots, y_ {n}; \ theta) = g_ {1} (y_ {1}; \ theta) h (y_ {2}, \ dots, y_ {n} \ середина года_ {1}),}$

где не зависит от, потому что зависит только от, которые не зависят от достаточной статистики гипотезой, когда обусловлены ею. Теперь разделите оба члена на абсолютное значение ненулевого якобиана и замените их функциями из. Это дает ${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$${\ displaystyle \ theta}$${\ displaystyle Y_ {2}... Y_ {n}}$${\ displaystyle X_ {1}... X_ {n}}$${\ displaystyle \ Theta}$${\ displaystyle Y_ {1}}$${\ displaystyle J}$${\ displaystyle y_ {1}, \ dots, y_ {n}}$${\ displaystyle u_ {1} (x_ {1}, \ dots, x_ {n}), \ dots, u_ {n} (x_ {1}, \ dots, x_ {n})}$${\ displaystyle x_ {1}, \ dots, x_ {n}}$

${\ displaystyle {\ frac {g \ left [u_ {1} (x_ {1}, \ dots, x_ {n}), \ dots, u_ {n} (x_ {1}, \ dots, x_ {n})); \ theta \ right]} {| J ^ {*} |}} = g_ {1} \ left [u_ {1} (x_ {1}, \ dots, x_ {n}); \ theta \ right] {\ frac {h (u_ {2}, \ dots, u_ {n} \ mid u_ {1})} {| J ^ {*} |}}}$

где якобиан с заменен их значением в терминах. Член левосторонним обязательно совместный PDF из. Поскольку и, следовательно, не зависит от, то ${\ displaystyle J ^ {*}}$${\ displaystyle y_ {1}, \ dots, y_ {n}}$${\ displaystyle x_ {1}, \ dots, x_ {n}}$${\ Displaystyle f (x_ {1}; \ theta) \ cdots f (x_ {n}; \ theta)}$${\ Displaystyle X_ {1}, \ точки, X_ {n}}$${\ displaystyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$${\ Displaystyle ч (и_ {2}, \ точки, и_ {п} \ середина и_ {1})}$${\ displaystyle \ theta}$

${\ displaystyle H (x_ {1}, \ dots, x_ {2}) = {\ frac {h (u_ {2}, \ dots, u_ {n} \ mid u_ {1})} {| J ^ { *} |}}}$

это функция, не зависящая от. ${\ displaystyle \ theta}$

Еще одно доказательство

Более простое и наглядное доказательство состоит в следующем, хотя оно применимо только в дискретном случае.

Мы используем сокращенные обозначения для обозначения совместной плотности вероятности by. Поскольку является функцией, мы имеем, пока и ноль в противном случае. Следовательно: ${\ Displaystyle (Х, Т (Х))}$${\ Displaystyle е _ {\ тета} (х, т)}$${\ displaystyle T}$${\ displaystyle X}$${\ Displaystyle е _ {\ тета} (х, т) = е _ {\ тета} (х)}$${\ Displaystyle т = Т (х)}$

${\ displaystyle {\ begin {align} f _ {\ theta} (x) amp; = f _ {\ theta} (x, t) \\ [5pt] amp; = f _ {\ theta} (x \ mid t) f _ {\ theta} (t) \\ [5pt] amp; = f (x \ mid t) f _ {\ theta} (t) \ end {выровнено}}}$

причем последнее равенство верно по определению достаточной статистики. Таким образом, с и. ${\ Displaystyle е _ {\ тета} (х) = а (х) Ь _ {\ тета} (т)}$${\ Displaystyle а (х) = е_ {х \ середина т} (х)}$${\ Displaystyle б _ {\ тета} (т) = е _ {\ тета} (т)}$

Наоборот, если мы имеем ${\ Displaystyle е _ {\ тета} (х) = а (х) Ь _ {\ тета} (т)}$

${\ displaystyle {\ begin {align} f _ {\ theta} (t) amp; = \ sum _ {x: T (x) = t} f _ {\ theta} (x, t) \\ [5pt] amp; = \ sum _ {x: T (x) = t} f _ {\ theta} (x) \\ [5pt] amp; = \ sum _ {x: T (x) = t} a (x) b _ {\ theta} ( t) \\ [5pt] amp; = \ left (\ sum _ {x: T (x) = t} a (x) \ right) b _ {\ theta} (t). \ end {align}}}$

С первым равенством по определению pdf для нескольких переменных, вторым по замечанию выше, третьим по гипотезе и четвертым, потому что суммирование не закончено. ${\ displaystyle t}$

Пусть обозначим условную плотность вероятности дается. Затем мы можем получить явное выражение для этого: ${\ displaystyle f_ {X \ mid t} (x)}$${\ displaystyle X}$${\ Displaystyle T (X)}$

${\ displaystyle {\ begin {align} f_ {X \ mid t} (x) amp; = {\ frac {f _ {\ theta} (x, t)} {f _ {\ theta} (t)}} \\ [ 5pt] amp; = {\ frac {f _ {\ theta} (x)} {f _ {\ theta} (t)}} \\ [5pt] amp; = {\ frac {a (x) b _ {\ theta} (t)} {\ left (\ sum _ {x: T (x) = t} a (x) \ right) b _ {\ theta} (t)}} \\ [5pt] amp; = {\ frac {a (x)} {\ sum _ {x: T (x) = t} a (x)}}. \ end {align}}}$

Первое равенство по определению условной плотности вероятности, второе - по замечанию выше, третье - по доказанному выше равенству, а четвертое - по упрощению. Это выражение не зависит от статистики и поэтому является достаточной статистикой. ${\ displaystyle \ theta}$${\ displaystyle T}$

Достаточная статистика является минимально достаточной, если она может быть представлена ​​как функция любой другой достаточной статистики. Другими словами, S ( X) достаточно минимально тогда и только тогда, когда

1. S ( X) достаточно, и
2. если T ( X) достаточно, то существует функция f такая, что S ( X) = f ( T ( X)).

Интуитивно понятно, что минимальная достаточная статистика наиболее эффективно фиксирует всю возможную информацию о параметре θ.

Полезная характеристика минимальной достаточности является то, что, когда плотность F amp; thetas существует, S ( X) является минимально достаточным, если и только если

${\ Displaystyle {\ гидроразрыва {е _ {\ theta} (x)} {е _ {\ theta} (y)}}}$не зависит от θ  : S ( x) = S ( y)${\ displaystyle \ Longleftrightarrow}$

Это следует из сформулированной выше теоремы Фишера о факторизации.

Случай, когда нет минимально достаточной статистики, был показан Бахадуром, 1954. Однако при мягких условиях минимально достаточная статистика существует всегда. В частности, в евклидовом пространстве эти условия всегда выполняются, если все случайные величины (связанные с) дискретны или непрерывны. ${\ displaystyle P _ {\ theta}}$

Если существует минимальная достаточная статистика, а это обычно так, то каждая полная достаточная статистика обязательно является минимально достаточной (обратите внимание, что это утверждение не исключает вариант патологического случая, когда существует полная достаточная статистика, но не существует минимально достаточной статистики). статистика). Хотя трудно найти случаи, в которых отсутствует минимальная достаточная статистика, не так сложно найти случаи, в которых нет полной статистики.

Набор отношений правдоподобия для, является минимальной достаточной статистикой, если пространство параметров дискретно. ${\ displaystyle \ left \ {{\ frac {L (X \ mid \ theta _ {i})} {L (X \ mid \ theta _ {0})}} \ right \}}$${\ displaystyle i = 1,..., k}$${\ displaystyle \ left \ {\ theta _ {0},..., \ theta _ {k} \ right \}}$

Распределение Бернулли

Если X 1,....,  X n - независимые случайные величины с распределением Бернулли с ожидаемым значением p, то сумма T ( X) =  X 1  +... +  X n является достаточной статистикой для p (здесь 'успех 'соответствует X i  = 1, а' неудача '- X i  = 0; поэтому T - общее количество успехов)

Это видно при рассмотрении совместного распределения вероятностей:

${\ displaystyle \ Pr \ {X = x \} = \ Pr \ {X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n} \ }.}$

Поскольку наблюдения независимы, это можно записать как

${\ displaystyle p ^ {x_ {1}} (1-p) ^ {1-x_ {1}} p ^ {x_ {2}} (1-p) ^ {1-x_ {2}} \ cdots p ^ {x_ {n}} (1-p) ^ {1-x_ {n}}}$

и, собирая степени p и 1 -  p, дает

${\ displaystyle p ^ {\ sum x_ {i}} (1-p) ^ {n- \ sum x_ {i}} = p ^ {T (x)} (1-p) ^ {nT (x)} }$

который удовлетворяет критерию факторизации, где h ( x) = 1 является просто константой.

Обратите внимание на важную особенность: неизвестный параметр p взаимодействует с данными x только через статистику T ( x) = Σ  x i.

В качестве конкретного приложения это дает процедуру отличия честной монеты от смещенной монеты.

Равномерное распределение

Смотрите также: Проблема немецкого танка

Если X 1,...., X n независимы и равномерно распределены на интервале [0, θ ], то T ( X) = max ( X 1,..., X n) достаточно для θ - выборки максимум - достаточная статистика для максимума популяции.

Чтобы убедиться в этом, рассмотрим совместную функцию плотности вероятности в X   ( X 1,..., X п). Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей

${\ displaystyle {\ begin {align} f _ {\ theta} (x_ {1}, \ ldots, x_ {n}) amp; = {\ frac {1} {\ theta}} \ mathbf {1} _ {\ { 0 \ leq x_ {1} \ leq \ theta \}} \ cdots {\ frac {1} {\ theta}} \ mathbf {1} _ {\ {0 \ leq x_ {n} \ leq \ theta \}} \\ [5pt] amp; = {\ frac {1} {\ theta ^ {n}}} \ mathbf {1} _ {\ {0 \ leq \ min \ {x_ {i} \} \}} \ mathbf { 1} _ {\ {\ max \ {x_ {i} \} \ leq \ theta \}} \ конец {выровнено}}}$

где 1 {. .. } - индикаторная функция. Таким образом, плотность принимает форму, требуемую теоремой Фишера – Неймана о факторизации, где h ( x) =  1 {min { x i } ≥0}, а остальная часть выражения является функцией только от θ и T ( x) = max { x i }.

Фактически, несмещенная оценка с минимальной дисперсией (MVUE) для θ равна

${\ displaystyle {\ frac {n + 1} {n}} T (X).}$

Это максимум выборки, масштабированный для корректировки смещения, и он равен MVUE по теореме Лемана – Шеффе. Максимум непересчитанной выборки T ( X) является оценкой максимального правдоподобия для θ.

Равномерное распределение (с двумя параметрами)

Если независимы и равномерно распределены на интервале (где и - неизвестные параметры), то - двумерная достаточная статистика для. ${\ displaystyle X_ {1},..., X_ {n}}$ ${\ Displaystyle [\ альфа, \ бета]}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$${\ Displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\верно)}$${\ Displaystyle (\ альфа \,, \, \ бета)}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в. Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е. ${\ Displaystyle X_ {1} ^ {n} = (X_ {1}, \ ldots, X_ {n})}$

${\ displaystyle {\ begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) amp; = \ prod _ {i = 1} ^ {n} \ left ({1 \ над \ beta - \ alpha} \ right) \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta \}} = \ left ({1 \ over \ beta - \ alpha} \ right) ^ {n} \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta, \, \ forall \, i = 1, \ ldots, n \}} \\ amp; = \ left ({1 \ over \ beta - \ alpha} \ right) ^ {n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} X_ {i } \}} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} X_ {i} \, \ leq \, \ beta \}}. \ end {align}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\ displaystyle {\ begin {align} h (x_ {1} ^ {n}) = 1, \ quad g _ {(\ alpha, \ beta)} (x_ {1} ^ {n}) = \ left ({ 1 \ over \ beta - \ alpha} \ right) ^ {n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} X_ {i} \ }} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} X_ {i} \, \ leq \, \ beta \}}. \ end {align}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\ displaystyle h (x_ {1} ^ {n})}$${\ Displaystyle (\ альфа, \ бета)}$${\ Displaystyle г _ {(\ альфа \,, \, \ бета)} (х_ {1} ^ {п})}$${\ displaystyle x_ {1} ^ {n}}$${\ Displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\верно),}$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для. ${\ Displaystyle T (X_ {1} ^ {n}) = \ left (\ min _ {1 \ leq i \ leq n} X_ {i}, \ max _ {1 \ leq i \ leq n} X_ {i }\верно)}$${\ Displaystyle (\ альфа \,, \, \ бета)}$

распределение Пуассона

Если X 1,....,  X n независимы и имеют распределение Пуассона с параметром λ, то сумма T ( X) =  X 1  +... +  X n является достаточной статистикой для  λ.

Чтобы убедиться в этом, рассмотрим совместное распределение вероятностей:

${\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}$

Поскольку наблюдения независимы, это можно записать как

${\ displaystyle {e ^ {- \ lambda} \ lambda ^ {x_ {1}} \ over x_ {1}!} \ cdot {e ^ {- \ lambda} \ lambda ^ {x_ {2}} \ over x_ {2}!} \ Cdots {e ^ {- \ lambda} \ lambda ^ {x_ {n}} \ over x_ {n}!}}$

который можно записать как

${\ displaystyle e ^ {- n \ lambda} \ lambda ^ {(x_ {1} + x_ {2} + \ cdots + x_ {n})} \ cdot {1 \ over x_ {1}! x_ {2} ! \ cdots x_ {n}!}}$

который показывает, что критерий факторизации удовлетворяется, где h ( x) - величина, обратная произведению факториалов. Обратите внимание, что параметр λ взаимодействует с данными только через свою сумму T ( X).

Нормальное распределение

Если независимы и нормально распределены с ожидаемым значением (параметром) и известной конечной дисперсией, то ${\ Displaystyle X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle \ theta}$${\ displaystyle \ sigma ^ {2},}$

${\ displaystyle T (X_ {1} ^ {n}) = {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}}$

является достаточной статистикой для ${\ displaystyle \ theta.}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в. Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е. ${\ Displaystyle X_ {1} ^ {n} = (X_ {1}, \ точки, X_ {n})}$

${\ displaystyle {\ begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) amp; = \ prod _ {i = 1} ^ {n} {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left (- {\ frac {(x_ {i} - \ theta) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ [6pt] amp; = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {(x_ {i} - \ theta) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ [6pt] amp; = (2 \ pi \ sigma ^ {2 }) ^ {- {\ frac {n} {2}}} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {\ left (\ left (x_ {i} - { \ overline {x}} \ right) - \ left (\ theta - {\ overline {x}} \ right) \ right) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ [ 6pt] amp; = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ left ( \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} + \ sum _ {i = 1} ^ {n} (\ theta - {\ overline {x}}) ^ {2} -2 \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (\ theta - {\ overline {x}}) \ right) \ right) \\ [6pt] amp; = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ left (\ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} + n (\ theta - {\ overline {x}) }) ^ {2} \ right) \ right) amp;amp; \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (\ theta - {\ overline {x}}) = 0 \\ [6pt] amp; = (2 \ pi \ sigma ^ {2 }) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ sum _ {i = 1} ^ {n} (x_ {i } - {\ overline {x}}) ^ {2} \ right) \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2}}} (\ theta - {\ overline {x}})) ^ {2} \ right) \ end {выровнено}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\ displaystyle {\ begin {align} h (x_ {1} ^ {n}) amp; = (2 \ pi \ sigma ^ {2}) ^ {- {\ frac {n} {2}}} \ exp \ left (- {1 \ over 2 \ sigma ^ {2}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2} \ right) \\ [6pt] g _ {\ theta} (x_ {1} ^ {n}) amp; = \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2}}} (\ theta - {\ overline { x}}) ^ {2} \ right) \ end {выровнено}}}$

Поскольку не зависит от параметра, а зависит только от через функцию ${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle \ theta}$${\ displaystyle g _ {\ theta} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$

${\ displaystyle T (X_ {1} ^ {n}) = {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}, }$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для. ${\ displaystyle T (X_ {1} ^ {n})}$${\ displaystyle \ theta}$

Если неизвестно и поскольку, указанная выше вероятность может быть переписана как ${\ displaystyle \ sigma ^ {2}}$${\ displaystyle s ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ {n} \ left (x_ {i} - {\ overline {x}} \ right) ^ {2}}$

${\ displaystyle {\ begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) = (2 \ pi \ sigma ^ {2}) ^ {- n / 2} \ exp \ left (- {\ frac {n-1} {2 \ sigma ^ {2}}} s ^ {2} \ right) \ exp \ left (- {\ frac {n} {2 \ sigma ^ {2 }}} (\ theta - {\ overline {x}}) ^ {2} \ right). \ end {align}}}$

Теорема факторизации Фишера – Неймана все еще верна и означает, что это совместная достаточная статистика для. ${\ displaystyle ({\ overline {x}}, s ^ ​​{2})}$${\ Displaystyle (\ тета, \ sigma ^ {2})}$

Экспоненциальное распределение

Если они независимы и экспоненциально распределены с ожидаемым значением θ (неизвестный действительный положительный параметр), то это достаточная статистика для θ. ${\ Displaystyle X_ {1}, \ точки, X_ {n}}$ ${\ Displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в. Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е. ${\ Displaystyle X_ {1} ^ {n} = (X_ {1}, \ точки, X_ {n})}$

${\ Displaystyle {\ begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) amp; = \ prod _ {i = 1} ^ {n} {1 \ over \ theta } \, e ^ {{- 1 \ over \ theta} x_ {i}} = {1 \ over \ theta ^ {n}} \, e ^ {{- 1 \ over \ theta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ End {выравнивается}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\ displaystyle {\ begin {align} h (x_ {1} ^ {n}) = 1, \, \, \, g _ {\ theta} (x_ {1} ^ {n}) = {1 \ over \ theta ^ {n}} \, e ^ {{- 1 \ over \ theta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {align}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\ displaystyle h (x_ {1} ^ {n})}$${\ displaystyle \ theta}$${\ displaystyle g _ {\ theta} (x_ {1} ^ {n})}$${\ displaystyle x_ {1} ^ {n}}$${\ Displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$

теорема факторизации Фишера – Неймана следует, что является достаточной статистикой для. ${\ Displaystyle T (X_ {1} ^ {n}) = \ sum _ {i = 1} ^ {n} X_ {i}}$${\ displaystyle \ theta}$

Гамма-распределение

Если независимы и распределены как a, где и - неизвестные параметры гамма-распределения, то является двумерной достаточной статистикой для. ${\ Displaystyle X_ {1}, \ точки, X_ {n}}$ ${\ Displaystyle \ Гамма (\ альфа \,, \, \ бета)}$ ${\ displaystyle \ alpha}$${\ displaystyle \ beta}$ ${\ Displaystyle T (X_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} {X_ {i}}, \ sum _ {i = 1} ^ {n} X_ {Я прав)}$${\ Displaystyle (\ альфа, \ бета)}$

Чтобы убедиться в этом, рассмотрят совместную функцию плотности вероятности в. Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей, т. Е. ${\ Displaystyle X_ {1} ^ {n} = (X_ {1}, \ точки, X_ {n})}$

${\ displaystyle {\ begin {align} f_ {X_ {1} ^ {n}} (x_ {1} ^ {n}) amp; = \ prod _ {i = 1} ^ {n} \ left ({1 \ над \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) x_ {i} ^ {\ alpha -1} e ^ {(- 1 / \ beta) x_ {i}} \\ [5pt] amp; = \ left ({1 \ over \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) ^ {n} \ left (\ prod _ {i = 1} ^ {n} x_ {i} \ right) ^ {\ alpha -1} e ^ {{- 1 \ over \ beta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {align}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\ Displaystyle {\ begin {align} h (x_ {1} ^ {n}) = 1, \, \, \, g _ {(\ alpha \,, \, \ beta)} (x_ {1} ^ { n}) = \ left ({1 \ over \ Gamma (\ alpha) \ beta ^ {\ alpha}} \ right) ^ {n} \ left (\ prod _ {i = 1} ^ {n} x_ {i } \ right) ^ {\ alpha -1} e ^ {{- 1 \ over \ beta} \ sum _ {i = 1} ^ {n} x_ {i}}. \ end {align}}}$

Поскольку не зависит от параметра, а зависит только от через функцию${\ displaystyle h (x_ {1} ^ {n})}$${\ Displaystyle (\ альфа \,, \, \ бета)}$${\ Displaystyle г _ {(\ альфа \,, \, \ бета)} (х_ {1} ^ {п})}$${\ displaystyle x_ {1} ^ {n}}$${\ Displaystyle T (x_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} x_ {i}, \ sum _ {i = 1} ^ {n} x_ {i }\верно),}$

из теоремы факторизации Фишера – Неймана следует, что это достаточная статистика для${\ displaystyle T (X_ {1} ^ {n}) = \ left (\ prod _ {i = 1} ^ {n} X_ {i}, \ sum _ {i = 1} ^ {n} X_ {i }\верно)}$${\ Displaystyle (\ альфа \,, \, \ бета).}$

Достаточность находит полезное применение в теореме Рао – Блэквелла, которая утверждает, что если g ( X) является какой-либо оценкой θ, то обычно условное математическое ожидание g ( X) при достаточной статистике T ( X) является лучшей оценкой θ, и никогда не бывает хуже. Иногда можно очень легко построить очень грубую оценку g ( X), а затем оценить это условное ожидаемое значение, чтобы получить оценку, которая является оптимальной в различных смыслах.

Основная статья: Экспоненциальная семья

Согласно теореме Питмана – Купмана – Дармуа, среди семейств вероятностных распределений, область значений которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальных семействах имеется достаточная статистика, размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим, что это независимые одинаково распределенные случайные величины, распределение которых, как известно, находится в некотором семействе распределений вероятностей с фиксированной поддержкой. Только если это семейство является экспоненциальным, существует достаточная статистика (возможно, векторная), число скалярных компонентов которой не увеличивается по мере увеличения размера выборки n. ${\ Displaystyle X_ {n}, n = 1,2,3, \ точки}$ ${\ displaystyle T (X_ {1}, \ dots, X_ {n})}$

Эта теорема показывает, что достаточность (или, скорее, наличие скалярной или векторной достаточной статистики ограниченной размерности) резко ограничивает возможные формы распределения.

Байесовская достаточность

Альтернативная формулировка условия достаточности статистики, установленная в байесовском контексте, включает апостериорные распределения, полученные с использованием полного набора данных и с использованием только статистики. Таким образом, требование состоит в том, для почти всех х,

${\ Displaystyle \ Pr (\ theta \ mid X = x) = \ Pr (\ theta \ mid T (X) = t (x)).}$

В более общем плане, не предполагая параметрическую модель, мы можем сказать, что статистика T является достаточной для прогнозирования, если

${\ Displaystyle \ Pr (X '= x' \ mid X = x) = \ Pr (X '= x' \ mid T (X) = t (x)).}$

Оказывается, эта «байесовская достаточность» является следствием приведенной выше формулировки, однако они не эквивалентны прямо в бесконечномерном случае. Доступен ряд теоретических результатов для достаточности в байесовском контексте.

Линейная достаточность

Концепция, называемая «линейная достаточность», может быть сформулирована в байесовском контексте и в более общем смысле. Сначала определите лучший линейный предиктор вектора Y на основе X как. Тогда линейная статистика T ( x) линейна достаточна, если ${\ displaystyle {\ hat {E}} [Y \ mid X]}$

${\ displaystyle {\ hat {E}} [\ theta \ mid X] = {\ hat {E}} [\ theta \ mid T (X)].}$

• Полнота статистики
• Теорема Басу о независимости полной достаточной и вспомогательной статистики
• Теорема Лемана – Шеффе : полная достаточная оценка - это наилучшая оценка ее математического ожидания.
• Теорема Рао – Блэквелла.
• Достаточное уменьшение размеров
• Дополнительная статистика

• Холево, А.С. (2001) [1994], "Достаточная статистика", Энциклопедия математики, EMS Press
• Lehmann, EL; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. Глава 4. ISBN   0-387-98502-6.
• Додж Ю. (2003) Оксфордский словарь статистических терминов, OUP. ISBN   0-19-920613-9