Независимые и одинаково распределенные случайные величины

В теории вероятностей и статистике, коллекция случайных величин является независимым и одинаково распределенным, если каждая случайная величина имеет то же распределение вероятностей, что и другие, и все они взаимно независимы. Это свойство обычно обозначается как i.i.d. или iid, или IID. Здесь i.i.d. используется, потому что он наиболее распространен.

В теории машинного обучения i.i.d. Для обучающих наборов данных часто делается предположение, что все выборки происходят из одного и того же генерирующего процесса и что генеративный процесс не имеет памяти о прошлых сгенерированных выборках.

• 1 Введение
• 2 Определение
  • 2.1 Определение для двух случайных величин
  • 2.2 Определение для более чем двух случайных величин
• 3 Примеры
• 4 Обобщения
  • 4.1 Заменяемые случайные переменные
  • 4.2 Процесс Леви
• 5 См. также
• 6 Ссылки
  • 6.1 Цитаты
  • 6.2 Источники

В статистике обычно предполагается, что наблюдения в выборке фактически являются идентификаторами. Предположение (или требование), что наблюдения должны быть идентификаторами имеет тенденцию упрощать математику, лежащую в основе многих статистических методов (см. математическая статистика и статистическая теория ). Однако в практических приложениях статистического моделирования предположение может быть или не быть реалистичным. Чтобы частично проверить, насколько реалистично предположение для данного набора данных, можно вычислить корреляцию, нарисовать графики запаздывания или выполнить тест поворотной точки. Обобщения заменяемых случайных величин часто бывает достаточно, и его легче выполнить.

i.i.d. Допущение важно в классической форме центральной предельной теоремы, которая утверждает, что распределение вероятностей суммы (или среднего) i.i.d. переменные с конечной дисперсией приближаются к нормальному распределению.

Часто i.i.d. предположение возникает в контексте последовательностей случайных величин. Тогда «независимый и одинаково распределенный» означает, что элемент в последовательности не зависит от случайных величин, которые были перед ним. Таким образом, i.i.d. последовательность отличается от марковской последовательности, где распределение вероятностей для n-й случайной величины является функцией предыдущей случайной величины в последовательности (для марковской последовательности первого порядка). I.i.d. Последовательность не подразумевает вероятности для всех элементов пространства выборки или пространства событий должны быть одинаковыми. Например, повторные броски загруженных игральных костей приведут к i.i.d. последовательности, несмотря на смещение результатов.

Определение для двух случайных величин

Предположим, что случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\; \backslash \; displaystyle\; Y\}$определены так, чтобы принимать значения в $I\; \subseteq \; R\; \{\backslash \; displaystyle\; I\; \backslash \; substeq\; \backslash \; mathbb\; \{R\}\}$. Пусть $FX\; (x)\; =\; P\; \; (X\; \le \; x)\; \{\backslash \; displaystyle\; F\_\; \{X\}\; (x)\; =\; \backslash \; operatorname\; \{P\}\; (X\; \backslash \; leq\; x)\}$и $FY\; (y)\; =\; п\; \; (Y\; \le \; y)\; \{\backslash \; displaystyle\; F\_\; \{Y\}\; (y)\; =\; \backslash \; operatorname\; \{P\}\; (Y\; \backslash \; leq\; y)\}$быть кумулятивными функциями распределения из $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, соответственно, и обозначают их совместную кумулятивную функцию распределения как $FX,\; Y\; (x,\; y)\; знак\; равно\; п\; \; (X\; \le \; x\; \wedge \; Y\; \le \; y)\; \{\backslash \; displaystyle\; F\_\; \{X,\; Y\}\; (x,\; y)\; =\; \backslash \; operatorname\; \{P\}\; (X\; \backslash \; leq\; x\; \backslash \; land\; Y\; \backslash \; leq\; y)\}$.

Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$одинаково распределены тогда и только тогда, когда $FX\; (x)\; =\; FY\; (x)\; \forall \; x\; \in \; I\; \{\backslash \; displaystyle\; F\_\; \{X\}\; (x)\; =\; F\_\; \{Y\}\; (x)\; \backslash ,\; \backslash \; forall\; x\; \backslash \; in\; I\}$.

Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются независимыми тогда и только тогда, когда $FX,\; Y\; (x,\; y)\; =\; FX\; (x)\; \cdot \; FY\; (y)\; \forall \; x,\; y\; \in \; I\; \{\backslash \; displaystyle\; F\_\; \{X,\; Y\}\; (x,\; y)\; =\; F\_\; \{X\}\; (х)\; \backslash \; cdot\; F\_\; \{Y\}\; (y)\; \backslash ,\; \backslash \; forall\; x,\; y\; \backslash \; in\; I\}$. (См. Далее Независимость (теория вероятности) § Две случайные величины.)

Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\; \backslash \; displaystyle\; Y\}$являются iid, если они независимы и одинаково распределены, т.е. тогда и только тогда, когда

$FX\; (x)\; =\; FY\; (x)\; \forall \; x\; \in \; IFX,\; Y\; (\; Икс,\; Y)\; знак\; равно\; FX\; (Икс)\; \cdot \; FY\; (Y)\; \forall \; Икс,\; Y\; \in \; I\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; F\_\; \{X\}\; (x)\; =\; F\_\; \{Y\}\; (x)\; \backslash ,\; \backslash \; forall\; x\; \backslash \; in\; I\; \backslash \backslash \; F\_\; \{X,\; Y\}\; (x,\; y)\; =\; F\_\; \{X\}\; (x)\; \backslash \; cdot\; F\_\; \{Y\}\; (y)\; \backslash ,\; \backslash \; forall\; x,\; y\; \backslash \; in\; I\; \backslash \; end\; \{выровнено\}\}\; \}$

(Eq.1)

Определение более чем двух случайных величин

Определение естественным образом распространяется на более чем две случайные величины. Мы говорим, что $n\; \{\backslash \; displaystyle\; n\}$случайные величины $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$являются iid, если они независимы (см. Далее Независимость (теория вероятности) # Более двух случайных величин ) и одинаково распределены, т. Е. Тогда и только тогда, когда

$FX\; 1\; (\; x)\; =\; FX\; k\; (x)\; \forall \; k\; \in \; \{1,\dots ,\; n\}\; и\; \forall \; x\; \in \; IFX\; 1,\dots ,\; X\; n\; (x\; 1,\dots ,\; xn)\; =\; FX\; 1\; (x\; 1)\; \cdot \dots \; \cdot \; FX\; n\; (\; xn)\; \forall \; x\; 1,\dots ,\; xn\; \in \; I\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; F\_\; \{X\_\; \{1\}\}\; (x)\; =\; F\_\; \{X\_\; \{k\}\}\; (x)\; \backslash ,\; \backslash \; forall\; k\; \backslash \; in\; \backslash \; \{1,\; \backslash \; ldots,\; n\; \backslash \}\; \{\backslash \; text\; \{и\}\}\; \backslash \; forall\; x\; \backslash \; in\; I\; \backslash \backslash \; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{\; n\})\; =\; F\_\; \{X\_\; \{1\}\}\; (x\_\; \{1\})\; \backslash \; cdot\; \backslash \; ldots\; \backslash \; cdot\; F\_\; \{X\_\; \{n\}\}\; (x\_\; \{n\})\; \backslash ,\; \backslash \; forall\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \backslash \; in\; I\; \backslash \; end\; \{align\}\}\}$

(Eq.2)

где $FX\; 1,\dots ,\; X\; n\; (x\; 1,\dots ,\; xn)\; =\; P\; \; (X\; 1\; \le \; Икс\; 1\; \wedge \dots \; \wedge \; Икс\; n\; \le \; xn)\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; \backslash \; operatorname\; \{P\}\; (X\_\; \{1\}\; \backslash \; leq\; x\_\; \{1\}\; \backslash \; land\; \backslash \; ldots\; \backslash \; land\; X\_\; \{n\}\; \backslash \; leq\; x\_\; \{n\})\}$обозначает совместное совокупное распределение ion функция $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$.

Ниже приведены примеры или применения i.i.d. случайные величины:

• Последовательность результатов вращений справедливого или несправедливого колеса рулетки i.i.d. Одним из следствий этого является то, что если шарик рулетки приземляется на «красное», например, 20 раз подряд, следующее вращение будет не более или менее «черным», чем при любом другом вращении (см. Заблуждение игрока ).
• Последовательность бросков справедливых или загруженных костей - iid
• Последовательность справедливых или несправедливых бросков монеты - iid
• В обработка сигналов и обработка изображений понятие преобразования в iid подразумевает две спецификации: часть «id» (id = идентично распределенная) и часть «i.» (i. = независимая):
  • (id) уровень сигнала должен быть сбалансирован по оси времени;
  • (i.) спектр сигнала должен быть выровнен, то есть преобразован с помощью фильтрации (такой как деконволюция ) в белый шум сигнал (т.е. сигнал, в котором все частоты одинаково присутствуют).

Следующие примеры выборок данных не удовлетворяют предположению iid:

• Набор медицинских данных, в котором несколько образцов взяты у нескольких пациентов, очень вероятно, что из одни и те же пациенты могут быть коррелированы.
• Выборки, взятые из процессов, зависящих от времени, например, данных переписи за год.

Многие результаты, которые были впервые доказаны при предположении, что случайные переменные iid оказались верными даже при более слабом предположении о распределении.

Обмениваемые случайные величины

Наиболее общее понятие, которое разделяет основные свойства i.i.d. переменные - это заменяемые случайные величины, введенные Бруно де Финетти. Возможность обмена означает, что, хотя переменные не могут быть независимыми, будущие переменные ведут себя как прошлые - формально любое значение конечной последовательности так же вероятно, как любая перестановка этих значений - совместное распределение вероятностей инвариантен относительно симметричной группы .

. Это дает полезное обобщение - например, выборка без замены не является независимой, но может заменяться.

процесс Леви

В стохастическом исчислении i.i.d. Переменные рассматриваются как дискретное время процесс Леви : каждая переменная показывает, насколько одна переменная изменяется от одного момента к другому. Например, последовательность испытаний Бернулли интерпретируется как процесс Бернулли. Можно обобщить это, чтобы включить процессы Леви с непрерывным временем, и многие процессы Леви можно рассматривать как пределы i.i.d. переменные - например, винеровский процесс является пределом процесса Бернулли.

• Теорема Де Финетти
• Парные независимые переменные

Цитаты

Источники