Матричное нормальное распределение

Матрица нормальная

Обозначение	${\ displaystyle {\ mathcal {MN}} _ {n, p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$
Параметры	${\ displaystyle \ mathbf {M}}$ расположение ( действительная матрица ) масштаб ( положительно-определенная действительная матрица ) ${\ Displaystyle п \ раз р}$ ${\ displaystyle \ mathbf {U}}$ ${\ Displaystyle п \ раз п}$ ${\ displaystyle \ mathbf {V}}$ масштаб ( положительно-определенная вещественная матрица ) ${\ displaystyle p \ times p}$
Служба поддержки	${\ Displaystyle \ mathbf {X} \ in \ mathbb {R} ^ {п \ раз p}}$
PDF	${\ displaystyle {\ frac {\ exp \ left (- {\ frac {1} {2}} \, \ mathrm {tr} \ left [\ mathbf {V} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) ^ {T} \ mathbf {U} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) \ right] \ right)} {(2 \ pi) ^ {np / 2} | \ mathbf {V} | ^ {n / 2} | \ mathbf {U} | ^ {p / 2}}}}$
Иметь в виду	${\ displaystyle \ mathbf {M}}$
Дисперсия	${\ displaystyle \ mathbf {U}}$ (среди строк) и (среди столбцов) ${\ displaystyle \ mathbf {V}}$

В статистике, то матрица нормального распределения или матрица распределения Gaussian является распределение вероятностей, что представляет собой обобщение многомерного нормального распределения для матричных случайных величин.

СОДЕРЖАНИЕ

• 1 Определение
  • 1.1 Доказательство
• 2 свойства
  • 2.1 Ожидаемые значения
  • 2.2 Преобразование
• 3 Пример
• 4 Оценка параметра максимального правдоподобия
• 5 Получение значений из распределения
• 6 Отношение к другим дистрибутивам
• 7 См. Также
• 8 ссылки

Определение

Функция плотности вероятности для случайной матрицы X ( n  ×  p ), которая следует нормальному распределению матрицы, имеет вид: ${\ displaystyle {\ mathcal {MN}} _ {n, p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$

${\ displaystyle p (\ mathbf {X} \ mid \ mathbf {M}, \ mathbf {U}, \ mathbf {V}) = {\ frac {\ exp \ left (- {\ frac {1} {2}) } \, \ mathrm {tr} \ left [\ mathbf {V} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) ^ {T} \ mathbf {U} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) \ right] \ right)} {(2 \ pi) ^ {np / 2} | \ mathbf {V} | ^ {n / 2} | \ mathbf {U} | ^ {p / 2}}}}$

где обозначает след, а M - n  ×  p, U - n  ×  n, а V - p  ×  p. ${\ displaystyle \ mathrm {tr}}$

Нормаль матрицы связана с многомерным нормальным распределением следующим образом:

${\ displaystyle \ mathbf {X} \ sim {\ mathcal {MN}} _ {n \ times p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V}),}$

если и только если

${\ displaystyle \ mathrm {vec} (\ mathbf {X}) \ sim {\ mathcal {N}} _ {np} (\ mathrm {vec} (\ mathbf {M}), \ mathbf {V} \ otimes \ mathbf {U})}$

где обозначает произведение Кронекера и обозначает векторизации из. ${\ displaystyle \ otimes}$ ${\ Displaystyle \ mathrm {vec} (\ mathbf {M})}$ ${\ displaystyle \ mathbf {M}}$

Доказательство

Эквивалентность между вышеуказанными матричными нормальными и многомерными нормальными функциями плотности может быть показана с использованием следующих свойств следа и произведения Кронекера. Начнем с аргумента экспоненты нормальной матрицы PDF:

${\ displaystyle {\ begin {align} amp; \; \; \; \; - {\ frac {1} {2}} {\ text {tr}} \ left [\ mathbf {V} ^ {- 1} ( \ mathbf {X} - \ mathbf {M}) ^ {T} \ mathbf {U} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) \ right] \\ amp; = - {\ frac {1} {2}} {\ text {vec}} \ left (\ mathbf {X} - \ mathbf {M} \ right) ^ {T} {\ text {vec}} \ left (\ mathbf {U} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) \ mathbf {V} ^ {- 1} \ right) \\ amp; = - {\ frac {1} {2}} {\ text { vec}} \ left (\ mathbf {X} - \ mathbf {M} \ right) ^ {T} \ left (\ mathbf {V} ^ {- 1} \ otimes \ mathbf {U} ^ {- 1} \ right) {\ text {vec}} \ left (\ mathbf {X} - \ mathbf {M} \ right) \\ amp; = - {\ frac {1} {2}} \ left [{\ text {vec} } (\ mathbf {X}) - {\ text {vec}} (\ mathbf {M}) \ right] ^ {T} \ left (\ mathbf {V} \ otimes \ mathbf {U} \ right) ^ { -1} \ left [{\ text {vec}} (\ mathbf {X}) - {\ text {vec}} (\ mathbf {M}) \ right] \ end {выровнено}}}$

который является аргументом экспоненты многомерной нормальной PDF. Доказательство завершается использованием детерминантного свойства: ${\ displaystyle | \ mathbf {V} \ otimes \ mathbf {U} | = | \ mathbf {V} | ^ {n} | \ mathbf {U} | ^ {p}.}$

Характеристики

Если, то у нас есть следующие свойства: ${\ Displaystyle \ mathbf {X} \ sim {\ mathcal {MN}} _ {п \ раз p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$

Ожидаемые значения

Среднее или ожидаемое значение :

${\ Displaystyle E [\ mathbf {X}] = \ mathbf {M}}$

и у нас есть следующие ожидания второго порядка:

${\ Displaystyle E [(\ mathbf {X} - \ mathbf {M}) (\ mathbf {X} - \ mathbf {M}) ^ {T}] = \ mathbf {U} \ OperatorName {tr} (\ mathbf {V})}$

${\ Displaystyle E [(\ mathbf {X} - \ mathbf {M}) ^ {T} (\ mathbf {X} - \ mathbf {M})] = \ mathbf {V} \ OperatorName {tr} (\ mathbf {U})}$

где обозначает след. ${\ displaystyle \ operatorname {tr}}$

В более общем смысле, для матриц A, B, C подходящего размера:

${\ displaystyle {\ begin {align} E [\ mathbf {X} \ mathbf {A} \ mathbf {X} ^ {T}] amp; = \ mathbf {U} \ operatorname {tr} (\ mathbf {A} ^ {T} \ mathbf {V}) + \ mathbf {MAM} ^ {T} \\ E [\ mathbf {X} ^ {T} \ mathbf {B} \ mathbf {X}] amp; = \ mathbf {V} \ operatorname {tr} (\ mathbf {U} \ mathbf {B} ^ {T}) + \ mathbf {M} ^ {T} \ mathbf {BM} \\ E [\ mathbf {X} \ mathbf {C} \ mathbf {X}] amp; = \ mathbf {V} \ mathbf {C} ^ {T} \ mathbf {U} + \ mathbf {MCM} \ end {align}}}$

Трансформация

Транспонировать преобразование:

${\ Displaystyle \ mathbf {X} ^ {T} \ sim {\ mathcal {MN}} _ {p \ times n} (\ mathbf {M} ^ {T}, \ mathbf {V}, \ mathbf {U})}$

Линейное преобразование: пусть D ( r -by- n ) имеет полный ранг r ≤ n и C ( p -by- s ) имеет полный ранг s ≤ p, тогда:

${\ displaystyle \ mathbf {DXC} \ sim {\ mathcal {MN}} _ {r \ times s} (\ mathbf {DMC}, \ mathbf {DUD} ^ {T}, \ mathbf {C} ^ {T} \ mathbf {VC})}$

Пример

Представим себе выборку из n независимых p -мерных случайных величин, одинаково распределенных согласно многомерному нормальному распределению :

${\ displaystyle \ mathbf {Y} _ {i} \ sim {\ mathcal {N}} _ {p} ({\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}) {\ text {with} } i \ in \ {1, \ ldots, n \}}$.

При определении матрицы размера n  ×  p, для которой находится i- я строка, получаем: ${\ displaystyle \ mathbf {X}}$${\ Displaystyle \ mathbf {Y} _ {я}}$

${\ Displaystyle \ mathbf {X} \ sim {\ mathcal {MN}} _ {п \ раз p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$

где каждая строка равна, то есть, это п  ×  п единичная матрица, то есть строки являются независимыми, и. ${\ displaystyle \ mathbf {M}}$${\ displaystyle {\ boldsymbol {\ mu}}}$${\ displaystyle \ mathbf {M} = \ mathbf {1} _ {n} \ times {\ boldsymbol {\ mu}} ^ {T}}$${\ displaystyle \ mathbf {U}}$${\ Displaystyle \ mathbf {V} = {\ boldsymbol {\ Sigma}}}$

Оценка параметра максимального правдоподобия

Для обозначенных k матриц, каждая размером n  ×  p, которые, как мы предполагаем, были выбраны iid из нормального распределения матриц, оценка максимального правдоподобия параметров может быть получена путем максимизации: ${\ Displaystyle \ mathbf {X} _ {1}, \ mathbf {X} _ {2}, \ ldots, \ mathbf {X} _ {k}}$

${\ displaystyle \ prod _ {i = 1} ^ {k} {\ mathcal {MN}} _ {n \ times p} (\ mathbf {X} _ {i} \ mid \ mathbf {M}, \ mathbf { U}, \ mathbf {V}).}$

Решение для среднего имеет замкнутый вид, а именно

${\ displaystyle \ mathbf {M} = {\ frac {1} {k}} \ sum _ {i = 1} ^ {k} \ mathbf {X} _ {i}}$

но параметры ковариации - нет. Однако эти параметры можно итеративно максимизировать путем обнуления их градиентов на:

${\ displaystyle \ mathbf {U} = {\ frac {1} {kp}} \ sum _ {i = 1} ^ {k} (\ mathbf {X} _ {i} - \ mathbf {M}) \ mathbf {V} ^ {- 1} (\ mathbf {X} _ {i} - \ mathbf {M}) ^ {T}}$

а также

${\ displaystyle \ mathbf {V} = {\ frac {1} {kn}} \ sum _ {i = 1} ^ {k} (\ mathbf {X} _ {i} - \ mathbf {M}) ^ { T} \ mathbf {U} ^ {- 1} (\ mathbf {X} _ {i} - \ mathbf {M}),}$

См., Например, и ссылки в нем. Параметры ковариации не идентифицируются в том смысле, что для любого масштабного коэффициента sgt; 0 мы имеем:

${\ displaystyle {\ mathcal {MN}} _ {n \ times p} (\ mathbf {X} \ mid \ mathbf {M}, \ mathbf {U}, \ mathbf {V}) = {\ mathcal {MN} } _ {n \ times p} (\ mathbf {X} \ mid \ mathbf {M}, s \ mathbf {U}, {\ tfrac {1} {s}} \ mathbf {V}).}$

Получение значений из распределения

Выборка из матричного нормального распределения является частным случаем процедуры выборки для многомерного нормального распределения. Пусть будет n x p- матрицей np независимых выборок из стандартного нормального распределения, так что ${\ displaystyle \ mathbf {X}}$

${\ displaystyle \ mathbf {X} \ sim {\ mathcal {MN}} _ {n \ times p} (\ mathbf {0}, \ mathbf {I}, \ mathbf {I}).}$

Тогда пусть

${\ Displaystyle \ mathbf {Y} = \ mathbf {M} + \ mathbf {A} \ mathbf {X} \ mathbf {B},}$

чтобы

${\ displaystyle \ mathbf {Y} \ sim {\ mathcal {MN}} _ {n \ times p} (\ mathbf {M}, \ mathbf {AA} ^ {T}, \ mathbf {B} ^ {T} \ mathbf {B}),}$

где A и B могут быть выбраны разложением Холецкого или аналогичной операцией извлечения квадратного корня из матрицы.

Отношение к другим дистрибутивам

Давид (1981) предоставляет обсуждение связи матричного нормального распределения с другими распределениями, включая распределение Уишарта, обратное распределение Уишарта и матричное t-распределение, но использует другие обозначения, чем используемые здесь.

Смотрите также

• Многомерное нормальное распределение.

Рекомендации

• Давид, AP (1981). «Некоторая теория распределения с переменной матрицей: Обозначения и байесовское приложение». Биометрика. 68 (1): 265–274. DOI : 10.1093 / Biomet / 68.1.265. JSTOR   2335827. Руководство по ремонту   0614963.
• Dutilleul, P (1999). «Алгоритм MLE для матричного нормального распределения». Журнал статистических вычислений и моделирования. 64 (2): 105–123. DOI : 10.1080 / 00949659908811970.
• Арнольд, С.Ф. (1981), Теория линейных моделей и многомерный анализ, Нью-Йорк: John Wiley amp; Sons, ISBN   0471050652