В статистике, распределение Уишарта является обобщением для нескольких измерений гамма-распределения. Он назван в честь Джона Уишарта, который первым сформулировал распределение в 1928 году.
Это семейство распределений вероятностей, определенных на симметричных, неотрицательных -определенная матрица -значная случайные величины («случайные матрицы»). Эти распределения имеют большое значение при оценке ковариационных матриц в многомерной статистике. В байесовской статистике распределение Уишарта является сопряженным априорным обратной ковариационной матрицей многомерной нормальной случайной -vector.
Содержание
- 1 Определение
- 2 Вхождение
- 3 Функция плотности вероятности
- 4 Использование в байесовской статистике
- 5 Свойства
- 5.1 Логарифмическое ожидание
- 5.2 Логарифмическая дисперсия
- 5.3 Энтропия
- 5.4 Кросс-энтропия
- 5.5 KL-дивергенция
- 5.6 Характеристическая функция
- 6 Теорема
- 6.1 Следствие 1
- 6.2 Следствие 2
- 7 Оценщик многомерного нормального распределения
- 8 Разложение Бартлетта
- 9 Предельное распределение матричных элементов
- 10 Диапазон параметра формы
- 11 Связь с другими распределениями
- 12 См. Также
- 13 Ссылки
- 14 Внешние ссылки
Определение
Предположим, что G представляет собой матрицу размера p × n, каждый столбец которой независимо, полученный из p-вариативного нормального распределения с нулевым средним:
Тогда распределение Уишарта - это распределение вероятностей случайной матрицы размера p × p
, известная как матрица рассеяния. Один указывает, что S имеет это распределение вероятностей, записывая
Положительное целое число n - это количество степеней свободы. Иногда это пишут W (V, p, n). При n ≥ p матрица S обратима с вероятностью 1, если V обратима.
Если p = V = 1, то это распределение является распределением хи-квадрат с n степенями свободы.
Вхождение
Распределение Уишарта возникает как распределение выборочной ковариационной матрицы для выборки из многомерного нормального распределения. Это часто встречается в тестах отношения правдоподобия при многомерном статистическом анализе. Он также возникает в спектральной теории случайных матриц и в многомерном байесовском анализе. Он также встречается в беспроводной связи при анализе характеристик рэлеевских замираний MIMO беспроводных каналов.
Функция плотности вероятности
Распределение Уишарта может характеризуется его функцией плотности вероятности следующим образом:
Пусть X будет симметричной матрицей случайных величин размера p × p, которая равна положительно определенный. Пусть V будет (фиксированной) симметричной положительно определенной матрицей размера p × p.
Тогда, если n ≥ p, X имеет распределение Уишарта с n степенями свободы, если оно имеет функцию плотности вероятности
где - это определитель для и Γ p - многомерная гамма-функция, определяемая как
Плотность выше не является совместной плотностью всех элементы случайной матрицы X (например, -мерная плотность не существует из-за ограничений симметрии ), это скорее совместная плотность elements for (, стр. 38). Кроме того, приведенная выше формула плотности применима только к положительно определенным матрицам для других матриц плотность равна нулю.
Плотность совместных собственных значений для собственных значений случайной матрицы равно
где - постоянная величина.
Фактически, приведенное выше определение может быть расширено до любого действительного n>p - 1. Если n ≤ p - 1, то Wishart больше не имеет плотности - вместо этого оно представляет сингулярное распределение, которое принимает значения в подпространство более низкой размерности пространства матриц размера p × p.
Использование в байесовской статистике
В байесовской статистике в контексте многомерного нормального распределения, распределение Уишарта является сопряженным до матрицы точности Ω= Σ, где Σ - ковариационная матрица.
Выбор параметров
Наименее информативный, правильное априорное значение Уишарта получается путем установки n = p.
Предыдущее среднее значение W p(V, n) равно n V, что предполагает разумный выбор для V будет n Σ0, где Σ0- некоторое предварительное предположение для ковариационной матрицы.
.
Свойства
Логарифмическое ожидание
Следующая формула играет роль в вариационных вычислениях Байеса для сетей Байеса с использованием распределения Уишарта:
где - многомерная дигамма-функция (производная логарифма многомерной гамма-функции ).
Логарифмическая дисперсия
Следующее вычисление дисперсии может помочь в байесовской статистике:
где - тригамма-функция. Это возникает при вычислении информации Фишера случайной величины Уишарта.
Энтропия
информационная энтропия распределения имеет следующую формулу:
, где B (V, n) - нормализующая константа распределения:
Это может быть расширено следующим образом:
Кросс-энтропия
перекрестная энтропия двух распределений Уишарта с параметрами и с параметрами равно
Обратите внимание, что когда и восстанавливаем энтропию.
KL-дивергенция
Дивергенция Кульбака – Лейблера из из равно
Характеристическая функция
Характеристическая функция распределения Уишарта:
Другими словами,
где E [⋅] обозначает ожидание. (Здесь Θ и I - это матрицы того же размера, что и V(I- это единичная матрица ); и i - квадратный корень из -1).
Поскольку диапазон определителя содержит замкнутую линию, проходящую через начало координат для размеров матрицы больше двух, приведенная выше формула верна только для малых значений переменной Фурье. (см. arXiv : 1901.09347 )
Теорема
Если случайная матрица p × p X имеет распределение Уишарта с m степенями свободы и матрицей дисперсии V - запишите - и C представляет собой матрицу q × p ранга q, тогда
Следствие 1
Если z является ненулевым постоянным вектором p × 1, то:
В этом случае - это распределение хи-квадрат и (обратите внимание, что - постоянная; он положительный, потому что V положительно определен).
Следствие 2
Рассмотрим случай, когда z = (0,..., 0, 1, 0,..., 0) (то есть j-й элемент равен единице, а все остальные - нулю). Тогда следствие 1 выше показывает, что
дает маргинальное распределение каждый из элементов по диагонали матрицы.
Джордж Себер указывает, что распределение Уишарта не называется «многомерным распределением хи-квадрат», потому что предельное распределение недиагональных элементов не является хи-квадрат. Себер предпочитает зарезервировать термин многомерный для случая, когда все одномерные маргиналы принадлежат к одному семейству.
Оценщик многомерного нормального распределения
Распределение Уишарта - это выборочное распределение из оценки максимального правдоподобия (MLE) ковариационной матрицы многомерного нормального распределения . вывод MLE использует спектральную теорему.
разложение Бартлетта
разложение Бартлетта матрицы X из p-вариативное распределение Уишарта с масштабной матрицей V и n степенями свободы - это факторизация:
где L - фактор Холецкого V и:
где и n ij ~ N (0, 1) независимо. Это обеспечивает полезный метод получения случайных выборок из распределения Уишарта.
Предельное распределение матричных элементов
Пусть V будет матрицей дисперсии 2 × 2, характеризующейся коэффициент корреляции −1 < ρ < 1 and L его нижний коэффициент Холецкого:
Умножение через Бартлетт выше, мы находим, что случайная выборка из распределения Уишарта 2 × 2 имеет вид
Диагональные элементы, наиболее очевидно в первом элементе, следуют распределению χ с n степенями свободы (масштабированные на σ), как и ожидалось. Недиагональный элемент менее известен, но может быть идентифицирован как нормальная смесь средних значений дисперсии, где плотность смешения является распределением χ. Соответствующая предельная плотность вероятности для недиагонального элемента, следовательно, является гамма-распределением дисперсии
где K ν (z) - модифицированная функция Бесселя второго рода. Подобные результаты могут быть получены для более высоких измерений, но взаимозависимость недиагональных корреляций становится все более сложной. Также возможно записать функцию , генерирующую момент, даже в нецентральном случае (по существу, n-я степень уравнения Крейга (1936) 10), хотя плотность вероятности становится бесконечной суммой функций Бесселя.
Диапазон параметра формы
Можно показать, что распределение Уишарта можно определить тогда и только тогда, когда параметр формы n принадлежит набору
Этот набор назван в честь Гиндикина, который ввел его в семидесятые годы в контексте гамма-распределений на однородных конусах. Однако для новых параметров в дискретном спектре ансамбля Гиндикина, а именно,
соответствующее распределение Уишарта не имеет плотности Лебега.
Связь с другими распределениями
- Распределение Уишарта связано с обратным распределением Уишарта, обозначенным , следующим образом: Если X ~ W p(V, n) и если мы сделаем замену переменных C= X, то . Это соотношение можно вывести, отметив, что абсолютное значение определителя Якоби этой замены переменных равно | C |, см., Например, уравнение (15.15) в.
- В байесовской статистике распределение Уишарта является сопряженным априорным для параметра точности многомерного нормального распределения, когда среднее параметр известен.
- Обобщение - это многомерное гамма-распределение.
- Другой тип обобщения - это нормальное распределение Уишарта, по существу, продукт многомерного нормальное распределение с распределением Уишарта.
См. также
Ссылки
Внешние ссылки