Закон Ципфа – Мандельброта

редактировать

Zipf – Mandelbrot
Параметры	$N ∈ {1, 2, 3…} {\ displaystyle N \ in \ {1,2,3 \ ldots \}}$ $N \ in \ {1,2,3 \ ldots \}$ (целое число ). $q ∈ [0; ∞) {\ displaystyle q \ in [0; \ infty)}$ $q \ in [0; \ infty)$ (вещественное ). $s>0 {\ displaystyle s>0 \,}$ $s>0 \,$ (реальный )
Поддержка	$k ∈ {1, 2,…, N} {\ displaystyle k \ in \ {1,2, \ ldots, N \}}$ $k \ in \ {1,2, \ ldots, N \}$
PMF	$1 / (k + q) s HN, q, s {\ displaystyle { \ гидроразрыва {1 / (к + q) ^ {s}} {H_ {N, q, s}}}}$ ${\ frac {1 / (k + q) ^ {s }} {H _ {{N, q, s}}}}$
CDF	$H k, q, s HN, q, s {\ displaystyle {\ frac {H_ {k, q, s}} {H_ {N, q, s}}}}$ ${\ frac {H _ {{k, q, s} }} {H _ {{N, q, s}}}}$
Среднее	$HN, q, s - 1 HN, q, s - q {\ displaystyle {\ frac {H_ {N, q, s-1}} {H_ {N, q, s}}} - q}$ ${\ frac {H _ {{N, q, s-1 }}} {H _ {{N, q, s}}}} - q$
Режим	$1 {\ displaystyle 1 \,}$ $1 \,$
Энтропия	$s HN q, s ∑ К знак равно 1 N ln ⁡ (k + q) (k + q) s + ln ⁡ (HN, q, s) {\ displaystyle {\ frac {s} {H_ {N, q, s} }} \ sum _ {k = 1} ^ {N} {\ frac {\ ln (k + q)} {(k + q) ^ {s}}} + \ ln (H_ {N, q, s})}$ ${\ frac {s} {H _ {{ N, q, s}}}} \ sum _ {{k = 1}} ^ {N} {\ frac {\ ln (k + q)} {(k + q) ^ {s}}} + \ ln (H _ {{N, q, s}})$

В теории вероятностей и статистике, закон Ципфа – Мандельброта представляет собой дискретное распределение вероятностей. Также известное как Парето - закон Ципфа, это степенное распределение для ранжированных данных, названное в честь лингвиста Джорджа Кингсли Зипфа, который предложил более простое распределение под названием Закон Ципфа и математик Бенуа Мандельброт, который впоследствии обобщил его.

функция массы вероятности определяется как:

f (k; N, q, s) = 1 / (k + q) s HN, q, s {\ displaystyle f (k; N, q, s) = {\ frac {1 / (k + q) ^ {s}} {H_ {N, q, s}}}}

f (k; N, q, s) = {\ frac {1 / (k + q) ^ {s}} {H _ {{N, q, s}}}}

где $HN, q, s {\ displaystyle H_ {N, q, s}}$ $H _ {{N, q, s}}$ определяется выражением:

HN, q, s = ∑ i = 1 N 1 (i + q) s {\ displaystyle H_ {N, q, s} = \ sum _ {i = 1} ^ {N} {\ frac {1} {(i + q) ^ {s}}}}

H _ {{N, q, s} } = \ сумма _ {{i = 1}} ^ {N} {\ frac {1} {(i + q) ^ {s}}}

, что можно рассматривать как обобщение номер гармоники. В формуле $k {\ displaystyle k}$ $k$ - это ранг данных, а $q {\ displaystyle q}$ $q$ и $s {\ displaystyle s}$ $s$ - параметры распределения. В пределе, когда $N {\ displaystyle N}$ $N$ приближается к бесконечности, это становится дзета-функцией Гурвица $ζ (s, q) {\ displaystyle \ zeta (s, q)}$ $\ zeta (s, q)$ . Для конечных $N {\ displaystyle N}$ $N$ и $q = 0 {\ displaystyle q = 0}$ $q = 0$ закон Ципфа – Мандельброта становится законом Ципфа. Для бесконечного $N {\ displaystyle N}$ $N$ и $q = 0 {\ displaystyle q = 0}$ $q = 0$ он становится дзета-распределением.

Contents

1 Приложения
2 Примечания
3 Ссылки
4 Внешние ссылки

Приложения

Распределение слов, ранжированных по их частоте в случайном текстовый корпус аппроксимируется степенным распределением, известным как закон Ципфа.

. Если построить график частоты слов, содержащихся в корпусе среднего размера текстовых данных в зависимости от числа появлений или фактических частот, можно получить распределение по степенному закону с показателем, близким к единице (но см. Powers, 1998 и Gelbukh Sidorov, 2001). Закон Ципфа неявно предполагает фиксированный размер словаря, но Гармонический ряд с s = 1 не сходится, в то время как обобщение Ципфа-Мандельброта с s>1 сходится. Кроме того, есть свидетельства того, что закрытый класс функциональных слов, определяющих язык, подчиняется распределению Ципфа-Мандельброта с параметрами, отличными от открытых классов соответствующих слов, которые различаются в зависимости от темы, поля и регистра.

В экологической области В исследованиях распределение относительной численности (т. е. график количества наблюдаемых видов в зависимости от их численности) часто соответствует закону Ципфа-Мандельброта.

В музыке, многие метрики измерения "приятной" музыки соответствуют распределению Ципфа – Мандельброта.

Примечания

Ссылки

Мандельброт, Бенуа (1965). «Теория информации и психолингвистика». В B.B. Wolman and E. Nagel (ed.). Научная психология. Основные книги. Перепечатано как
- Мандельброт, Бенуа (1968) [1965]. «Теория информации и психолингвистика». В R.C. Олдфилд и Дж. К. Марчалл (ред.). Язык. Penguin Books.
Пауэрс, Дэвид М. В. (1998). «Приложения и объяснения закона Ципфа». Association for Computational Linguistics : 151–160. Cite journal требует | journal =()
Zipf, George Kingsley (1932). Выбрано Исследования принципа относительной частоты в языке. Кембридж, Массачусетс, Массачусетс: издательство Гарвардского университета.
Ван Дроогенбрук Ф. Дж., «Существенная перефразировка закона Ципфа-Мандельброта для решения приложений атрибуции авторства с помощью гауссовой статистики» (2019) [1]

Внешние ссылки