Энтропия Реньи

редактировать

В теории информации, то энтропия Реньи обобщает энтропию Хартли, то энтропия Шеннона, то столкновение энтропии и мин-энтропии. Энтропии количественно определяют разнообразие, неопределенность или случайность системы. Энтропия названа в честь Альфреда Реньи. В контексте оценки фрактальной размерности энтропия Реньи составляет основу концепции обобщенных размерностей.

Энтропия Реньи важна в экологии и статистике как показатель разнообразия. Энтропия Реньи также важна для квантовой информации, где ее можно использовать как меру запутанности. В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция от α может быть вычислена явно в силу того факта, что она является автоморфной функцией по отношению к определенной подгруппе модулярной группы. В теоретической информатике мин-энтропия используется в контексте экстракторов случайности.

СОДЕРЖАНИЕ

1 Определение
2 Особые случаи
- 2.1 Хартли или макс-энтропия
- 2.2 Энтропия Шеннона
- 2.3 Энтропия столкновений
- 2.4 Мин-энтропия
3 Неравенства между разными значениями α
4 расхождение Реньи
5 Финансовая интерпретация
6 Почему α = 1 особенный
7 экспоненциальных семейств
8 Физический смысл
9 См. Также
10 заметок
11 Источники

Определение

Энтропия Реньи порядка, где и, определяется как ${\ displaystyle \ alpha}$ $\альфа$ ${\ displaystyle \ alpha \ geq 0}$ $\ альфа \ geq 0$ ${\ displaystyle \ alpha \ neq 1}$ $\ alpha \ neq 1$

{\ displaystyle \ mathrm {H} _ {\ alpha} (X) = {\ frac {1} {1- \ alpha}} \ log {\ Bigg (} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg)}}

{\ displaystyle \ mathrm {H} _ {\ alpha} (X) = {\ frac {1} {1- \ alpha}} \ log {\ Bigg (} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg)}}

Здесь - дискретная случайная величина с возможными исходами в наборе и соответствующими вероятностями для. Логарифм обычно берется по основанию 2, особенно в контексте теории информации, где биты используются. Если вероятности для всех, то всего Рения энтропия распределения равна:. В общем, для всех дискретных случайных величин, не является возрастающей функцией в. ${\ displaystyle X}$ $Икс$ ${\ Displaystyle {\ mathcal {A}} = \ {x_ {1}, x_ {2},..., x_ {n} \}}$ ${\ Displaystyle {\ mathcal {A}} = \ {x_ {1}, x_ {2},..., x_ {n} \}}$ ${\ Displaystyle р_ {я} \ doteq \ Pr (Х = х_ {я})}$ ${\ Displaystyle р_ {я} \ doteq \ Pr (Х = х_ {я})}$ ${\ Displaystyle я = 1, \ точки, п}$ $я = 1, \ точки, п$ ${\ displaystyle p_ {i} = 1 / n}$ $p_ {i} = 1 / n$ ${\ Displaystyle я = 1, \ точки, п}$ $я = 1, \ точки, п$ ${\ displaystyle \ mathrm {H} _ {\ alpha} (X) = \ log n}$ ${\ displaystyle \ mathrm {H} _ {\ alpha} (X) = \ log n}$ ${\ displaystyle X}$ $Икс$ ${\ displaystyle \ mathrm {H} _ {\ alpha} (X)}$ ${\ displaystyle \ mathrm {H} _ {\ alpha} (X)}$ ${\ displaystyle \ alpha}$ $\альфа$

Приложения часто используют следующую связь между энтропией Реньи и p- нормой вектора вероятностей:

{\ displaystyle \ mathrm {H} _ {\ alpha} (X) = {\ frac {\ alpha} {1- \ alpha}} \ log \ left (\ | P \ | _ {\ alpha} \ right)}

{\ displaystyle \ mathrm {H} _ {\ alpha} (X) = {\ frac {\ alpha} {1- \ alpha}} \ log \ left (\ | P \ | _ {\ alpha} \ right)}

Здесь дискретное распределение вероятностей интерпретируется как вектор с и. ${\ displaystyle P = (p_ {1}, \ dots, p_ {n})}$ $P = (p_ {1}, \ точки, p_ {n})$ ${\ Displaystyle \ mathbb {R} ^ {п}}$ $\ mathbb {R} ^ {n}$ ${\ displaystyle p_ {i} \ geq 0}$ $p_ {i} \ geq 0$ ${\ Displaystyle \ сумма _ {я = 1} ^ {п} р_ {я} = 1}$ $\ sum _ {i = 1} ^ {n} p_ {i} = 1$

Энтропия Реньи для любого - вогнутая по Шуру. ${\ displaystyle \ alpha \ geq 0}$ $\ альфа \ geq 0$

Особые случаи

Энтропия Реньи случайной величины с двумя возможными исходами относительно p 1, где P = ( p 1, 1 - p 1). Показаны H 0, H 1, H 2 и H ∞ в единицах измерения шеннонов.

По мере того, как α приближается к нулю, энтропия Реньи все больше взвешивает все события с ненулевой вероятностью, независимо от их вероятностей. В пределе для альфа → 0, энтропия Рения просто логарифм величины поддержки X. Предел при α → 1 - энтропия Шеннона. По мере приближения α к бесконечности энтропия Реньи все больше определяется событиями с наибольшей вероятностью.

Хартли или макс-энтропия

При условии, что вероятности не равны нулю, это логарифм мощности алфавита () из, иногда называют Хартли энтропии из, ${\ displaystyle \ mathrm {H} _ {0}}$ ${\ displaystyle \ mathrm {H} _ {0}}$ ${\ displaystyle {\ mathcal {A}}}$ ${\ mathcal {A}}$ ${\ displaystyle X}$ $Икс$ ${\ displaystyle X}$ $Икс$

{\ Displaystyle \ mathrm {H} _ {0} (X) = \ log n = \ log | {\ mathcal {A}} | \,}

{\ Displaystyle \ mathrm {H} _ {0} (X) = \ log n = \ log | {\ mathcal {A}} | \,}

Энтропия Шеннона

Предельное значение, как amp; alpha ; → 1 является энтропия Шеннона : ${\ displaystyle \ mathrm {H} _ {\ alpha}}$ ${\ displaystyle \ mathrm {H} _ {\ alpha}}$

{\ Displaystyle \ mathrm {H} _ {1} (X) \ Equiv \ lim _ {\ alpha \ to 1} \ mathrm {H} _ {\ alpha} (X) = - \ sum _ {i = 1} ^ {n} p_ {i} \ log p_ {i}}

{\ Displaystyle \ mathrm {H} _ {1} (X) \ Equiv \ lim _ {\ alpha \ to 1} \ mathrm {H} _ {\ alpha} (X) = - \ sum _ {i = 1} ^ {n} p_ {i} \ log p_ {i}}

Энтропия столкновений

Энтропия столкновений, которую иногда называют просто энтропией Реньи, относится к случаю α = 2,

{\ displaystyle \ mathrm {H} _ {2} (X) = - \ log \ sum _ {i = 1} ^ {n} p_ {i} ^ {2} = - \ log P (X = Y), }

{\ displaystyle \ mathrm {H} _ {2} (X) = - \ log \ sum _ {i = 1} ^ {n} p_ {i} ^ {2} = - \ log P (X = Y), }

где X и Y являются независимыми и одинаково распределенными. Энтропия столкновений связана с индексом совпадения.

Мин-энтропия

Основная статья: Мин-энтропия

В пределе as энтропия Реньи сходится к мин-энтропии: ${\ displaystyle \ alpha \ rightarrow \ infty}$ $\ alpha \ rightarrow \ infty$ ${\ displaystyle \ mathrm {H} _ {\ alpha}}$ ${\ displaystyle \ mathrm {H} _ {\ alpha}}$ ${\ Displaystyle \ mathrm {H} _ {\ infty}}$ ${\ Displaystyle \ mathrm {H} _ {\ infty}}$

{\ displaystyle \ mathrm {H} _ {\ infty} (X) \ doteq \ min _ {i} (- \ log p_ {i}) = - (\ max _ {i} \ log p_ {i}) = - \ log \ max _ {i} p_ {i} \,.}

{\ displaystyle \ mathrm {H} _ {\ infty} (X) \ doteq \ min _ {i} (- \ log p_ {i}) = - (\ max _ {i} \ log p_ {i}) = - \ log \ max _ {i} p_ {i} \,.}

Эквивалентно минимальная энтропия - это наибольшее действительное число b, такое, что все события происходят с максимальной вероятностью. ${\ Displaystyle \ mathrm {H} _ {\ infty} (X)}$ ${\ Displaystyle \ mathrm {H} _ {\ infty} (X)}$ ${\ displaystyle 2 ^ {- b}}$ $2 ^ {- b}$

Название мин-энтропия происходит от того факта, что это наименьшая мера энтропии в семействе энтропий Реньи. В этом смысле это самый надежный способ измерения информационного содержания дискретной случайной величины. В частности, минимальная энтропия никогда не превышает энтропию Шеннона.

Мин-энтропия имеет важные приложения для экстракторов случайности в теоретической информатике : экстракторы могут извлекать случайность из случайных источников, которые имеют большую минимальную энтропию; просто наличия большой энтропии Шеннона для этой задачи недостаточно.

Неравенства между разными значениями α

Это не увеличивается для любого заданного распределения вероятностей, что может быть доказано дифференцированием, как ${\ displaystyle \ mathrm {H} _ {\ alpha}}$ ${\ displaystyle \ mathrm {H} _ {\ alpha}}$ ${\ displaystyle \ alpha}$ $\альфа$ ${\ displaystyle p_ {i}}$ $Пи}$

{\ displaystyle - {\ frac {d \ mathrm {H} _ {\ alpha}} {d \ alpha}} = {\ frac {1} {(1- \ alpha) ^ {2}}} \ sum _ { я = 1} ^ {n} z_ {i} \ log (z_ {i} / p_ {i}),}

{\ displaystyle - {\ frac {d \ mathrm {H} _ {\ alpha}} {d \ alpha}} = {\ frac {1} {(1- \ alpha) ^ {2}}} \ sum _ { я = 1} ^ {n} z_ {i} \ log (z_ {i} / p_ {i}),}

который пропорционален расхождению Кульбака – Лейблера (которое всегда неотрицательно), где. ${\ displaystyle z_ {i} = p_ {i} ^ {\ alpha} / \ sum _ {j = 1} ^ {n} p_ {j} ^ {\ alpha}}$ $z_ {i} = p_ {i} ^ {\ alpha} / \ sum _ {j = 1} ^ {n} p_ {j} ^ {\ alpha}$

В частных случаях неравенства можно доказать также неравенством Йенсена :

{\ displaystyle \ log n = \ mathrm {H} _ {0} \ geq \ mathrm {H} _ {1} \ geq \ mathrm {H} _ {2} \ geq \ mathrm {H} _ {\ infty}.}

{\ displaystyle \ log n = \ mathrm {H} _ {0} \ geq \ mathrm {H} _ {1} \ geq \ mathrm {H} _ {2} \ geq \ mathrm {H} _ {\ infty}.}

Для значений также имеют место неравенства в обратном направлении. В частности, у нас есть ${\ displaystyle \ alphagt; 1}$ $\ альфаgt; 1$

{\ displaystyle \ mathrm {H} _ {2} \ leq 2 \ mathrm {H} _ {\ infty}.}

{\ displaystyle \ mathrm {H} _ {2} \ leq 2 \ mathrm {H} _ {\ infty}.}

С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины, имеющей заданную минимальную энтропию. ${\ displaystyle \ mathrm {H} _ {1}}$ ${\ displaystyle \ mathrm {H} _ {1}}$ ${\ displaystyle X}$ $Икс$

Расхождение Реньи

Помимо абсолютных энтропий Реньи, Реньи также определил спектр мер дивергенции, обобщающих дивергенцию Кульбака – Лейблера.

Рение расхождение порядка альфа или альфа-дивергенция распределительной Р от распределения Q определяются как

{\ displaystyle D _ {\ alpha} (P \ | Q) = {\ frac {1} {\ alpha -1}} \ log {\ Bigg (} \ sum _ {i = 1} ^ {n} {\ frac {p_ {i} ^ {\ alpha}} {q_ {i} ^ {\ alpha -1}}} {\ Bigg)} \,}

D _ {\ alpha} (P \ | Q) = {\ frac {1} {\ alpha -1}} \ log {\ Bigg (} \ sum _ {i = 1} ^ {n} {\ frac {p_ { i} ^ {\ alpha}} {q_ {i} ^ {\ alpha -1}}} {\ Bigg)} \,

когда 0 lt; α lt;∞ и α ≠ 1. Мы можем определить расходимость Реньи для специальных значений α = 0, 1, ∞, взяв предел, и, в частности, предел α → 1 дает расходимость Кульбака – Лейблера.

Некоторые особые случаи:

{\ displaystyle D_ {0} (P \ | Q) = - \ log Q (\ {i: p_ {i}gt; 0 \})}

D_ {0} (P \ | Q) = - \ log Q (\ {i: p_ {i}gt; 0 \})

: минус логарифмическая вероятность при Q того, что p i gt; 0 ;

{\ displaystyle D_ {1/2} (P \ | Q) = - 2 \ log \ sum _ {i = 1} ^ {n} {\ sqrt {p_ {i} q_ {i}}}}

D_ {1/2} (P \ | Q) = - 2 \ log \ sum _ {i = 1} ^ {n} {\ sqrt {p_ {i} q_ {i}}}

: минус удвоенный логарифм коэффициента Бхаттачарьи ; ( Нильсен и Больц (2010))

{\ displaystyle D_ {1} (P \ | Q) = \ sum _ {i = 1} ^ {n} p_ {i} \ log {\ frac {p_ {i}} {q_ {i}}}}

D_ {1} (P \ | Q) = \ sum _ {i = 1} ^ {n} p_ {i} \ log {\ frac {p_ {i}} {q_ {i}}}

: расхождение Кульбака – Лейблера ;

{\ Displaystyle D_ {2} (P \ | Q) = \ log {\ Big \ langle} {\ frac {p_ {i}} {q_ {i}}} {\ Big \ rangle}}

D_ {2} (P \ | Q) = \ log {\ Big \ langle} {\ frac {p_ {i}} {q_ {i}}} {\ Big \ rangle}

: журнал ожидаемого отношения вероятностей;

{\ displaystyle D _ {\ infty} (P \ | Q) = \ log \ sup _ {i} {\ frac {p_ {i}} {q_ {i}}}}

D _ {\ infty} (P \ | Q) = \ log \ sup _ {i} {\ frac {p_ {i}} {q_ {i}}}

: логарифм максимального отношения вероятностей.

Расхождение Реньи действительно расхождение, а это означает, что просто больше или равна нулю, а нуль только тогда, когда Р = Q. Для любых фиксированных распределений P и Q дивергенция Реньи не убывает как функция своего порядка α и непрерывна на множестве α, для которых она конечна. ${\ Displaystyle D _ {\ alpha} (P \ | Q)}$ $D _ {\ alpha} (P \ | Q)$

Финансовая интерпретация

Пару вероятностных распределений можно рассматривать как азартную игру, в которой одно из распределений определяет официальные шансы, а другое содержит фактические вероятности. Знание реальных вероятностей позволяет игроку получать прибыль от игры. Ожидаемая норма прибыли связана с дивергенцией Реньи следующим образом.

{\ displaystyle {\ rm {ExpectedRate}} = {\ frac {1} {R}} \, D_ {1} (b \ | m) + {\ frac {R-1} {R}} \, D_ { 1 / R} (b \ | m) \,,}

{\ displaystyle {\ rm {ExpectedRate}} = {\ frac {1} {R}} \, D_ {1} (b \ | m) + {\ frac {R-1} {R}} \, D_ { 1 / R} (b \ | m) \,,}

где - распределение, определяющее официальные шансы (т. е. «рынок») для игры, - это распределение, рассчитываемое инвесторами, и - это отношение инвестора к избеганию риска (относительное неприятие риска Эрроу-Пратта). ${\ displaystyle m}$ $м$ ${\ displaystyle b}$ $б$ ${\ displaystyle R}$ $р$

Если истинное распределение (не обязательно совпадает с мнением инвестора), долгосрочная ставка реализации сходится к истинному ожиданию, которое имеет аналогичную математическую структуру. ${\ displaystyle p}$ $п$ ${\ displaystyle b}$ $б$

{\ displaystyle {\ rm {RealizedRate}} = {\ frac {1} {R}} \, {\ Big (} D_ {1} (p \ | m) -D_ {1} (p \ | b) { \ Big)} + {\ frac {R-1} {R}} \, D_ {1 / R} (b \ | m) \,.}

{\ displaystyle {\ rm {RealizedRate}} = {\ frac {1} {R}} \, {\ Big (} D_ {1} (p \ | m) -D_ {1} (p \ | b) { \ Big)} + {\ frac {R-1} {R}} \, D_ {1 / R} (b \ | m) \,.}

Почему α = 1 особенный

Значение α = 1, что дает энтропию Шеннона и расхождение Кульбак-Либлер, является особенным, потому что это только при α = 1, что цепное правило условной вероятности имеет место именно:

{\ Displaystyle \ mathrm {H} (A, X) = \ mathrm {H} (A) + \ mathbb {E} _ {a \ sim A} {\ big [} \ mathrm {H} (X | A = большой ]}}

{\ Displaystyle \ mathrm {H} (A, X) = \ mathrm {H} (A) + \ mathbb {E} _ {a \ sim A} {\ big [} \ mathrm {H} (X | A = большой ]}}

для абсолютных энтропий и

{\ Displaystyle D _ {\ mathrm {KL}} (p (x | a) p (a) \ | m (x, a)) = D _ {\ mathrm {KL}} (p (a) \ | m (a))) + \ mathbb {E} _ {p (a)} \ {D _ {\ mathrm {KL}} (p (x | a) \ | m (x | a)) \},}

{\ Displaystyle D _ {\ mathrm {KL}} (p (x | a) p (a) \ | m (x, a)) = D _ {\ mathrm {KL}} (p (a) \ | m (a))) + \ mathbb {E} _ {p (a)} \ {D _ {\ mathrm {KL}} (p (x | a) \ | m (x | a)) \},}

для относительных энтропий.

Последнее, в частности, означает, что если мы ищем распределение p ( x, a), которое минимизирует отклонение от некоторой основной предшествующей меры m ( x, a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p ( x | a) остается m ( x | a) без изменений.

Остальные расхождения Реньи удовлетворяют критериям положительности и непрерывности; быть инвариантным относительно преобразований координат один к одному; и аддитивного комбинирования, когда A и X независимы, так что если p ( A, X) = p ( A) p ( X), то

{\ Displaystyle \ mathrm {H} _ {\ alpha} (A, X) = \ mathrm {H} _ {\ alpha} (A) + \ mathrm {H} _ {\ alpha} (X) \;}

{\ Displaystyle \ mathrm {H} _ {\ alpha} (A, X) = \ mathrm {H} _ {\ alpha} (A) + \ mathrm {H} _ {\ alpha} (X) \;}

а также

{\ Displaystyle D _ {\ альфа} (P (A) P (X) \ | Q (A) Q (X)) = D _ {\ alpha} (P (A) \ | Q (A)) + D _ {\ альфа} (P (X) \ | Q (X)).}

D _ {\ alpha} (P (A) P (X) \ | Q (A) Q (X)) = D _ {\ alpha} (P (A) \ | Q (A)) + D _ {\ alpha} ( P (X) \ | Q (X)).

Более сильные свойства величин α = 1, которые позволяют определять условную информацию и взаимную информацию из теории коммуникации, могут быть очень важны в других приложениях или совсем не важны, в зависимости от требований этих приложений.

Экспоненциальные семьи

Энтропии и расходимости Реньи для экспоненциального семейства допускают простые выражения

{\ displaystyle \ mathrm {H} _ {\ alpha} (p_ {F} (x; \ theta)) = {\ frac {1} {1- \ alpha}} \ left (F (\ alpha \ theta) - \ alpha F (\ theta) + \ log E_ {p} [e ^ {(\ alpha -1) k (x)}] \ right)}

{\ displaystyle \ mathrm {H} _ {\ alpha} (p_ {F} (x; \ theta)) = {\ frac {1} {1- \ alpha}} \ left (F (\ alpha \ theta) - \ alpha F (\ theta) + \ log E_ {p} [e ^ {(\ alpha -1) k (x)}] \ right)}

а также

{\ displaystyle D _ {\ alpha} (p: q) = {\ frac {J_ {F, \ alpha} (\ theta: \ theta ')} {1- \ alpha}}}

D _ {\ alpha} (p: q) = {\ frac {J_ {F, \ alpha} (\ theta: \ theta ')} {1- \ alpha}}

куда

{\ Displaystyle J_ {F, \ альфа} (\ тета: \ тета ') = \ альфа F (\ тета) + (1- \ альфа) F (\ тета') -F (\ альфа \ тета + (1- \ альфа) \ тета ')}

J_ {F, \ alpha} (\ theta: \ theta ') = \ alpha F (\ theta) + (1- \ alpha) F (\ theta') -F (\ alpha \ theta + (1- \ alpha) \ theta ')

- это разностное расхождение Дженсена.

Физический смысл

Энтропия Реньи в квантовой физике не считается наблюдаемой из-за ее нелинейной зависимости от матрицы плотности. (Эта нелинейная зависимость применима даже в частном случае энтропии Шеннона.) Тем не менее, ей можно придать рабочий смысл посредством двукратных измерений (также известных как статистика полного счета) передачи энергии.

Предел энтропии Реньи как это фон Неймана энтропии. ${\ displaystyle \ alpha \ to 1}$ $\ альфа \ в 1$

Смотрите также

Примечания

использованная литература

Бек, Кристиан; Шлёгль, Фридрих (1993). Термодинамика хаотических систем: введение. Издательство Кембриджского университета. ISBN 0521433673.
Jizba, P.; Аримицу, Т. (2004). «Мир по Реньи: термодинамика мультифрактальных систем». Летопись физики. 312 (1): 17–59. arXiv : cond-mat / 0207707. Bibcode : 2004AnPhy.312... 17J. DOI : 10.1016 / j.aop.2004.01.002. S2CID 119704502.
Jizba, P.; Аримицу, Т. (2004). «О наблюдаемости энтропии Реньи». Physical Review E. 69 (2): 026128. arXiv : cond-mat / 0307698. Bibcode : 2004PhRvE..69b6128J. DOI : 10.1103 / PhysRevE.69.026128. PMID 14995541. S2CID 39231939.
Бромили, Пенсильвания; Thacker, NA; Бухова-Такер, Э. (2004), Энтропия Шеннона, энтропия Реньи и информация, CiteSeerX 10.1.1.330.9856
Franchini, F.; Its, AR; Корепин, В.Е. (2008). «Энтропия Реньи как мера запутанности в квантовой спиновой цепочке». Журнал физики A: математический и теоретический. 41 (25302): 025302. arXiv : 0707.2534. Bibcode : 2008JPhA... 41b5302F. DOI : 10.1088 / 1751-8113 / 41/2/025302. S2CID 119672750.
«Тест Реньи», Математическая энциклопедия, EMS Press, 2001 [1994]
Герой, АО; Майкл, О.; Горман, Дж. (2002). «Альфа-расхождения для классификации, индексации и поиска» (PDF). CiteSeerX 10.1.1.373.2763. Цитировать журнал требует |journal=( помощь )
Its, AR; Корепин, В.Е. (2010). «Обобщенная энтропия спиновой цепочки Гейзенберга». Теоретическая и математическая физика. 164 (3): 1136–1139. Bibcode : 2010TMP... 164.1136I. DOI : 10.1007 / s11232-010-0091-6. S2CID 119525704.
Nielsen, F.; Больц, С. (2010). «Центроиды Бурбеа-Рао и Бхаттачарья». IEEE Transactions по теории информации. 57 (8): 5455–5466. arXiv : 1004.5049. DOI : 10.1109 / TIT.2011.2159046. S2CID 14238708.
Нильсен, Франк; Нок, Ричард (2012). "Выражение в замкнутой форме для энтропии Шармы – Миттала экспоненциальных семейств". Журнал Physics A. 45 (3): 032003. arXiv : 1112.4221. Bibcode : 2012JPhA... 45c2003N. DOI : 10.1088 / 1751-8113 / 45/3/032003. S2CID 8653096.
Нильсен, Франк; Нок, Ричард (2011). «Об энтропиях и расхождениях Реньи и Цаллиса для экспоненциальных семейств». Журнал Physics A. 45 (3): 032003. arXiv : 1105.3259. Bibcode : 2012JPhA... 45c2003N. DOI : 10.1088 / 1751-8113 / 45/3/032003. S2CID 8653096.
Реньи, Альфред (1961). «О мерах информации и энтропии» (PDF). Труды четвертого симпозиума Беркли по математике, статистике и вероятности 1960. С. 547–561.
Россо, О.А. (2006). «Анализ ЭЭГ с использованием информационных инструментов на основе вейвлетов». Журнал методов неврологии. 153 (2): 163–182. DOI : 10.1016 / j.jneumeth.2005.10.009. PMID 16675027. S2CID 7134638.
Захос, СК (2007). «Классическая оценка квантовой энтропии». Журнал Physics A. 40 (21): F407 – F412. arXiv : hep-th / 0609148. Bibcode : 2007JPhA... 40..407Z. DOI : 10,1088 / 1751-8113 / 40/21 / F02. S2CID 1619604.
Назаров Ю. (2011). «Потоки энтропии Реньи». Physical Review B. 84 (10): 205437. arXiv : 1108.3537. Bibcode : 2015PhRvB..91j4303A. DOI : 10.1103 / PhysRevB.91.104303. S2CID 40312624.
Ансари, Мохаммад Х.; Назаров, Юлий В. (2015). «Энтропия Реньи течет из квантовых тепловых машин». Physical Review B. 91 (10): 104303. arXiv : 1408.3910. Bibcode : 2015PhRvB..91j4303A. DOI : 10.1103 / PhysRevB.91.104303. S2CID 40312624.
Ансари, Мохаммад Х.; Назаров, Юлий В. (2015). «Точное соответствие между потоками энтропии Реньи и физическими потоками». Physical Review B. 91 (17): 174307. arXiv : 1502.08020. Bibcode : 2015PhRvB..91q4307A. DOI : 10.1103 / PhysRevB.91.174307. S2CID 36847902.
Соклаков, А Н (2020). «Экономика разногласий - финансовая интуиция для расхождения Реньи». Энтропия. 22 (8): 860. arXiv : 1811.08308. DOI : 10.3390 / e22080860.
Ансари, Мохаммад Х.; ван Стинзель, Алвин; Назаров, Юлий В. (2019). «Производство энтропии в квантовой среде другое». Энтропия. 21 (9): 854. arXiv : 1907.09241. DOI : 10.3390 / e21090854. S2CID 198148019.