Теорема кодирования с шумным каналом

В теории информации теорема кодирования с шумом (иногда теорема Шеннона или предел Шеннона ), устанавливает, что для любой заданной степени шумового загрязнения канала связи, можно передавать дискретные данные (цифровую информацию ) почти без ошибок до вычисляемой максимальной скорости через канал. Этот результат был представлен Клодом Шенноном в 1948 году и частично основан на более ранних работах и ​​идеях Гарри Найквиста и Ральфа Хартли.

Предел Шеннона или Шенноновская пропускная способность канала связи означает максимальную скорость безошибочных данных, которые теоретически могут быть переданы по каналу, если канал подвержен случайным ошибкам передачи данных, для определенного уровня шума. Впервые он был описан Шенноном (1948) и вскоре после этого опубликован в книге Клода Элвуда Шеннона и Уоррена Уивера в 1949 под названием The Mathematical Theory of Communication. (ISBN 0252725484 ). Это положило начало современной дисциплине теории информации.

• 1 Обзор
• 2 Математическое утверждение
• 3 Схема доказательства
  • 3.1 Достижимость для дискретных каналов без памяти
  • 3.2 Слабое преобразование для дискретных каналы без памяти
  • 3.3 Строгое преобразование для дискретных каналов без памяти
• 4 Теорема кодирования каналов для нестационарных каналов без памяти
  • 4.1 Схема доказательства
• 5 См. также
• 6 Примечания
• 7 Ссылки
• 8 Внешние ссылки

Теорема, сформулированная Клодом Шенноном в 1948 году, описывает максимально возможную эффективность методов исправления ошибок по сравнению с уровнями шума вмешательство и повреждение данных. Теорема Шеннона находит широкое применение как в связи, так и в хранении данных. Эта теорема имеет фундаментальное значение для современной области теории информации. Шеннон только набросал доказательство. Первое строгое доказательство для дискретного случая было проведено в 1954 году.

Теорема Шеннона утверждает, что при наличии зашумленного канала с пропускной способностью канала C и информацией, передаваемой со скоростью R, то, если существуют коды , которые позволяют сделать вероятность ошибки на приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок со скоростью ниже предельной, C.

Обратное также важно. Если $R>C\; \{\backslash \; displaystyle\; R>C\}$, произвольно малая вероятность ошибки недостижима. Все коды будут иметь вероятность ошибки выше определенного положительного минимального уровня, и этот уровень увеличивается с увеличением скорости. Итак, не может быть гарантирована надежная передача информации по каналу со скоростью, превышающей пропускную способность канала. Теорема не рассматривает редкую ситуацию, когда скорость и пропускная способность равны.

Емкость канала $C\; \{\backslash \; displaystyle\; C\}$можно вычислить на основе физических свойств канала; для канала с ограниченной полосой пропускания с гауссовым шумом, используя теорему Шеннона – Хартли.

Простые схемы, такие как «отправить сообщение 3 раз и использовать лучшую схему голосования 2 из 3, если копии различаются, являются неэффективными методами исправления ошибок, неспособными асимптотически гарантировать t что блок данных может быть передан без ошибок. Передовые методы, такие как коды Рида – Соломона и, в последнее время, коды с низкой плотностью проверки четности (LDPC) и турбокоды, намного ближе к достижению теоретический предел Шеннона, но за счет высокой вычислительной сложности. Используя эти высокоэффективные коды и вычислительную мощность современных цифровых сигнальных процессоров, теперь можно очень близко приблизиться к пределу Шеннона. Фактически, было показано, что коды LDPC могут достигать предела Шеннона в пределах 0,0045 дБ (для двоичных каналов Аддитивный белый гауссовский шум (AWGN) с очень большой длиной блока).

Основная математическая модель для системы связи следующая:

.

. A сообщение W передается по зашумленному каналу с использованием функций кодирования и декодирования. Кодер отображает W в заранее определенную последовательность канальных символов длиной n. В своей базовой модели канал искажает каждый из этих символов независимо от других. Выходной сигнал канала - полученная последовательность - подается в декодер, который преобразует последовательность в оценку сообщения. В этой настройке вероятность ошибки определяется как:

$P\; e\; =\; Pr\; \{W\; ^\; \ne \; W\}.\; \{\backslash \; displaystyle\; P\_\; \{e\}\; =\; \{\backslash \; text\; \{Pr\}\}\; \backslash \; left\; \backslash \; \{\{\backslash \; hat\; \{W\}\}\; \backslash \; neq\; W\; \backslash \; right\; \backslash \}.\}$

. Теорема (Шеннон, 1948):

1. Для каждого дискретного канала без памяти емкость канала определяется в терминах взаимной информации $I\; (X;\; Y)\; \{\backslash \; displaystyle\; I\; (X;\; Y)\}$,

$C\; =\; sup\; p\; XI\; (X;\; Y)\; \{\backslash \; displaystyle\; \backslash \; C\; =\; \backslash \; sup\; \_\; \{p\_\; \{X\}\}\; I\; (X;\; Y)\}$

обладает следующим свойством. Для любого $ϵ>0\; \{\backslash \; displaystyle\; \backslash \; epsilon>0\}$и , для достаточно большого $N\; \{\backslash \; displaystyle\; N\}$существует код длины $N\; \{\backslash \; displaystyle\; N\}$и скорость $\ge \; R\; \{\backslash \; displaystyle\; \backslash \; geq\; R\}$и алгоритм декодирования, такой, что максимальная вероятность ошибки блока составляет $\le \; ϵ\; \{\backslash \; displaystyle\; \backslash \; leq\; \backslash \; epsilon\}$.

2. Если вероятность битовой ошибки $pb\; \{\backslash \; displaystyle\; p\_\; \{b\}\}$является приемлемой, значения могут достигать $R\; (pb)\; \{\backslash \; displaystyle\; R\; (p\_\; \{b\})\}$достижимы, где

$R\; (pb)\; =\; C\; 1\; -\; H\; 2\; (pb).\; \{\backslash \; displaystyle\; R\; (p\_\; \{b\})\; =\; \{\backslash \; frac\; \{C\}\; \{1-H\_\; \{2\}\; (p\_\; \{b\})\}\}.\}$

и $H\; 2\; (pb)\; \{\backslash \; displaystyle\; H\_\; \{2\}\; (p\_\; \{b\})\}$- это функция бинарной энтропии

$H\; 2\; (pb)\; =\; -\; [pb\; log\; 2\; \; pb\; +\; (1\; -\; pb)\; log\; 2\; \; (1\; -\; pb)]\; \{\backslash \; displaystyle\; H\_\; \{2\}\; (p\_\; \{b\})\; =\; -\; \backslash \; left\; [p\_\; \{b\}\; \backslash \; log\; \_\; \{2\}\; \{p\_\; \{b\}\}\; +\; (1-p\_\; \{\; b\})\; \backslash \; log\; \_\; \{2\}\; (\{1-p\_\; \{b\}\})\; \backslash \; right]\}$

3. Для любого $pb\; \{\backslash \; displaystyle\; p\_\; \{b\}\}$значения больше $R\; (pb)\; \{\backslash \; displaystyle\; R\; (p\_\; \{b\})\}$не являются

(MacKay (2003), стр. 162; см. Gallager (1968), глава 5; Cover and Thomas (1991), стр. 198; Shannon (1948) thm. 11)

Как и в случае с некоторыми другими важными результатами в теории информации, доказательство теоремы о кодировании зашумленного канала включает результат достижимости и соответствующий обратный результат. Эти два компонента служат для ограничения, в данном случае, набора возможных скоростей, с которыми можно общаться по зашумленному каналу, а сопоставление служит для демонстрации того, что эти границы являются жесткими.

Следующие наброски представляют собой лишь один набор множества различных стилей, доступных для изучения в текстах по теории информации.

Достижимость для дискретных каналов без памяти

Это конкретное доказательство достижимости следует стилю доказательств, которые используют свойство асимптотического равнораспределения (AEP). Другой стиль можно найти в текстах теории информации с использованием показателей степени ошибок.

Оба типа доказательств используют аргумент случайного кодирования, когда кодовая книга, используемая по каналу, строится случайным образом - это служит для упрощения анализа, но при этом доказывает наличие кода, удовлетворяющего желаемой низкой вероятности ошибки при любой скорости передачи данных ниже пропускной способности канала.

По аргументу, связанному с AEP, для данного канала длиной $n\; \{\backslash \; displaystyle\; n\}$строки исходных символов $X\; 1\; n\; \{\backslash \; displaystyle\; X\_\; \{1\}\; ^\; \{n\}\}$и длины $n\; \{\backslash \; displaystyle\; n\}$строк выходов каналов $Y\; 1\; n\; \{\backslash \; displaystyle\; Y\_\; \{1\}\; ^\; \{n\}\}$, мы можем определить совместно типичный набор следующим образом:

$A\; \epsilon \; (n)\; =\; \{(\; xn,\; yn)\; \in \; Икс\; N\; \times \; Y\; n\; \{\backslash \; Displaystyle\; A\; \_\; \{\backslash \; varepsilon\}\; ^\; \{(n)\}\; =\; \backslash \; \{(x\; ^\; \{n\},\; y\; ^\; \{n\})\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\; ^\; \{n\}\; \backslash \; times\; \{\backslash \; mathcal\; \{Y\}\}\; ^\; \{n\}\}$

$2\; -\; n\; (H\; (X)\; +\; \epsilon )\; \le \; p\; (X\; 1\; n)\; \le \; 2\; -\; n\; (H\; (X)\; -\; \epsilon )\; \{\backslash \; Displaystyle\; 2\; ^\; \{-\; п\; (ЧАС\; (Х)\; +\; \backslash \; varepsilon)\}\; \backslash \; leq\; p\; (X\_\; \{1\}\; ^\; \{n\})\; \backslash \; leq\; 2\; ^\; \{-\; n\; (H\; (X)\; -\; \backslash \; varepsilon)\}\}$

$2\; -\; n\; (H\; (Y)\; +\; \epsilon )\; \le \; p\; (Y\; 1\; n)\; \le \; 2\; -\; n\; (H\; (Y)\; -\; \epsilon )\; \{\backslash \; Displaystyle\; 2\; ^\; \{-\; п\; (ЧАС\; (Y)\; +\; \backslash \; varepsilon)\}\; \backslash \; leq\; p\; (Y\_\; \{1\}\; ^\; \{n\})\; \backslash \; leq\; 2\; ^\; \{-\; n\; (H\; (Y)\; -\; \backslash \; varepsilon)\}\}$

$2\; -\; N\; (ЧАС\; (X,\; Y)\; +\; \epsilon )\; \le \; п\; (X\; 1\; n,\; Y\; 1\; n)\; \le \; 2\; -\; n\; (H\; (X,\; Y)\; -\; \epsilon )\}\; \{\backslash \; Displaystyle\; \{2\; ^\; \{-\; n\; (H\; (X,\; Y)\; +\; \backslash \; varepsilon)\}\}\; \backslash \; leq\; p\; (X\_\; \{1\}\; ^\; \{n\},\; Y\_\; \{1\}\; ^\; \{n\})\; \backslash \; leq\; 2\; ^\; \{-\; n\; (H\; (X,\; Y)\; -\; \backslash \; varepsilon)\}\; \backslash \}\}$

Мы говорим, что две последовательности $X\; 1\; n\; \{\backslash \; displaystyle\; \{X\_\; \{1\}\; ^\; \{n\}\}\}$и $Y\; 1\; n\; \{\; \backslash \; displaystyle\; Y\_\; \{1\}\; ^\; \{n\}\}$являются совместно типичными, если они лежат в совместно типичном наборе, определенном выше.

Шаги

1. В стиле аргумента случайного кодирования мы случайным образом генерируем $2\; n\; R\; \{\backslash \; displaystyle\; 2\; ^\; \{nR\}\}$кодовых слов длины n из распределения вероятностей Q.
2. Этот код раскрывается отправителю и получателю. Также предполагается, что известна матрица перехода $p\; (y\; |\; x)\; \{\backslash \; displaystyle\; p\; (y\; |\; x)\}$для используемого канала.
3. Сообщение W выбирается согласно равномерному распределению на множестве кодовых слов. То есть $P\; r\; (W\; =\; w)\; =\; 2\; -\; n\; R,\; w\; =\; 1,\; 2,\dots ,\; 2\; n\; R\; \{\backslash \; displaystyle\; Pr\; (W\; =\; w)\; =\; 2\; ^\; \{-\; nR\},\; w\; =\; 1,\; 2,\; \backslash \; dots,\; 2\; ^\; \{nR\}\}$.
4. По каналу отправляется сообщение W.
5. Получатель принимает последовательность согласно $P\; (yn\; |\; xn\; (w))\; =\; \prod \; я\; знак\; равно\; 1\; np\; (yi\; |\; xi\; (w))\; \{\backslash \; displaystyle\; P\; (y\; ^\; \{n\}\; |\; x\; ^\; \{n\}\; (w))\; =\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\; (y\_\; \{\; i\}\; |\; x\_\; \{i\}\; (w))\}$
6. Отправляя эти кодовые слова по каналу, мы получаем $Y\; 1\; n\; \{\backslash \; displaystyle\; Y\_\; \{1\}\; ^\; \{n\}\}$, и декодировать в некоторую исходную последовательность, если существует ровно 1 кодовое слово, которое совместно типично с Y. Если нет совместно типичных кодовых слов или если их более одного, объявляется ошибка. Ошибка также возникает, если декодированное кодовое слово не соответствует исходному кодовому слову. Это называется типичным декодированием набора.

Вероятность ошибки этой схемы делится на две части:

1. Во-первых, ошибка может возникнуть, если для принятой последовательности Y не обнаружены совместно типичные X-последовательности
2. Во-вторых, ошибка может возникнуть, если неверная последовательность X является типичной вместе с принятой последовательностью Y.

• Исходя из случайности конструкции кода, мы можем предположить, что средняя вероятность ошибки, усредненная по всем кодам, не зависит от отправленного индекса.. Таким образом, без ограничения общности, мы можем принять W = 1.
• Из совместного AEP мы знаем, что вероятность того, что не существует совместно типичного X, стремится к 0 при увеличении n. Мы можем ограничить эту вероятность ошибки с помощью $\epsilon \; \{\backslash \; displaystyle\; \backslash \; varepsilon\}$.
• Также из совместного AEP мы знаем вероятность того, что конкретный $X\; 1\; n\; (i)\; \{\backslash \; displaystyle\; X\_\; \{1\}\; ^\; \{n\}\; (i)\}$и $Y\; 1\; n\; \{\backslash \; displaystyle\; Y\_\; \{1\}\; ^\; \{n\}\}$, полученный из W = 1, вместе являются типичными: $\le \; 2\; -\; n\; (I\; (X;\; Y)\; -\; 3\; \epsilon )\; \{\backslash \; displaystyle\; \backslash \; leq\; 2\; ^\; \{-\; n\; (I\; (X;\; Y)\; -3\; \backslash \; varepsilon)\}\}$.

Определить: $E\; i\; Знак\; равно\; \{(Икс\; 1\; n\; (я),\; Y\; 1\; n)\; \in \; A\; \epsilon \; (n)\},\; я\; =\; 1,\; 2,\dots ,\; 2\; n\; R\; \{\backslash \; displaystyle\; E\_\; \{i\}\; =\; \backslash \; \{(X\_\; \{1\}\; ^\; \{\; n\}\; (i),\; Y\_\; \{1\}\; ^\; \{n\})\; \backslash \; in\; A\; \_\; \{\backslash \; varepsilon\}\; ^\; \{(n)\}\; \backslash \},\; i\; =\; 1,2,\; \backslash \; dots,\; 2\; ^\; \{nR\}\}$

как событие, при котором сообщение i является типичным вместе с последовательностью, полученной при отправке сообщения 1.

$P\; (ошибка)\; =\; P\; (ошибка\; |\; W\; =\; 1)\; \le \; P\; (E\; 1\; c)\; +\; \sum \; i\; =\; 2\; 2\; n\; RP\; (E\; i)\; \le \; P\; (E\; 1\; c)\; +\; (2\; n\; R\; -\; 1)\; 2\; -\; n\; (I\; (X;\; Y)\; -\; 3\; \epsilon )\; \le \; \epsilon \; +\; 2\; -\; n\; (I\; (X;\; Y)\; -\; R\; -\; 3\; \epsilon ).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; P\; (\{\backslash \; text\; \{error\}\})\; \{\}\; =\; P\; (\{\backslash \; text\; \{error\}\}\; |\; W\; =\; 1)\; \backslash \; leq\; P\; (E\_\; \{1\}\; ^\; \{c\})\; +\; \backslash \; sum\; \_\; \{i\; =\; 2\}\; ^\; \{2\; ^\; \{nR\}\}\; P\; (E\_\; \{i\})\; \backslash \backslash \; \{\}\; \backslash \; leq\; P\; (E\_\; \{1\}\; ^\; \{c\})\; +\; (2\; ^\; \{nR\}\; -\; 1)\; 2\; ^\; \{-\; n\; (I\; (X;\; Y)\; -3\; \backslash \; varepsilon)\}\; \backslash \backslash \; \{\}\; \backslash \; leq\; \backslash \; varepsilon\; +2\; ^\; \{-\; n\; (I\; (X;\; Y)\; -R-3\; \backslash \; varepsilon)\}.\; \backslash \; end\; \{align\}\}\}$

Мы можем заметить, что когда $n\; \{\backslash \; displaystyle\; n\}$стремится к бесконечности, если для канала, вероятность ошибки будет 0.

Наконец, учитывая, что средняя кодовая книга показана как «хорошая», мы знаем, что существует кодовая книга, производительность которой лучше, чем в среднем, и, таким образом, удовлетворяет нашу потребность в сколь угодно низкой вероятности ошибки, передаваемой через шумный канал.

Слабое преобразование для дискретных каналов без памяти

Предположим, что код $2\; n\; R\; \{\backslash \; displaystyle\; 2\; ^\; \{nR\}\}$кодовых слов. Пусть W равномерно проведен по этому множеству как индекс. Пусть $X\; n\; \{\backslash \; displaystyle\; X\; ^\; \{n\}\}$и $Y\; n\; \{\backslash \; displaystyle\; Y\; ^\; \{n\}\}$будут переданными кодовыми словами и принятыми кодовыми словами, соответственно.

1. $N\; R\; =\; H\; (W)\; =\; H\; (W\; |\; Y\; n)\; +\; I\; (W;\; Y\; n)\; \{\backslash \; displaystyle\; nR\; =\; H\; (W)\; =\; H\; (W\; |\; Y\; ^\; \{n\})\; +\; I\; (W\; ;\; Y\; ^\; \{n\})\}$с использованием тождеств, включающих энтропию и взаимную информацию
2. $\le \; H\; (W\; |\; Y\; n)\; +\; I\; (X\; n\; (W);\; Y\; n)\; \{\backslash \; displaystyle\; \backslash \; leq\; H\; (W\; |\; Y\; ^\; \{n\})\; +\; I\; (X\; ^\; \{n\}\; (W);\; Y\; ^\; \{n\})\}$, поскольку X является функцией W
3. $\le \; 1\; +\; П\; е\; (п)\; N\; р\; +\; я\; (Икс\; N\; (W);\; Y\; N)\; \{\backslash \; Displaystyle\; \backslash \; leq\; 1\; +\; P\_\; \{e\}\; ^\; \{(n)\}\; nR\; +\; I\; (X\; ^\; \{n\}\; (W);\; Y\; ^\; \{n\})\}$с использованием неравенства Фано
4. $\le \; 1\; +\; P\; e\; (n)\; n\; R\; +\; n\; C\; \{\backslash \; displaystyle\; \backslash \; leq\; 1\; +\; P\_\; \{e\}\; ^\; \{\; (n)\}\; nR\; +\; nC\}$тем фактом, что емкость - это максимальная взаимная информация.

Результатом этих шагов является то, что $P\; e\; (n)\; \ge \; 1\; -\; 1\; n\; R\; -\; CR\; \{\backslash \; displaystyle\; P\_\; \{e\}\; ^\; \{(n)\}\; \backslash \; geq\; 1\; -\; \{\backslash \; frac\; \{1\}\; \{nR\}\}\; -\; \{\backslash \; frac\; \{C\}\; \{R\}\}\}$. Поскольку длина блока $n\; \{\backslash \; displaystyle\; n\}$стремится к бесконечности, мы получаем $P\; e\; (n)\; \{\backslash \; displaystyle\; P\_\; \{e\}\; ^\; \{(n)\}\}$отделен от 0, если R больше C - мы можем получить произвольно низкие частоты ошибок, только если R меньше C.

Сильное преобразование для дискретных каналов без памяти

A сильная обратная теорема, доказанная Вулфовицем в 1957 г., утверждает, что

$P\; e\; \ge \; 1-4\; A\; n\; (R\; -\; C)\; 2\; -\; e\; -\; n\; (R\; -\; C)\; 2\; \{\backslash \; displaystyle\; P\_\; \{e\}\; \backslash \; geq\; 1\; -\; \{\backslash \; frac\; \{4A\}\; \{n\; (RC)\; ^\; \{2\}\}\}\; -\; e\; ^\; \{-\; \{\backslash \; frac\; \{n\; (RC)\}\; \{2\}\}\}\}$

для некоторой конечной положительной константы $A\; \{\backslash \; Displaystyle\; A\}$. В то время как слабое обратное утверждение утверждает, что вероятность ошибки отделена от нуля, поскольку $n\; \{\backslash \; displaystyle\; n\}$стремится к бесконечности, сильное обратное утверждение утверждает, что ошибка принимает значение 1. Таким образом, $C\; \{\backslash \; displaystyle\; C\}$- это резкий порог между совершенно надежной и совершенно ненадежной связью.

Мы предполагаем, что канал не имеет памяти, но его вероятности перехода меняются со временем, как это известно как передатчику, так и приемнику.

Тогда пропускная способность канала определяется как

$C\; =\; lim\; inf\; max\; p\; (X\; 1),\; p\; (X\; 2),...\; 1\; n\; \sum \; i\; знак\; равно\; 1\; n\; I\; (X\; i;\; Y\; i).\; \{\backslash \; displaystyle\; C\; =\; \backslash \; lim\; \backslash \; inf\; \backslash \; max\; \_\; \{p\; ^\; \{(X\_\; \{1\})\},\; p\; ^\; \{(X\_\; \{2\})\},...\}\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; I\; (X\_\; \{i\};\; Y\_\; \{i\}).\}$

Максимум достигается при пропускной способности, достигающей распределения для каждого соответствующего канала. То есть $C\; =\; lim\; inf\; 1\; n\; \sum \; i\; =\; 1\; n\; C\; i\; \{\backslash \; displaystyle\; C\; =\; \backslash \; lim\; \backslash \; inf\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; C\_\; \{i\}\}$где $C\; i\; \{\backslash \; displaystyle\; C\_\; \{i\}\}$- пропускная способность i-го канала.

Схема доказательства

Доказательство проходит почти так же, как и теорема канального кодирования. Достижимость следует из случайного кодирования, при котором каждый символ выбирается случайным образом из распределения достижения пропускной способности для этого конкретного канала. Аргументы типичности используют определение типичных наборов для нестационарных источников, определенных в статье асимптотическое равнораспределение, свойство.

Технический аспект lim inf вступает в игру, когда $1\; n\; \sum \; i\; =\; 1\; n\; C\; i\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{\; i\; =\; 1\}\; ^\; \{n\}\; C\_\; \{i\}\}$не сходится.

• Свойство асимптотического равнораспределения (AEP)
• Неравенство Фано
• Теория скоростного искажения
• Теорема Шеннона о кодировании источника
• Теорема Шеннона – Хартли
• Турбо code

• Cover TM, Thomas JA, Elements of Information Theory, John Wiley Sons, 1991. ISBN 0-471-06259-6
• Фано, Р.А., Передача информации; статистическая теория коммуникаций, MIT Press, 1961. ISBN 0-262-06001-9
• , «Новая основная теорема теории информации», Транзакции IEEE по теории информации, 4 (4): 2-22, 1954.
• Маккей, Дэвид Дж. К., Теория информации, логические выводы и алгоритмы обучения, Cambridge University Press, 2003. ISBN 0-521-64298-1 [бесплатный онлайн]
• Shannon, CE, Математическая теория коммуникации. The Bell System Technical Journal 27,3: 379–423, 1948.
• Шеннон, CE, Математическая теория коммуникации Урбана, Иллинойс: University of Illinois Press, 1948 (перепечатано в 1998 году).
• Вулфовиц, Дж., «Кодирование сообщений, подверженных случайным ошибкам », Illinois J. Math., 1: 591–606, 1957.

• О законе Шеннона и Шеннона
• Теорема Шеннона о кодировании зашумленного канала