Войти
Решающее событие, которое установило дисциплину теории информации и принесло Это сразу же привлекло внимание всего мира, была публикация классической статьи Клода Э. Шеннона «Математическая теория коммуникации » в Bell System Technical Journal в Июль и октябрь 1948 года.
В этой революционной и новаторской работе, которую Шеннон в основном завершил в Bell Labs к концу 1944 года, Шеннон впервые представил качественную и количественную модель коммуникации как статистический процесс, лежащий в основе теории информации, который начинается с утверждения, что
Вместе с ним пришли идеи
Некоторые из самых старых методов телекоммуникаций неявно используют многие идеи, которые позже будут количественно оценены в теории информации. Современная телеграфия, начиная с 1830-х годов, использовала азбуку Морзе, в которой более распространенные буквы (например, «E», которая выражается как одна «точка»). передаются быстрее, чем менее распространенные буквы (например, «J», который обозначается одной «точкой», за которой следуют три «тире»). Идея кодирования информации таким образом является краеугольным камнем сжатия данных без потерь. Спустя сто лет частотная модуляция проиллюстрировала, что полоса пропускания может считаться просто еще одной степенью свободы. вокодер, который сейчас в основном рассматривается как диковинка звуковой инженерии, был первоначально разработан в 1939 году для использования меньшей полосы пропускания, чем у исходного сообщения, во многом так же, как сейчас мобильные телефоны компромисс между качеством голоса и пропускной способностью.
Самыми непосредственными предшественниками работы Шеннона были две статьи, опубликованные в 1920-х годах Гарри Найквистом и Ральфом Хартли, которые Оба были руководителями исследований в Bell Labs, когда Шеннон приехал сюда в начале 1940-х годов.
Статья Найквиста 1924 года «Некоторые факторы, влияющие на скорость телеграфа» в основном касается некоторых детальных технических аспектов телеграфных сигналов. Но в более теоретическом разделе обсуждается количественная оценка «интеллекта» и «линейной скорости», с которой он может быть передан системой связи, что дает соотношение
где W - скорость передачи информации, m - количество различных уровней напряжения, которые можно выбрать на каждом временном шаге, а K - постоянная величина.
Статья Хартли 1928 года, названная просто «Передача информации», пошла дальше, использовав слово «информация» (в техническом смысле) и четко разъяснив, что информация в этом контексте является измеримой величиной, отражающей только информацию получателя. способность различать, что одна последовательность символов была предназначена отправителем, а не какая-либо другая - совершенно независимо от какого-либо связанного значения или другого психологического или семантического аспекта, который символы могут представлять. Это количество информации он определил как
, где S - количество возможных символов, а n - количество символов в коробка передач. Таким образом, естественной единицей информации была десятичная цифра, которая намного позже была переименована в хартли в его честь как единицу, шкалу или меру информации. Информация Хартли, H 0, по-прежнему используется как величина для логарифма общего количества возможностей.
Аналогичная единица логарифма 10 вероятности, запрет и производная единица децибан (одна десятая часть запрета) были введены Аланом. Тьюринг в 1940 году в рамках статистического анализа взлома немецких шифров во время Второй мировой войны Enigma. Децибаннаж представляет собой уменьшение (логарифм) общего числа возможностей (аналогично изменению информации Хартли); а также логарифмическое отношение правдоподобия (или изменение веса свидетельства ), которое может быть выведено для одной гипотезы по сравнению с другой из набора наблюдений. Ожидаемое изменение веса свидетельств эквивалентно тому, что позже было названо информацией Кульбака различения.
, но в основе этого понятия по-прежнему лежала идея равных априорных вероятностей, а не информационное содержание событий с неравной вероятностью. ; ни еще какой-либо основной картины вопросов относительно сообщения таких различных результатов.
Одной из областей, где неравные вероятности были действительно хорошо известны, была статистическая механика, где Людвиг Больцман в контексте его H- В теореме 1872 года впервые была введена величина
как мера ширины разброса состояний, доступных отдельной частице в газе из подобных частиц, где f представляет относительное частотное распределение каждого возможного состояния. Больцман математически утверждал, что эффект столкновений между частицами неизбежно приведет к увеличению H-функции от любой начальной конфигурации до достижения равновесия; и далее идентифицировал это как основное микроскопическое обоснование макроскопической термодинамической энтропии из Клаузиуса.
Определение Больцмана было вскоре переработано американским физиком-математиком Дж. Уилларда Гиббса в общую формулу статистико-механической энтропии, больше не требующую идентичных и невзаимодействующих частиц, но вместо этого основанную на распределении вероятностей p i для полного микросостояния i всей системы:
Эта энтропия (Гиббса) из статистической механики, можно найти, что оно прямо соответствует классическому термодинамическому определению Клаузиуса.
Сам Шеннон, по-видимому, не особо осознавал близкое сходство между его новой мерой и более ранними работами в термодинамике, но Джон фон Нейман был. Говорят, что, когда Шеннон решал, как назвать свою новую меру и опасаясь, что термин «информация» уже используется слишком часто, фон Нейман твердо сказал ему: «Тебе следует называть это энтропией по двум причинам. Функция неопределенности использовалась в статистической механике под этим названием, поэтому у нее уже есть название. Во-вторых, что более важно, никто на самом деле не знает, что такое энтропия на самом деле, поэтому в дебатах у вас всегда будет преимущество ».
(Связь между теоретико-информационной энтропией и термодинамической энтропией, включая важный вклад Рольфа Ландауэра в 1960-е годы, более подробно исследуется в статье Энтропия в термодинамике и теории информации ).
Публикация статьи Шеннона 1948 года «Математическая теория коммуникации » в журнале Bell System Technical Journal стала основой теории информации, поскольку мы знаю это сегодня. С тех пор произошло множество разработок и приложений теории, которые позволили создать множество современных устройств для передачи данных и хранения, таких как CD-ROM и мобильные телефоны возможный.
Примечательные более поздние разработки перечислены в хронологии теории информации, в том числе:
.zip, включая DEFLATE (Кодирование LZ77 + Хаффмана); впоследствии он стал наиболее широко используемым контейнером для архивов.