Войти
Математические выражения для термодинамической энтропии в формулировке статистической термодинамики установлено Людвигом Больцманном и Дж. Уиллард Гиббс в 1870-х годах аналогичен информационной энтропии Клода Шеннона и Ральфом Хартли, разработанным в 1940-х годах.
могила Больцмана в Zentralfriedhof, Вена, с формулой бюста и энтропии. Определяющее выражение для энтропии в теории статистической механики, установленное Людвигом Больцманом и Дж. Уилларда Гиббса в 1870-х годах имеет вид:
где 
Определяющее выражение для энтропии в теории информации, установленной Клодом Э. Шенноном в 1948 году, имеет вид:
где 
Математически H можно также рассматривать как усредненную информацию, взятую по пространству сообщения, потому что когда определенная сообщение возникает с вероятностью p i, будет получено количество информации -log (p i) (называемое информационным содержанием или собственной информацией).
Если все микросостояния равновероятны (микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к форме, заданной Больцманом,
где W - количество микросостояний, которое соответствует макроскопическому термодинамическому состоянию. Следовательно, S зависит от температуры.
Если все сообщения равновероятны, информационная энтропия уменьшается до энтропии Хартли
где 
Логарифм в термодинамическом определении - натуральный логарифм. Можно показать, что формула энтропии Гиббса с натуральным логарифмом воспроизводит все свойства макроскопической классической термодинамики из Рудольфа Клаузиуса. (См. Статью: Энтропия (статистические представления) ).
Логарифм также может быть взят с натуральным основанием в случае информационной энтропии. Это эквивалентно выбору измерения информации в натсах вместо обычных бит (или, более формально, шеннонов). На практике информационная энтропия почти всегда рассчитывается с использованием логарифмов с основанием 2, но это различие сводится к не более чем изменению единиц. Один нат составляет около 1,44 бита.
Для простой сжимаемой системы, которая может выполнять только объемную работу, первый закон термодинамики становится
Но можно с равным успехом записать это уравнение в терминах того, что физики и химики иногда называют «приведенной» или безразмерной энтропией, σ = S / k, так что
Так же, как S сопряжен с T, σ сопряжен с k B T (энергия, характерна для T в молекулярном масштабе).
Таким образом, определения энтропии в статистической механике (формула энтропии Гиббса 
Несмотря на вышеизложенное, есть разница между двумя величинами. Информационная энтропия H может быть вычислена для любого распределения вероятностей (если "сообщение" принято как то, что произошло событие i, которое имело вероятность p i, вне пространства возможных событий), в то время как термодинамическая энтропия S конкретно относится к термодинамическим вероятностям p i. Однако разница скорее теоретическая, чем реальная, поскольку любое распределение вероятностей может быть сколь угодно точно аппроксимировано некоторой термодинамической системой.
Более того, между ними может быть установлена прямая связь. Если рассматриваемые вероятности представляют собой термодинамические вероятности p i : (уменьшенная) энтропия Гиббса σ может тогда рассматриваться просто как количество информации Шеннона, необходимой для определения подробного микроскопического состояния система, учитывая ее макроскопическое описание. Или, по словам Г. Н. Льюис писал о химической энтропии в 1930 году: «Увеличение энтропии всегда означает потерю информации и ничего более». Чтобы быть более конкретным, в дискретном случае, использующем логарифмы с основанием два, приведенная энтропия Гиббса равна минимальному количеству вопросов типа «да – нет», на которые необходимо ответить, чтобы полностью указать микросостояние, учитывая, что мы знать макросостояние.
Кроме того, рецепт найти равновесные распределения статистической механики - такой как распределение Больцмана - путем максимизации энтропии Гиббса при соответствующих ограничениях (алгоритм Гиббса ) можно рассматривать как нечто не только для термодинамики, но как принцип общей значимости для статистических выводов, если желательно найти максимально неинформативное распределение вероятностей с учетом определенных ограничений на его средние значения. (Эти перспективы более подробно рассматриваются в статье Термодинамика максимальной энтропии.)
Энтропия Шеннона в теории информации иногда выражается в битах на символ. Физическая энтропия может быть рассчитана на основе «на количество» (h), которая называется «интенсивной » энтропией, вместо обычной полной энтропии, которая называется «экстенсивной» энтропией. «Шанноны» сообщения (H) - это его общая «обширная» информационная энтропия, которая в h раз превышает количество битов в сообщении.
Прямая и физически реальная взаимосвязь между h и S может быть найдена путем присвоения символа каждому микросостоянию, которое происходит на моль, килограмм, объем или частицу однородного вещества, а затем вычисление "h" этих символы. Теоретически или по наблюдениям символы (микросостояния) будут возникать с разной вероятностью, и это будет определять h. Если имеется N молей, килограммов, объемов или частиц единицы вещества, соотношение между h (в битах на единицу вещества) и физической экстенсивной энтропией в натсах будет следующим:
где ln (2) - коэффициент преобразования энтропии Шеннона с основанием 2 в естественное основание e физической энтропии. N h - количество информации в битах, необходимое для описания состояния физической системы с энтропией S. Принцип Ландауэра демонстрирует реальность этого, устанавливая минимальную требуемую энергию E (и, следовательно, тепло Q, генерируемое) посредством Идеально эффективное изменение памяти или логическая операция путем необратимого стирания или объединения N h битов информации будет в S раз превышать температуру, которая
где h - информационные биты, а E и Q - физические джоули. Это было экспериментально подтверждено.
Температура - это мера средней кинетической энергии, приходящейся на одну частицу в идеальном газе (Кельвина = 2/3 * Дж / к b), поэтому Дж / К единицы k b принципиально безразмерны (Джоули / Джоули). k b - коэффициент преобразования энергии в 3/2 * Кельвина в Джоули для идеального газа. Если бы измерения кинетической энергии на частицу идеального газа были выражены в Джоулях, а не в Кельвинах, k b в приведенных выше уравнениях было бы заменено на 3/2. Это показывает, что S является истинной статистической мерой микросостояний, не имеющей фундаментальной физической единицы, кроме единиц информации, в данном случае «натс», что является просто заявлением о том, какое основание логарифма было выбрано по соглашению.
Схема двигателя с N-атомом Физический мысленный эксперимент, демонстрирующий, как простое владение информацией может в принципе иметь термодинамические Последствия были установлены в 1929 году Лео Сцилардом в усовершенствованном варианте знаменитого демона Максвелла.
Рассмотрим установку Максвелла, но только с одной частицей газа в коробке. Если сверхъестественный демон знает, в какой половине ящика находится частица (что эквивалентно одному биту информации), он может закрыть заслонку между двумя половинами ящика, беспрепятственно закрыть поршень в пустую половину ящика и затем извлеките 
Использование фазово-контрастного микроскопа, оснащенного высокоскоростной камерой, подключенной к компьютеру, как демон, принцип был фактически продемонстрирован. В этом эксперименте преобразование информации в энергию выполняется на броуновской частице посредством управления с обратной связью; то есть синхронизация работы, выполняемой частицей, с полученной информацией о ее положении. Вычисление энергетических балансов для различных протоколов обратной связи подтвердило, что равенство Ярзинского требует обобщения, которое учитывает количество информации, включенной в обратную связь.
Фактически можно сделать обобщение: любая информация, имеющая физическое представление, должна каким-то образом быть встроена в статистические механические степени свободы физической системы.
Таким образом, Рольф Ландауэр утверждал в 1961 году, что если представить, что, начиная с этих степеней свободы в термализованном состоянии, то термодинамическая энтропия действительно уменьшится, если бы они были затем восстановлены. -установлено в известное состояние. Это может быть достигнуто только при сохраняющей информацию микроскопически детерминированной динамике, если неопределенность каким-то образом сбрасывается где-то еще, то есть если энтропия окружающей среды (или не содержащие информацию степени свободы) увеличивается по крайней мере на эквивалентную величину, как требуется. Вторым законом, набирая соответствующее количество тепла: в частности kT ln 2 тепла на каждый 1 стертый бит случайности.
С другой стороны, утверждал Ландауэр, нет никаких термодинамических возражений против логически обратимой операции, потенциально достижимой в системе физически обратимым образом. Это только логически необратимые операции - например, стирание бита до известного состояния или слияние двух путей вычисления - которые должны сопровождаться соответствующим увеличением энтропии. Когда информация является физической, вся обработка ее представлений, то есть генерация, кодирование, передача, декодирование и интерпретация, являются естественными процессами, в которых энтропия увеличивается за счет потребления свободной энергии.
Применительно к сценарию демона Максвелла / двигателя Сцилларда, это предполагает, что можно было бы «прочитать» состояние частицы в вычислительном устройстве без затрат энтропии; но только если устройство уже было НАБОР в известном состоянии, а не в термализованном состоянии неопределенности. Для SET (или RESET) устройство в это состояние будет стоить всей энтропии, которую можно сохранить, зная состояние частицы Сцилларда.
Физик Леон Бриллюэн связывает энтропию Шеннона с концепцией, которую иногда называют негэнтропией. В 1953 году Бриллюэн вывел общее уравнение, согласно которому для изменения значения информационного бита требуется энергия не менее kT ln (2). Это та же энергия, которую производит двигатель Лео Сциларда в идеалистическом случае, которая, в свою очередь, равна той же величине, которую обнаружил Ландауэр. В своей книге он далее исследовал эту проблему, заключив, что любая причина изменения значения бита (измерение, решение вопроса «да / нет», стирание, отображение и т. Д.) Потребует того же количества, kT ln (2), энергии.. Следовательно, получение информации о микросостояниях системы связано с производством энтропии, в то время как стирание приводит к производству энтропии только при изменении значения бита. Установка небольшого количества информации в подсистеме, изначально находящейся в состоянии теплового равновесия, приводит к локальному снижению энтропии. Однако, согласно Бриллюэну, второй закон термодинамики не нарушается, поскольку уменьшение термодинамической энтропии любой локальной системы приводит к увеличению термодинамической энтропии в другом месте. Таким образом, Бриллюэн прояснил значение негэнтропии, которое считалось спорным, потому что его более раннее понимание может дать эффективность Карно выше единицы. Кроме того, связь между энергией и информацией, сформулированная Бриллюэном, была предложена как связь между количеством битов, обрабатываемых мозгом, и потребляемой им энергией: Колелл и Фоке утверждали, что Де Кастро аналитически нашел предел Ландауэра как термодинамическую нижнюю границу для вычисления мозга. Однако, хотя предполагается, что эволюция «выбрала» наиболее энергетически эффективные процессы, физические нижние границы не являются реалистичными величинами в мозгу. Во-первых, потому, что минимальная единица обработки, рассматриваемая в физике, - это атом / молекула, которая далека от реального способа работы мозга; и, во-вторых, потому что нейронные сети включают важные факторы избыточности и шума, которые значительно снижают их эффективность. Laughlin et al. был первым, кто предоставил точные величины энергетических затрат на обработку сенсорной информации. Их находки на мясных мухах показали, что для визуальных сенсорных данных стоимость передачи одного бита информации составляет около 5 × 10 Джоулей, или, что эквивалентно, 10 молекул АТФ. Таким образом, эффективность нейронной обработки все еще далека от предела Ландауэра kTln (2) J, но, что любопытно, она все же намного эффективнее современных компьютеров.
В 2009 году Махуликар и Хервиг переопределили термодинамическую негэнтропию как специфический дефицит энтропии динамически упорядоченной подсистемы относительно ее окружения. Это определение позволило сформулировать принцип негэнтропии, который, как математически показано, следует из 2-го закона термодинамики, во время существования порядка.
Стивен Хокинг часто говорил о термодинамической энтропии черных дыр с точки зрения их информационного содержания. Уничтожают ли черные дыры информацию? Похоже, что существует глубокая связь между энтропией черной дыры и потерей информации. См. Термодинамика черной дыры и Информационный парадокс черной дыры.
Хиршман показал, ср. Неопределенность Хиршмана, что принцип неопределенности Гейзенберга может быть выражен как конкретная нижняя граница суммы энтропий классического распределения квантовых наблюдаемых распределений вероятностей квантово-механического состояния, квадрата волновая функция в координатах, а также импульсное пространство, выраженное в единицах Планка. Полученные неравенства дают более жесткую границу отношений неопределенности Гейзенберга.
Имеет смысл присвоить «совместную энтропию », поскольку позиции и импульсы являются квантовыми сопряженными переменными и, следовательно, совместно не наблюдаются. Математически их следует рассматривать как совместное распределение. Обратите внимание, что эта совместная энтропия не эквивалентна энтропии фон Неймана, −Tr ρ lnρ = −⟨lnρ⟩. Считается, что энтропия Хиршмана объясняет полное информационное содержание смеси квантовых состояний.
(Недовольство энтропией фон Неймана с точки зрения квантовой информации выражали Стотланд, Померанский, Бахмат и Коэн, которые ввели еще одно определение энтропии, которое отражает неотъемлемую неопределенность квантово-механических состояний. Это определение позволяет различать минимальную энтропию неопределенности чистых состояний и избыточную статистическую энтропию смесей.)
теорема о флуктуациях обеспечивает математическое обоснование второго закона термодинамики в соответствии с этими принципами и точно определяет ограничения применимости этого закона для систем, отличных от термодинамических. равновесие.
Существует критика связи между термодинамической энтропией и информационной энтропией.
Наиболее распространенная критика заключается в том, что информационная энтропия не может быть связана с термодинамической энтропией, потому что в дисциплине информационной энтропии нет концепции температуры, энергии или второго закона. Это можно лучше всего обсудить, рассмотрев фундаментальное уравнение термодинамики :
где F i - это «обобщенные силы», а dx i - «обобщенные перемещения». Это аналогично механическому уравнению dE = F dx, где dE - изменение кинетической энергии объекта, смещенного на расстояние dx под действием силы F. Например, для простого газа мы имеем:
где температура (T), давление (P) и химический потенциал (µ) являются обобщенными силами которые в случае дисбаланса приводят к общему смещению энтропии (S), объема (-V) и количества (N) соответственно, а произведения сил и смещений дают изменение внутренней энергии (dU) газа.
В механическом примере заявлять, что dx не является геометрическим смещением, потому что он игнорирует динамическое соотношение между смещением, силой и энергией, неправильно. Смещение, как понятие в геометрии, не требует понятий энергии и силы для своего определения, и поэтому можно ожидать, что энтропия может не требовать понятий энергии и температуры для своего определения. Однако все не так просто. В классической термодинамике, которая изучает термодинамику с чисто эмпирической или измерительной точки зрения, термодинамическую энтропию можно измерить только с учетом энергии и температуры. Утверждение Клаузиуса dS = δQ / T или, что эквивалентно, когда все другие эффективные смещения равны нулю, dS = dU / T, является единственным способом фактически измерить термодинамическую энтропию. Только с введением статистической механики, точки зрения, согласно которой термодинамическая система состоит из совокупности частиц и которая объясняет классическую термодинамику в терминах вероятностных распределений, энтропия может рассматриваться отдельно от температуры и энергии.. Это выражено в известной формуле энтропии Больцмана S = k B ln (W). Здесь k B - это постоянная Больцмана, а W - количество равновероятных микросостояний, которые приводят к определенному термодинамическому состоянию или макросостоянию.
Предполагается, что уравнение Больцмана обеспечивает связь между термодинамической энтропией S и информационной энтропией H = −Σi pi ln pi = ln (W), где p i = 1 / W - равные вероятности данного микросостояния. Эта интерпретация также подверглась критике. Хотя некоторые говорят, что это уравнение является просто уравнением преобразования единиц между термодинамической и информационной энтропией, это не совсем правильно. Уравнение преобразования единиц измерения, например, изменит дюймы на сантиметры и даст два измерения в разных единицах одной и той же физической величины (длины). Поскольку термодинамическая и информационная энтропия размерно неравны (энергия / единица температуры по сравнению с единицами информации), уравнение Больцмана больше похоже на x = c t, где x - расстояние, пройденное световым лучом за время t, c - скорость света. Хотя мы не можем сказать, что длина x и время t представляют собой одну и ту же физическую величину, мы можем сказать, что в случае светового луча, поскольку c является универсальной константой, они будут обеспечивать совершенно точные измерения друг друга. (Например, световой год используется как мера расстояния). Аналогичным образом, в случае уравнения Больцмана, хотя мы не можем сказать, что термодинамическая энтропия S и информационная энтропия H представляют собой одну и ту же физическую величину, мы можем сказать, что в случае термодинамической системы, поскольку k B равно универсальная константа, они обеспечат совершенно точные измерения друг друга.
Тогда остается вопрос, является ли ln (W) теоретико-информационной величиной. Если он измеряется в битах, можно сказать, что, учитывая макросостояние, он представляет собой количество вопросов да / нет, которые нужно задать для определения микросостояния, что явно является концепцией теории информации. Возражающие указывают на то, что такой процесс носит чисто концептуальный характер и не имеет ничего общего с измерением энтропии. С другой стороны, вся статистическая механика носит чисто концептуальный характер и служит только для объяснения «чистой» науки термодинамики.
В конечном счете, критика связи между термодинамической энтропией и информационной энтропией - вопрос терминологии, а не содержания. Ни одна из сторон в споре не будет иметь разногласий по поводу решения конкретной термодинамической или теоретико-информационной проблемы.
В 1995 году Тим Палмер высказал два неписаных предположения об определении информации Шенноном, которые могут сделать его неприменимым как таковое к квантовой механике :
В статье и в статье Антона Цайлингера были синтезированы и развиты эти замечания. Так называемый принцип Цайлингера предполагает, что квантование, наблюдаемое в QM, может быть связано с квантованием информации (нельзя наблюдать меньше, чем один бит, и то, что не наблюдается, по определению является "случайным"). Тем не менее, эти утверждения остаются довольно спорными. Были опубликованы подробные обсуждения применимости информации Шеннона в квантовой механике и аргумент о том, что принцип Цайлингера не может объяснить квантование, что показывают, что Брукнер и Цайлингер меняют в середине расчета в своей статье числовые значения вероятностей, необходимых для вычисления энтропии Шеннона, так что расчет не имеет смысла.
В 2013 году было опубликовано описание двухатомной версии движка Szilárd, использующей квантовый дискорд для генерации работы из чисто квантовая информация. Были предложены уточнения нижнего предела температуры.
Алгоритмическое охлаждение - это алгоритмический метод передачи тепла (или энтропии) от одних кубитов к другим или вне системы в окружающую среду. что приводит к охлаждающему эффекту. Этот охлаждающий эффект может быть использован при инициализации холодных (особо чистых) кубитов для квантовых вычислений и для увеличения поляризации определенных спинов в ядерном магнитном резонансе.
