В статистической механике введен алгоритм Гиббса Автор J. Уиллард Гиббс в 1902 году является критерием выбора распределения вероятностей для статистического ансамбля из микросостояний в термодинамической системе путем минимизации средней логарифмической вероятности
с учетом распределения вероятностей p i, удовлетворяющего набору ограничений (обычно ожидаемых значений), соответствующих известным макроскопическим величинам. в 1948 г. Клод Шеннон интерпретировал отрицательную величину этой величины, которую он назвал информационной энтропией, как меру неопределенности в распределении вероятностей. В 1957 г. Э. Джейнс понял, что эту величину можно интерпретировать как недостающую информацию о чем угодно, и обобщил алгоритм Гиббса на неравновесные системы с помощью принципа максимальной энтропии и термодинамики максимальной энтропии.
Физики назовем результат применения алгоритма Гиббса распределением Гиббса для данных ограничений, в первую очередь большого канонического ансамбля Гиббса для открытых систем, когда заданы средняя энергия и среднее количество частиц. (См. Также функция разделения ).
Таким образом, этот общий результат алгоритма Гиббса представляет собой максимальное распределение вероятностей энтропии. Статистики идентифицируют такие распределения как принадлежащие к экспоненциальным семействам.