Какие свойства системы характеризует энтропия

Энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») — широко используемый в естественных и точных науках термин (впервые введён в рамках термодинамики как функция состояния термодинамической системы), обозначающий меру необратимого рассеивания энергии или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу).
Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру сложности, хаотичности или неопределённости системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией.

Употребление в различных дисциплинах[править | править код]

• Термодинамическая энтропия — термодинамическая функция, характеризующая меру необратимой диссипации энергии в ней.
• В статистической физике — характеризует вероятность осуществления некоторого макроскопического состояния системы.
• В математической статистике — мера неопределённости распределения вероятностей.
• Информационная энтропия — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
• Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
• Дифференциальная энтропия — формальное обобщение понятия энтропии для непрерывных распределений.
• Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
• Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.

В термодинамике[править | править код]

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например в виде излучения, при этом полная энтропия окружающей среды увеличивается[1].

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла (), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути[2]:

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить . Тогда

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции имеет вид

Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

В теории информации[править | править код]

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону[3].

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации[4][5]. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана)[6][7]. Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии)[8]. Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом.

Пусть состояния системы равновероятны и имеют вероятность , тогда число состояний , а .
В случае разных вероятностей состояний рассмотрим средневзвешенную величину

где  — эффективное количество состояний.
Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона:

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое[9] как среднее степенное взвешенное с параметром от величин .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном[10][11].

Аксиоматическое определение энтропии[править | править код]

Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина:[12].

1. Пусть некоторая система может пребывать в каждом из доступных состояний с вероятностью , где . Энтропия является функцией только вероятностей : .
2. Для любой системы справедливо , где — система с равномерным распределением вероятностей: .
3. Если добавить в систему состояние , то энтропия системы не изменится.
4. Энтропия совокупности двух систем и имеет вид , где — средняя по ансамблю условная энтропия .

Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы[13] обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.

4′. Энтропия совокупности двух независимых систем и имеет вид .

Оказывается, система аксиом с пунктом 4′ приводит не только к энтропии Шеннона, но и к энтропии Реньи.

f-энтропия[править | править код]

Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный[14]И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил[15] концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано[16] с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией при , удовлетворяющей условию .

Для заданной функции f-энтропия дискретного распределения определяется как

Наиболее известными частными случаями f-энтропии являются:

Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.

Понятие f-энтропии определяют в общем виде следующим образом. Пусть — распределение вероятностей и — любая мера на , для которой существует абсолютно непрерывная относительно функция . Тогда

Однако непрерывные версии f-энтропий могут не иметь смысла по причине расходимости интеграла.

f-энтропия является вогнутым функционалом от распределения вероятностей.

Нужно заметить, что функция может быть задана с точностью до слагаемого , где — произвольная константа. Независимо от выбора функция порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, т.е. выбором константы можно задать начало отсчёта энтропии. При этом возникает следующий нюанс (более характерный для непрерывной версии f-энтропии): в случае константа должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, т.е. перестаёт быть произвольной. В частности, в дискретной версии энтропии константа должна фиксироваться при . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если — лебегова мера на , тогда — плотность распределения вероятности и

где — произвольная константа.

Функция может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.

Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение[17]:

где — равномерное на распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере , имеет место формальная запись

Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.

См. также[править | править код]

Примечания[править | править код]

Литература[править | править код]

• Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
• Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
• Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
• Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
• Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
• Брюллюэн Л. Наука и теория информации. — М., 1960.
• Винер Н. Кибернетика и общество. — М., 1958.
• Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
• Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
• Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
• Эшби У. Р. Введение в кибернетику. — М., 1965.
• Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
• Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
• Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
• Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.