Знаменитая формула Больцмана (1872) дает способ вычисления энтропии макроскопической системы S(x) в состоянии х по известному «статистическому весу» Г(х) – числу способов реализации этого состояния через состояния образующих его частей:

S(x) = к lnГ(x),   (17)

где к = 1,38 · 10^-23 Дж/К – постоянная Больцмана.

Например, мы хотим найти число способов, которыми можно разложить N шаров в ящик с двумя отделениями так, чтобы слева было х шаров, а справа (N-x) шаров. Поскольку нас не интересует, какие именно шары находятся слева, а важно только их число, то таких способов будет ровно

а энтропия такого размещения шаров будет равна

С формализацией понятия информации (Шеннон, 1948) выяснилось, что энтропию можно также понимать, как дефицит информации о состоянии системы. Действительно, информация по Шеннону или информационная энтропия – это мера неопределенности некоторого сообщения, содержащего п символов:

где p_i– вероятность появления i-того символа в сообщении. Если все символы равновероятны p_i. = р = 1/n, формула (27) упрощается до

Так, введенное понятие информации совершенно не учитывает ее смысл. Оно ориентированно на передачу и дальнейшую расшифровку некоторых сообщений. Если сообщение осмысленно, то его можно расшифровать, даже если при передаче часть сообщения будет утрачена или искажена. Только полностью случайное, бессмысленное сообщение нельзя восстановить, и в этом смысле его информационное содержание максимально.

Формула (21) оказывается совпадающей с (17) и различается только выбором единиц, в которых измеряется энтропия. Если ее измерять в битах, то к =(ln2)^-1, если в Дж/К, то к = 1,38 · 10^-23 Дж/К, то есть 1 бит информации соответствует 1,38 · 10^-23 ln2 = 0,96 · 10^-23 Дж/К.

Связь между различными гранями понятия энтропии продемонстрируем на примере разрешения знаменитого парадокса Максвелла (1871 г.). Максвелл предложил устройство, которое, как кажется на первый взгляд, позволяет обойти ограничения, накладываемые вторым началом термодинамики.

Представим себе, что у нас имеется ящик, разделенный перегородкой на два отсека и заполненный молекулами воздуха. В перегородке имеется небольшое отверстие, снабженное заслонкой, которой управляет «изощренное существо, способное следить за движением отдельных молекул», – демон Максвелла. Для ускорения процессов сепарации можно сделать много таких отверстий с заслонками под управлением сонма максвелловских демонов. Наблюдая молекулы, демоны пропускают в «левое» отделение только быстрые молекулы («черные»), а в «правое» – только медленные («белые»). Работа с заслонкой, очевидно, требует ничтожных затрат энергии. Следовательно, не производя работы, демоны увеличивают температуру левого отделения и понижают температуру правого. Это означает, что энтропия замкнутой системы, которой является ящик с газом, понижается, что явно противоречит второму началу.

Решение парадокса связано с признанием того факта, что сами демоны также являются частью рассматриваемой системы, а наблюдение за молекулами не такая уж безобидная процедура – она приводит к увеличению энтропии демонов. Действительно, для того, чтобы определить является молекула быстрой или медленной, демон должен ее увидеть. Для того чтобы надежно опознать молекулу в термостате с температурой Т (наш ящик с молекулами), надо осветить ее светом, частота которого больше, чем v_min = kT/h, где h – постоянная Планка. Дело в том, что энергия h v фотонов, испускаемых молекулами воздуха, должна превышать кТ – энергию их теплового движения, иначе отличить быстрые молекулы от медленных невозможно: hv > кТ. Каждый фотон, поглощенный демоном, увеличивает его энтропию на величину

Δ S_дем = hv/T > k    (22)

Часть этой энтропии демон превращает в информацию о налетающей молекуле и, используя ее, открывает или закрывает заслонку перед молекулой. В результате «демонических» манипуляций с заслонкой, энтропия газа уменьшается на 1 бит за каждую пропущенную молекулу – именно такую величину составляет информация двоичного выбора (молекула слева или справа). Переводя биты в Дж/К, получим изменение энтропии газа:

ΔS _газ = – k ln2 = – 0,96 ·10^-23 Дж/К.

Полное изменение энтропии всей системы (ящика с молекулами и демонами) будет равно:

ΔS = Δ S_дем + Δ S_газ > k(l – ln2) = 4,23 · 10^-24 Дж/К > 0.   (23)

Таким образом, энтропия замкнутой системы, в полном согласии со вторым началом термодинамики, возрастает. Эти вычисления завершают процедуру «изгнания» демонов Максвелла. Приобретение информации ведет к росту энтропии. Ничто не дается даром, информация не является исключением. Как сказано у Экклезиаста: «… во многой мудрости много печали; и кто умножает познания, умножает скорбь». Энтропия как мера скорби – красивая физическая трактовка библейской мудрости!