I. О «Математической теории коммуникации» Шеннона.
Несколько страниц назад была несколько раз упомянута «информация по Шеннону»; простой поиск через Гугль моментально приводит к соответствующей
статье, но, я думаю, может оказаться нелишним здесь выложить ещё кое-какие заметки, которые в принципе могут помочь понять, о чём в статье идёт речь и для чего это может пригодиться. А могут и не помочь, а могут и навредить — гарантий просветления не даю. Я прокомментирую только первые две части статьи Шеннона, касающиеся передачи дискретных сообщений: как пишет сам Шеннон в начале третьей части, последующие три части, содержащие размышления на тему непрерывных сообщений, не содержат ничего принципиально нового по сравнению с первыми двумя частями. Всё те же образы, всё те же задачи, поменялась только направленность внимания: “there are, however, a few new effects that appear and also a general change of emphasis in the direction of specialization of the general results to particular cases”. Разумеется, теория коммуникации расширилась со времени появления публикации Шеннона, но, насколько можно предположить, расширения и новые исследования опять-таки опираются на всё те же принципиальные идеи. В общем, поехали.
Существуют два места: источник сообщений и приёмник сообщений. На приёмнике сообщений известно общее множество всех сообщений, которые в принципе можно передать; в дискретном случае передача сообщения заключается в выделении из этого множества, при помощи инструментальных средств, связывающих источник и приёмник, подмножества, состоящего лишь из одного сообщения, — того же самого подмножества, которое было выделено на источнике по воле передающего аппарата. При такой постановке задачи вопрос «что такое сообщение» изначально не должен бы задаваться (важно только, что это есть элемент множества), потому что никакие определения «сообщения» вроде как не входят в соотношения, определяющие задачу, но здесь есть одна оговорка… Если бы инструментальные средства позволяли решать эту задачу, совершив всего одну операцию, условия и длительность совершения которой вполне известны, то никакой потребности в математической теории коммуникации не было бы. Технические ограничения приводят, однако, к тому, что эту операцию выделения подмножества приходится разбивать на части, совершаемые отдельно. Относительно всякой части приходится задавать себе два вопроса: как нужно править её совершением — то есть, собственно говоря, что именно нужно передавать по каналу — и сколько времени уходит физически, чтобы совершить эту часть. Иначе говоря, целокупное сообщение разделено, во-первых, на символы и, во-вторых, на временны́е промежутки. Как бы ни делить сообщение на части, роль каждой части состоит в приближении решения задачи выделения искомого единичного подмножества: для этого каждая часть должна выделять из текущего множества одно из заданных подмножеств. В зрительных образах всё это напоминает известную задачу о поиске льва в пустыне: на каждом этапе поиска льва мы выбираем одну часть пустыни (в классическом «решении» — одну из половин). Любая часть сообщения (символ или временной промежуток) и сама-то может быть изображена множеством возможных значений, из которых лишь одно значение актуализируется во время передачи. Об этих значениях кое-что заранее известно: заранее известны вероятности их актуализации. Каждому значению соответствует свой выбор подмножества, и одной операции выбора значения соответствует уменьшение математической величины, определяющейся через распределение вероятностей тех вариантов, что возможны на данном этапе. Чем равномернее распределение вероятностей, тем сильнее уменьшение этой величины.*
Дополнив таким образом определение «сообщения», смотрим далее… Среднюю посимвольную скорость уменьшения энтропии в источнике можно рассчитать, и она зависит от известных статистических свойств языка, на котором написано сообщение**, — разумеется, расчёт зависит от той степени, в которой они нам известны или в которой мы хотим их рассматривать; таким образом, этой скоростью в рамках возникающих задач коммуникации невозможно, да и не нужно править. Интересен, однако, поиск способов, с помощью которых можно минимизировать среднюю длительность передачи сообщения, максимизировав среднюю повременнýю скорость уменьшения энтропии в техническом канале связи. Длительность передачи символов по каналу связи зависит от синтаксических свойств сообщения, составленного из этих символов; проще сказать, она зависит от свойств построения сообщения из символов.*** Совсем необязательно передавать сообщение в канале теми же символами, из которых оно составлено в передающем устройстве и в принимающем устройстве: всегда можно адаптировать статистические свойства того кода, который проходит через канал, к характеристикам работы самого канала, то бишь перекодировать исходный код таким образом, чтобы повременнóе разрешение неопределённости было наибольшим. Смысл первой фундаментальной теоремы Шеннона (девятой по счёту в его статье) состоит в том, что при заданных свойствах канала, транспортирующего символы от источника к приёмнику с временнóй задержкой, и источника, порождающего с той или иной частотой те или иные сообщения, невозможно передать больше определённого числа исходных символов за секунду, но к этому определённому числу всегда можно прийти за счёт выбора правильного перекодирования. Упомянутые свойства канала совокупно характеризуются рассчитываемой величиной его пропускной способности.
Что делать, если транспортирование сигнала через канал не разрешает полностью неопределённость? Иначе говоря, что делать, если какой-то фактор зашумляет принимаемый код, искажая его случайным образом? Шеннон в своей второй фундаментальной теореме (под номером одиннадцать в его статье) утверждает и доказывает, что, когда длина исходного сообщения неограниченно увеличивается, добавившуюся неопределённость можно всё-таки разрешить за счёт избыточности перекодирования, если известна статистическая природа шума (то есть, на самом деле, статистическая природа оставшейся неопределённости): для этого нужно опять-таки выбрать подходящий код. Размер избыточности равен вносимой шумом неопределённости, и эту избыточность нужно вычесть из бесшумовой пропускной способности канала, чтобы определить его пропускную способность в случае зашумления; идеальное перекодирование исходного сигнала должно задавать такую повременнýю скорость уменьшения энтропии внутри канала, которая равна нововзятой величине пропускной способности.
II. И что же такое «информация по Шеннону»?
Шеннон никак не определяет «информацию» математически. По сути дела, слово «информация» — это ещё один способ обратиться к математическому понятию «энтропии», о котором кое-что было сказано выше и о котором более определённо рассказано в самой статье. Когда энтропия на приёмнике уменьшается, информация на нём увеличивается; тогда и можно использовать фигуру речи, что, мол, по каналу связи было передано столько-то информации. Когда полезно понятие энтропии? В частности, когда нужно измерить равномерность вероятностного выбора между подмножествами в каком-либо множестве, если вдруг вздумалось рассуждать о таком выборе. Всё это может быть полезным, только если роль предлагаемых подмножеств и предлагаемого множества в каких-нибудь построениях твёрдо определена. Что значит «твёрдо определить роль»? Мы возвращаемся вот к
этому вопросу. (Он был задан про «теорию», но было бы вернее спросить про «соотношения», потому что именно последнее понятие было ключевым).
Я не буду (может быть, пока) как следует комментировать этот вопрос, но между делом отмечу, что стартовой точкой для определения таких теорий может быть понятие теории в математической логике (если в самом деле интересно, то см., например, в учебнике Кузнецова «Дискретная математика для инженера», третье издание, §6.1 и §6.3). Если учесть данное в §6.3 определение интерпретации, математическая формальная теория оказывается аппаратом, выдающим совокупности предикатных букв, соединённых логическими связками, а каждая предикатная буква, в свою очередь, определяет отношение (§1.3) на предметной области. Чтобы представить себе применение формальных теорий в математике, понадобились бы, я думаю, ещё кое-какие замечания; пока же вместо этого отмечу следующее: набор совокупностей связанных отношений, определяемый какой-либо теорией, не может в принципе как-либо измениться, и в этом смысле все предлагаемые теорией совокупности отношений неизменны. Далее, упомянутые в моём наводящем псевдоопределении «соотношения» можно в этом смысле неизменности сопоставить с совокупностями связанных математических отношений. Затем, если при размышлении о множестве совокупностей отношений (множестве соотношений), являющих собой результат обращения к математической формальной теории, мысленно заменить математическое определение отношений чем-нибудь более приближенным к тому, как и для чего мы соотносим понятия и вообще думаем на самом деле, то можно получить абстракцию, угадываемую всё же лишь отчасти, но потенциально полезную… Впрочем, не для тех задач, которые L.B., похоже, ставит в этой ветке. (
«Меня […] занимают возможные системы понятий»).
* Шеннон, определяя энтропию, обращается к ней самой, а не к её уменьшению. Но он ведёт и речь о декомпозиции энтропий на слагаемые энтропии; каждое отдельное слагаемое изображает собой уменьшение общей энтропии (§6 в его статье).
** Берём кучу сообщений и считаем, с какой вероятностью тот или иной символ появляется в данном контексте, определённом «синтаксически»; никакие другие свойства исходного языка нас не интересуют.
*** Слово «синтаксический» — это частица своеобразного жаргона, появившегося, насколько я могу себе представить, уже после 1948 г., когда предметом обсуждений стал автоматический перевод между языками программирования.