Алфавитный подход к определению количества информации

При алфавитном подходе к определению количества информации можно отвлечься от содержания информации и рассматривать информационное сообщение как последовательность знаков определенной знаковой системы.

Информационная емкость знака. Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, …, N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений «1», «2», …, «N», которое будет нести количество информации i.

Формула связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N – это количество знаков в алфавите знаковой системы, а I - количество информации, которое несет каждый знак:

N = 2ⁱ

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

N = 2; 2 = 2ⁱ => i = 1 бит

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации бит (bit) получила свое название от английского словосочетания BInary digiT, т.е. двоичное число.

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входит 33 буквы, однако на практике часто для передачи сообщений используется только 32 буквы (исключается буква «ё»).

С помощью формулы определим количество информации, которое несет буква русского алфавита:

N = 32; 32 = 2ⁱ => 2⁵ = 2ⁱ; i = 5 бит

Таким образом, буква русского алфавита несет 5 бит информации.

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньшее количество буквы «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» - наибольшая).

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации в сообщении Iс можно подсчитать, умножив количество информации, которое несет один знак I, на длину кода (количество знаков в сообщении) К:

I = К * i

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию 2 бита, три цифры – 3 бита и т.д. Количество информации в битах равно количеству цифр двоичного компьютерного кода.

Таблица 4.1. Количество информации, которое несет двоичный компьютерный код

Двоичный компьютерный код	1	0	1	0	1
Количество информации	1 бит	1 бит	1 бит	1 бит	1 бит