Избыточность сообщений

Определение "Избыточность сообщений" в Большой Советской Энциклопедии

Избыточность сообщений, понятие теории информации. Наличие избыточности в записи сообщений какого-либо источника информации проявляется в возможности записать эти сообщения в среднем более кратко, используя те же самые знаки (то есть заменяя код на другой с тем же алфавитом; см. Код, Кодирование). Например, если рассматриваемые сообщения представляют собой последовательности знаков 0 и 1, в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу
00 ® 0, 01 ® 10, 10 ® 110, 11 ® 111,

можно сократить запись почти вдвое. Максимальная доля «лишних» знаков определяется по статистическим свойствам рассматриваемого источника сообщений и также называется его избыточностью. В этом понимании Избыточность сообщений R определяется по формуле  где m — число букв алфавита, а Н — энтропия источника на букву сообщения. Можно подсчитать, что в приведённом примере Избыточность сообщений равна 0,53. Минимальной Избыточность сообщений R = 0 обладает только последовательность, в которой знаки независимы и с вероятностью 1/m могут быть равны любой из m букв алфавита.

Практически важен вопрос об оценке избыточности конкретных форм сообщений (таких, как письменная и устная речь, фототелеграммы, телевизионные изображения). Величина Избыточность сообщений в них оказывается обычно значительной. Так, например, Избыточность сообщений английской письменной речи не менее 0,6. Большая избыточность позволяет лучше распознать передаваемые сообщения при наличии помех в каналах связи. С этой точки зрения не всегда следует стремиться к уменьшению Избыточность сообщений
  Ю. В. Прохоров.