Сообщение

Определение "Сообщение" в Большой Советской Энциклопедии

Сообщение в теории информации, всякий носитель информации. При этом теория информации интересуется лишь количественной стороной информации, содержащейся в Сообщение Понятие Сообщение в теории информации имеет существенно вероятностный характер: каждый источник информации (или источник Сообщение) задаётся перечислением возможных Сообщение и соответствующих им вероятностей. Пусть x₁, х₂,..., x_n — возможные Сообщение, a p₁, p₂,..., p_n — соответствующие вероятности. Тогда количество информации в Сообщение x_i принимают равным . Среднее количество информации в Сообщение данного источника (его энтропия), т. е. сумма

является важнейшей характеристикой источника. Именно величина энтропии определяет возможности передачи и хранения Сообщение, производимых источником.

Пример. Пусть источником Сообщение являются результаты N последовательных измерений с точностью до 0,1 некоторой физической величины, равномерно распределённой в интервале от нуля до единицы. Тогда, если указывать только число десятых (с недостатком), возможными результатами отдельного измерения будут числа 0,1....,9. Вероятность появления каждого из них равна 0,1. Сообщение в данном примере представляются N-членными последовательностями цифр. Вероятность каждого Сообщение равна (0,1) ^N. Количество информации в каждом Сообщение и энтропия источника равны Nlog₂ 10 = 3,32N двоичных единиц. Можно сказать, что источником Сообщение в этом примере является случайная последовательность десятичных знаков (цифр) длины N. Именно такую форму случайных последовательностей знаков (или более общим образом — форму случайных процессов) имеют источники Сообщение. рассматриваемые в теории информации.

При изучении конкретных типов Сообщение, таких, как письменная речь, телеграфные, телефонные или телевизионные сигналы, обычно строится та или иная приближённая вероятностная модель источника Сообщение Так, с достаточной для целей теории информации точностью в качестве модели русской письменной речи может быть принята т. н. сложная цепь Маркова. Для непрерывных Сообщение в качестве моделей используются стационарные случайные процессы. Построение подобных моделей опирается на обширные статистические данные, касающиеся рассматриваемых процессов.
  Ю. В. Прохоров.