Библиотека DJVU
БСЭ
Статистика:
Информации теория
Значение слова "Информации теория" в Большой Советской Энциклопедии
Пример. Пусть некоторые сообщения x1, x2, x3 появляются с вероятностями, равными соответственно 1/2, 3/8, 1/8. Какой-либо слишком короткий код, скажем
x1 = 0, x2 = 1, x3 = 01,
непригоден, так как нарушается вышеупомянутое условие б). Так, цепочка 01 может означать x1, x2 или x3. Код
x1 = 0, x2 = 10, x3 = 11,
удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное
Нетрудно понять, что никакой другой код не может дать меньшего значения, т. е. указанный код - самый экономный. В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.
Здесь уместно подчеркнуть, что термины «сообщение», «канал связи» и т. п. понимают в Информации теория очень широко. Так, с точки зрения Информации теория, источник сообщений описывается перечислением множества x1, x2,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p1, p2,...
Нет никакой простой формулы, выражающей точный минимум H’ среднего числа двоичных знаков, необходимого для кодирования сообщении x1, x2,..., xn через вероятности p1, p2,..., pn этих сообщений. Однако указанный минимум не меньше величины
(где log2a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов Информации теория, которые носят асимптотический характер, соответствуя случаю H’ ® ¥, разница между H и H’ абсолютно несущественна. Поэтому именно энтропия принимается в качестве меры неопределённости сообщений данного источника. В приведённом выше примере энтропия равна
С изложенной точки зрения, энтропия бесконечной совокупности оказывается, как правило, бесконечной. Поэтому в применении к бесконечным совокупностям поступают иначе. Именно, задаются определённым уровнем точности и вводят понятие e - энтропии, как энтропии сообщения, записываемого с точностью до e, если сообщение представляет собой непрерывную величину или функцию (например, времени); подробнее см. в ст. Энтропия.
Так же как и понятие энтропии, понятие количества информации, содержащейся в одном случайном объекте (случайной величине, случайном векторе, случайной функции и т. д.) относительно другого, вводится сначала для объектов с конечным числом возможных значений. Затем общий случай изучается при помощи предельного перехода. В отличие от энтропии, количество информации, например, в одной непрерывно распределённой случайной величине относительно другой непрерывно распределённой величины очень часто оказывается конечным.
Понятие канала связи (см. Канал) в Информации теория носит весьма общий характер. По сути дела, канал связи задаётся указанием множества «допустимых сообщений» на «входе канала», множеством «сообщений на выходе» и набором условных вероятностей получения того или иного сообщения на выходе при данном входном сообщении. Эти условные вероятности описывают влияние «помех», искажающих передаваемые сообщения, «Присоединяя» к каналу какой-либо источник сообщений, можно рассчитать количество информации относительно сообщения на входе, содержащееся в сообщении на выходе. Верхняя грань таких количеств информации, взятая по всем допустимым источникам, называется пропускной способностью (ёмкостью) канала. Ёмкость канала - его основная информационная характеристика несмотря на влияние (возможно сильное) помех в канале, при определённом соотношении между энтропией поступающих сообщений и пропускной способностью канала возможна почти безошибочная передача (при надлежащем кодировании, см. Шеннона теорема).
Информации теория отыскивает оптимальные, в смысле скорости и надежности, способы передачи информации, устанавливая теоретические пределы достижимого качества. Как видно из предыдущего, Информации теория носит существенно статистический характер, и поэтому значительная часть ее математических методов заимствуется из теории вероятностей.
Основы Информации теория были заложены в 1948-49 американским ученым К. Шенноном. В ее теоретические разделы внесен вклад советским учеными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, - В. А. Котельниковым, А. А. Харкевичем и др.
Лит.: Яглом А. М., Яглом И. М., Вероятность и информация, 2 изд., М., 1960; Шэннон К., Статистическая теория передачи электрических сигналов, в кн.: Теория передачи электрических сигналов при наличии помех. Сб. переводов, М., 1953; Голдман С., Теория информации, пер. с англ., М., 1957; Теория информации и её приложения. Сб. переводов, М., 1959; Хинчин А. Я., Понятие энтропии в теории вероятностей, «Успехи математических наук», 1953, т. 8, в. 3; Колмогоров А. Н., Теория передачи информации, М., 1956, (АН СССР. Сессия по научным проблемам автоматизации производства. Пленарное заседание); Питерсон У. У., Коды, исправляющие ошибки, пер. с англ., М., 1964.
Ю. В. Прохоров.
В Большой Советской Энциклопедии рядом со словом "Информации теория"
Анаэробная инфекция | Буква "И" | В начало | Буквосочетание "ИН" |Статья про слово "Информации теория" в Большой Советской Энциклопедии была прочитана 0 раз
Интересное