БОЛЬШАЯ СОВЕТСКАЯ ЭНЦИКЛОПЕДИЯ, БСЭ БОЛЬШАЯ СОВЕТСКАЯ ЭНЦИКЛОПЕДИЯ, БСЭ
Навигация:

Библиотека DJVU
Photogallery

БСЭ

Статистика:


Информация (в кибернетике)

Значение слова "Информация (в кибернетике)" в Большой Советской Энциклопедии


Информация в кибернетике. Естественнонаучное понимание Информация (в кибернетике) основано на двух определениях этого понятия, предназначенных для различных целей (для
href="article056124.html" title="информации теории">информации теории, иначе называемой статистической теорией связи, и теории статистических оценок). К ним можно присоединить и третье (находящееся в стадии изучения), связанное с понятием сложности алгоритмов.

  Центральное положение понятия Информация (в кибернетике) в кибернетике объясняется тем, что кибернетика (ограничивая и уточняя интуитивное представление об Информация (в кибернетике)) изучает машины и живые организмы с точки зрения их способности воспринимать определённую Информация (в кибернетике), сохранять её в «памяти», передавать по «каналам связи» и перерабатывать её в «сигналы», направляющие их деятельность в соответствующую сторону.

 В некоторых случаях возможность сравнения различных групп данных по содержащейся в них Информация (в кибернетике) столь же естественна, как возможность сравнения плоских фигур по их «площади»; независимо от способа измерения площадей можно сказать, что фигура A имеет не большую площадь, чем B, если A может быть целиком помещена в В (сравни примеры 1—3 ниже). Более глубокий факт — возможность выразить площадь числом и на этой основе сравнить между собой фигуры произвольной формы — является результатом развитой математической теории. Подобно этому, фундаментальным результатом теории Информация (в кибернетике) является утверждение о том, что в определённых весьма широких условиях можно пренебречь качественными особенностями Информация (в кибернетике) и выразить её количество числом. Только этим числом определяются возможности передачи Информация (в кибернетике) по каналам связи и её хранения в запоминающих устройствах.

  Пример 1. В классической механике знание положения и скорости частицы, движущейся в силовом поле, в данный момент времени даёт Информация (в кибернетике) о её положении в любой будущий момент времени, притом полную в том смысле, что это положение может быть предсказано точно. Знание энергии частицы даёт Информация (в кибернетике), но, очевидно, неполную.
  Пример 2. Равенство<
a = b                                                                (1)

даёт Информация (в кибернетике) относительно вещественных переменных a и b. Равенство

a2 = b2                                                                                                                            (2)

даёт меньшую Информация (в кибернетике) [так как из (1) следует (2), но эти равенства не равносильны]. Наконец, равенство

a3 = b3                                                              (3)

равносильное (1), даёт ту же Информация (в кибернетике), то есть (1) и (3) — это различные формы задания одной и той же Информация (в кибернетике)

  Пример 3. Результаты произведённых с ошибками независимых измерений какой-либо физической величины дают Информация (в кибернетике) о её точном значении. Увеличение числа наблюдений увеличивает эту Информация (в кибернетике)

  Пример 3 а. Среднее арифметическое результатов наблюдений также содержит некоторую Информация (в кибернетике) относительно рассматриваемой величины. Как показывает математическая статистика, в случае нормального распределения вероятностей ошибок с известной дисперсией среднее арифметическое содержит всю Информация (в кибернетике)

  Пример 4. Пусть результатом некоторого измерения является случайная величина X. При передаче по некоторому каналу связи X искажается, в результате чего на приёмном конце получают величину Y = X + q, где q не зависит от X (в смысле теории вероятностей). «Выход» Y даёт Информация (в кибернетике) о «входе» X; причём естественно ожидать, что эта Информация (в кибернетике) тем меньше, чем больше дисперсия случайной ошибки q.

  В каждом из приведённых примеров данные сравнивались по большей или меньшей полноте содержащейся в них Информация (в кибернетике) В примерах 1—3 смысл такого сравнения ясен и сводится к анализу равносильности или неравносильности некоторых соотношений. В примерах 3 а и 4 этот смысл требует уточнения. Это уточнение даётся, соответственно, математической статистикой и теорией Информация (в кибернетике) (для которых эти примеры являются типичными).

  В основе теории информации лежит предложенный в 1948 американским учёным К. Шенноном способ измерения количества Информация (в кибернетике), содержащейся в одном случайном объекте (событии, величине, функции и т. п.) относительно другого случайного объекта. Этот способ приводит к выражению количества Информация (в кибернетике) числом. Положение можно лучше объяснить в простейшей обстановке, когда рассматриваемые случайные объекты являются случайными величинами, принимающими лишь конечное число значений. Пусть X — случайная величина, принимающая значения x1, x2,..., xn с вероятностями p1, p2,..., pn, а Y — случайная величина, принимающая значения y1, y2,..., ym с вероятностями q1, q2,..., qm. Тогда Информация (в кибернетике) I (X,Y) относительно Y, содержащаяся в X, определяется формулой



где pij — вероятность совмещения событий X = xi и Y = yj и логарифмы берутся по основанию 2. Информация (в кибернетике) I (X, Y) обладает рядом свойств, которые естественно требовать от меры количества Информация (в кибернетике) Так, всегда I (X, Y) ³ 0 и равенство I (X, Y) = 0 возможно тогда и только тогда, когда pij = piqj при всех i и j, т. е. когда случайные величины X и Y независимы. Далее, всегда I (X, Y) £ I (Y, Y) и равенство возможно только в случае, когда Y есть функция от X (например, Y = X2 и т. д.). Кроме того, имеет место равенство I (X, Y) = I (Y, X).
  Величина<


носит название энтропии случайной величины X. Понятие энтропии относится к числу основных понятий теории Информация (в кибернетике) Количество Информация (в кибернетике) и энтропия связаны соотношением

I (X, Y) = H (X) + H (Y) — H (X, Y),                              (5)

где H (X, Y) — энтропия пары (X, Y), т. е.



Величина энтропии указывает среднее число двоичных знаков (см. Двоичные единицы), необходимое для различения (или записи) возможных значений случайной величины (подробнее см. Кодирование, Энтропия). Это обстоятельство позволяет понять роль количества Информация (в кибернетике) (4) при «хранении» Информация (в кибернетике) в запоминающих устройствах. Если случайные величины X и Y независимы, то для записи значения X требуется в среднем H (X) двоичных знаков, для значения Y требуется H (Y) двоичных знаков, а для пары (X, Y) требуется Н (Х) + H (Y) двоичных знаков. Если же случайные величины X и Y зависимы, то среднее число двоичных знаков, необходимое для записи пары (XY), оказывается меньшим суммы Н (Х) + H (Y), так как

H (X, Y) = H (X) + H (Y) — I (X, Y).

  С помощью значительно более глубоких теорем выясняется роль количества Информация (в кибернетике) (4) в вопросах передачи Информация (в кибернетике) по каналам связи. Основная информационная характеристика каналов, так называемая пропускная способность (или ёмкость), определяется через понятие «Информация (в кибернетике)» (подробнее см. Канал).

  Если X и Y имеют совместную плотность p(x, y), то



где буквами р и q обозначены плотности вероятности Х и Y соответственно. При этом энтропии Н (X) и Н (Y) не существуют, но имеет место формула, аналогичная (5),

I (X, Y) = h (X) + h (Y) — h (X, Y),                                           (7)

где



дифференциальная энтропия X [h (Y) и h (X, Y) определяется подобным же образом].

  Пример 5. Пусть в условиях примера 4 случайные величины X и q имеют нормальное распределение вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно s2х и s2q. Тогда, как можно подсчитать по формулам (6) или (7):



Таким образом, количество Информация (в кибернетике) в «принятом сигнале» Y относительно «переданного сигнала» X стремится к нулю при возрастании уровня «помех» q (т. е. при s2q ® ¥) и неограниченно возрастает при исчезающе малом влиянии «помех» (т. е. при s2q ® 0).

  Особенный интерес для теории связи представляет случай, когда в обстановке примеров 4 и 5 случайные величины X и Y заменяются случайными функциями (или, как говорят, случайными процессами) X (t) и Y (t), которые описывают изменение некоторой величины на входе и на выходе передающего устройства. Количество Информация (в кибернетике) в Y (t) относительно X (t) при заданном уровне помех («шумов», по акустической терминологии) q(t) может служить критерием качества самого этого устройства (см. Сигнал, Шеннона теорема).

  В задачах математической статистики также пользуются понятием Информация (в кибернетике) (сравни примеры 3 и 3а). Однако как по своему формальному определению, так и по своему назначению оно отличается от вышеприведённого (из теории Информация (в кибернетике)). Статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием некоторых сводных характеристик. Иногда при такой замене происходит потеря Информация (в кибернетике), но при некоторых условиях сводные характеристики содержат всю Информация (в кибернетике), содержащуюся в полных данных (разъяснение смысла этого высказывания даётся в конце примера 6). Понятие Информация (в кибернетике) в статистике было введено английским статистиком Р. Фишером в 1921.

  Пример 6. Пусть X1, X2, ..., Xn, — результаты n независимых наблюдений некоторой величины, распределённые по нормальному закону с плотностью вероятности



где параметры a и s2 (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (т. е. функциями от результатов наблюдении, содержащими всю Информация (в кибернетике) о неизвестных параметрах) в этом примере являются среднее арифметическое



и так называемая эмпирическая дисперсия



Если параметр s2 известен, то достаточной статистикой будет только X (сравни пример 3 а выше).

  Смысл выражения «вся Информация (в кибернетике)» может быть пояснён следующим образом. Пусть имеется какая-либо функция неизвестных параметров j = j (a, s2) и пусть

j* = j*(X1, X2, ..., Xn)

— какая-либо её оценка, лишённая систематической ошибки. Пусть качество оценки (её точность) измеряется (как это обычно делается в задачах математической статистики) дисперсией разности j* — j. Тогда существует другая оценка j**, зависящая не от отдельных величин Xi, а только от сводных характеристик X и s2, не худшая (в смысле упомянутого критерия), чем j*. Р. Фишером была предложена также мера (среднего) количества Информация (в кибернетике) относительно неизвестного параметра, содержащейся в одном наблюдении. Смысл этого понятия раскрывается в теории статистических оценок.

 

  Лит.: Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Ван-дер-Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; Кульбак С., Теория информации и статистика, пер. с англ., М., 1967.

  Ю. В. Прохоров.

В Большой Советской Энциклопедии рядом со словом "Информация (в кибернетике)"

Буква "И" | В начало | Буквосочетание "ИН" |


Статья про слово "Информация (в кибернетике)" в Большой Советской Энциклопедии была прочитана 9141 раз


Интересное