Марковский процесс

Определение "Марковский процесс" в Большой Советской Энциклопедии

Марковский процесс, важный специальный вид случайных процессов, имеющих большое значение в приложениях теории вероятностей к различным разделам естествознания и техники. Примером Марковский процесс может служить распад радиоактивного вещества. Известно, что вероятность распада данного атома за малый промежуток времени dt равна adt, где a - постоянная, характеризующая интенсивность распада данного радиоактивного вещества; эта вероятность не зависит от судьбы всех других атомов и от возраста данного атома. Пусть N обозначает число атомов радиоактивного вещества в некоторый начальный момент времени t = 0 и P_n(t) - вероятность того, что к моменту времени t распалось n атомов. Вероятности P_n(t) удовлетворяют системе дифференциальных уравнений
,
,
Решая эту систему уравнений при начальных данных

P₀(0) = 1, P_n(0) = 0,  1 £ n £ N,
получаем
.

В этом примере в каждый момент времени имеется либо 0, либо 1, либо 2, ..., либо N распавшихся атомов, причём число их характеризует состояние изучаемого явления.

Рассмотренный пример укладывается в следующую более общую схему. Пусть всевозможными состояниями изучаемой системы являются w₁, w₂, ..., w_n, ... в конечном или бесконечном числе. В каждый момент времени система может находиться в одном из этих состояний, и с течением времени происходят случайные переходы из одного состояния в другое. Процесс называют марковским, если состояние системы w_i в некоторый момент времени определяет лишь вероятность p_ij(t) того, что через промежуток времени t система будет находиться в состоянии w_j, причём эта вероятность не зависит от течения процесса в предшествующий период. Вероятности p_ij(t) называют переходными вероятностями. При очень широких условиях переходные вероятности Марковский процесс удовлетворяют конечной или бесконечной системе линейных однородных обыкновенных дифференциальных уравнений.

Теория Марковский процесс возникла на основе исследований А. А. Маркова (старшего), который в работах 1907 положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова. В теории цепей Маркова рассматриваются такие системы, которые могут переходить из одного состояния в другое лишь во вполне определённые моменты времени t_i, t_i, ... , t_k, ... Пусть p_ij обозначает вероятность того, что система в момент времени t_k+1 находится в состоянии w_j, если известно, что в момент времени t_k она находилась в состоянии w_i. Исследование цепей Маркова можно свести к изучению матриц переходных вероятностей . Вместе с тем ряд физиков и техников в своих исследованиях показали важность процессов, в которых рассматриваемая система претерпевает случайные изменения в зависимости от некоторого числа непрерывно меняющихся параметров (времени, координат и т. п.). Исследования этого направления не имели прочной логической основы. Общая теория Марковский процесс и их классификация были даны советским математиком А. Н. Колмогоровым в 1930. Его исследования дали логически безупречную математическую основу общей теории Марковский процесс, охватывающей, наряду с процессами описанного выше вида, также процессы типа диффузии, в которых состояние системы характеризуется непрерывно изменяющейся координатой диффундирующей частицы.

В этом случае вместо переходных вероятностей естественно рассматривать соответствующие плотности вероятностей f(t, х, у). Тогда f(t, х, у) есть вероятность того, что частица, находившаяся в точке х, через промежуток времени t будет иметь координату, заключённую между у и y+dy. Колмогоров показал (при некоторых общих условиях), что плотности f(t, х, у) удовлетворяют следующему дифференциальному уравнению с частными производными
,

которое ранее было введено для важного в физике специального случая процесса диффузии немецкими физиками А. Фоккером и М. Планком. В этом уравнении коэффициент A(y) представляет собой среднюю скорость изменения координаты у, а коэффициент В(у) - интенсивность случайных колебаний около этой средней. Указанное уравнение явилось источником для многих исследований по теории Марковский процесс в СССР и за рубежом.

Лит.: Марков А. А., Избранные труды. Теория чисел. Теория вероятностей, М., 1951; Колмогоров А. Н., Об аналитических методах в теории вероятностей, «Успехи математических наук», 1938, в. 5; Феллер В., Введение в теорию вероятностей и её приложения, перевод с английского, т. 1 - 2, М., 1967; Гихман И. И., Скороход А. В., Введение в теорию случайных процессов, М., 1965.
  Б. А. Севастьянов, С. Х. Сираждинов.