Динамическое программирование

Определение "Динамическое программирование" в Большой Советской Энциклопедии

Динамическое программирование, раздел математики, посвящённый теории и методам решения многошаговых задач оптимального управления.

В Динамическое программирование для управляемых процессов среди всех возможных управлений ищется то, которое доставляет экстремальное (наименьшее или наибольшее) значение целевой функции — некоторой числовой характеристике процесса. Под многошаговостью понимают либо многоступенчатую структуру процесса, либо разбиение управления на ряд последовательных этапов (шагов), соответствующих, как правило, различным моментам времени. Т. о., в названии «Динамическое программирование» под «программированием» понимают «принятие решений», «планирование», а слово «динамическое» указывает на существенную роль времени и порядка выполнения операции в рассматриваемых процессах и методах.

Методы Динамическое программирование являются составной частью методов, используемых в исследовании операций (см. Операций исследование), и применяются как в задачах оптимального планирования, так и при решении различных технических проблем (например, в задачах определения оптимальных размеров ступеней многоступенчатых ракет, в задачах оптимального проектирования прокладки дорог и др.).

Пусть, например, процесс управления некоторой системой состоит из m шагов (этапов), на i-м шагу управление y_i переводит систему из состояния x_i-1 в новое состояние x_i, которое зависит от x_i-1 и y_i:
x_i = x_i(y_i, x_i-1).

Т. о., управление у₁, у₂, ..., у_m переводит систему из начального состояния x₀ в конечное х_m. Требуется выбрать x₀ и у₁, ..., у_m таким образом, чтобы целевая функция F = å^m_i=1 j_i (x_i-1, y_i) достигла максимального значения F*. Основным методом Динамическое программирование является сведение общей задачи к ряду более простых экстремальных задач. Пользуясь так называемым принципом оптимальности, сформулированным американским математиком Р. Беллманом, легко получить основное функциональное уравнение:

и                                                              (k = 2, ..., m - 1)
f₁(x₀) = F*,
где

(k = 1, ..., m).

Т. о., метод Динамическое программирование приводит к необходимости решения этой рекуррентной системы функциональных уравнений. В процессе решения последовательность этапов проходится дважды: в приведённом варианте рекуррентной системы в первый раз от конца к началу (находятся оптимальные значения F* и х*₀), второй раз — от начала к концу (находятся оптимальные управления y*₁, ..., у*_m).

Методы Динамическое программирование находят применение не только в дискретных, но и в непрерывных управляемых процессах, например в таких процессах, когда решения надо принимать в каждый момент некоторого интервала времени. Динамическое программирование дало новый подход к задачам вариационного исчисления.

Хотя метод Динамическое программирование существенно упрощает исходные задачи, однако непосредственное его применение, как правило, сопряжено с громоздкими вычислениями. Для преодоления этих трудностей разрабатываются приближённые методы Динамическое программирование
Лит.: Беллман Р., Динамическое программирование, пер. с англ., М., 1960; Хедли Дж., Нелинейное и динамическое программирование, пер. с англ., М., 1967.
  В. Г. Карманов.