Предметом классических методов оптимизации являются задачи нахождения значений некоторых переменных, подчиненных (условная оптимизация) или не подчиненных (безусловная оптимизация) системе ограничений в виде равенств, при которых достигается максимальное или минимальное значение целевой функции. Целевая функции и функции, определяющие ограничения, должны быть непрерывными и дифференцируемыми. Других ограничений, включая не отрицательность переменных, на характер функций не предполагается. Математическая модель такой задачи может быть представлена в векторной форме
f(x) → max при g(x) = b, (1.1)
где x = (x1, x2, …, xn); b = (b1, b2, …, bm)
или в скалярной форме
f(x1, x2, …, xn) > max;
g1(x1, x2, …, xn) = b1;
… (1.2)
gm(x1, x2, …, xn) = bm.
Предполагается, что n > m. Разность (n – m) – это число степеней свободы. Пересечение этих m уравнений образует допустимое множество решений
X = {x ∈ En/g(x) = b}. (1.3)
Для данной постановки, согласно теореме Вейерштрасса [15, 41], оптимальное решение существует, если целевая функция непрерывна и множество допустимых решений является компактом и непустым. Рассмотрение классических методов оптимизации начнем с метода безусловной оптимизации.