Одномерная минимизация. Простейший метод одномерной оптимизации. Одномерная минимизация. Требуется знание константы Липшица для данной функции. Одномерная минимизация. Квадратичная скорость сходимости к минимуму (с гарантированной линейной сходимостью). Многомерная минимизация. Лучший выбор в случае дважды непрерывно дифференцируемой функции, чей градиент неизвестен. Многомерная минимизация. Требуется градиент функции. Компактная схема хранения данных: требует объем памяти порядка O(N). Многомерная минимизация с простыми ограничениями. Требуется градиент функции. Компактная схема хранения данных: требует объем памяти порядка O(N). Метод Левенберга-Марквардта для минимизации суммы квадратов M функций N аргументов. В этом введении я изложу краткие рекомендации и свое мнение по поводу различных методов оптимизации. Одним из первых вопросов, встающих при поиске минимума, является вопрос о точности: насколько точно должен быть локализован минимум. Скажем, при поиске однократного корня функции можно расчитывать на его нахождение с точностью , близкой к машинной. При поиске минимума обычно на такую точность расчитывать нельзя. Это связано с тем, что в окрестностях минимума функция ведет себя, как парабола. Уже на расстоянии порядка . Хотя мы можем указать положение минимума более точно, мы не в состоянии заметить изменение в значении функции, поскольку оно находится на грани машинной точности. Таким образом, точность поиска минимуму должна быть не меньше квадратного корня из машинной точности. Большая точность не имеет смысла, поскольку просто не может быть достигнута. Вторым вопросом является вопрос о выборе метода. В одномерном случае подходящим выбором является , сочетающий в себе среднюю квадратичную скорость сходимости к минимуму в случае гладкой функции с гарантированной линейной скоростью сходимости в случае негладкой задачи. Существуют методы с более высокой скоростью сходимости, но в условиях ограниченной точности их применение не имеет смысла, поскольку большую часть времени мы тратим на то, чтобы подобраться к окрестности, в которой эта сверхбыстрая сходимость начинает действовать. А после того, как началась сверхлинейная сходимость к минимуму, стандартные 15 десятичных цифр мантиссы уточняются за три-четыре итерации независимо от скорости сходимости. Вот в случае, если вам требуется найти минимум с точностью с использованием чисел с огромной разрядной сеткой, погоня за высокими порядками сходимости имеет смысл, но обычно игра не стоит свеч. В многомерном случает выбор метода зависит от того, известен ли градиент функции в аналитической форме, или нет. В случае, если градиент функции задан аналитически, т.е. может быть вычислен точно и достаточно быстро (разностная схема - очень медленный способ), то оптимальным выбором является . Если градиент функции может быть вычислен только при помощи разностной схемы, то выбор метода зависит от размерности. В случае низкой размерности предпочтительным вариантом явл