Безградиентни методи за оптимизация
Координатната стратегия на Гаус и Зайдел [54] е разширение на стратегията за едномерна оптимизация към многомерни проблеми. В съответствие с тази стратегия, като се започне от първоначалното състояние, само първият параметър се оптимизира, докато функцията за качество достигне своя максимум, при което всички останали параметри остават постоянни. Всички останали параметри се оптимизират в съответствие със същия принцип. Ако в резултат на промяна на параметрите качеството не се подобри, процесът на оптимизация се прекратява. Едномерната стратегия за намиране на оптимума се избира свободно. Когато се използва основната форма на този метод, търсенето може да се извърши както в положителна, така и в отрицателна посока.
Метод на въртене на координатите
Тази стратегия е разработена на базата на координатната стратегия [75]. При използване на метода на въртене на координатите посоката на търсене не се задава от линии, успоредни на една от координатните оси. Вместо това се въвежда нова координатна система за търсене на оптимума. Една от осите на тази координатна система съвпада с посоката на вектора, получен чрез свързване на началната и крайната точка на предишната стъпка на итерация. Координатните оси за други измерения винаги са ортогонални на тази ос и на другите координатни посоки. С тази процедура се увеличава вероятността за намиране на правилната посока на търсене, което обикновено се изразява в увеличаване на скоростта на конвергенция.
Търсене по модел (директно търсене)
Търсенето по шаблон на Hook-Jeevis [62] е подобрена координатна стратегия. Когато използвате този метод, първата стъпка от търсенето се извършва по същия начин, както при използване на координатната стратегия. Ако приемем, че линията, свързваща началната и крайната точка, епредставлява най-обещаващата посока, една итерация се извършва в тази посока чрез метода на екстраполация (движение по шаблона). Успехът на екстраполацията се оценява само след оценка на качеството на допълнителната стъпка на търсене. Ако ходът е неуспешен, тогава стъпката се отменя; ако успее, движението в тази посока продължава. Чрез промяна на размера и посоката на стъпката на екстраполация е възможно да се отговори на резултатите от отделните стъпки по такъв начин, че докато оптималната посока на търсене постепенно се променя, дължината на стъпката на екстраполация се променя от време на време, като по този начин се намалява времето за търсене.
Стратегия на Дейвис, Суон и Кампи (DSC).
Стратегията на Davis, Swann и Campy е комбинация от стратегията на ротационните координати и стратегията за линейно търсене [50]. От началната точка по посока на всяка от координатните оси се извършва линейно търсене на оптимума. След това, започвайки от избраната по този начин оптимална крайна точка, се извършва едномерна оптимизация по посока на линията, свързваща началната и крайната точка. След това осите на координатната система се пренасочват така, че да образуват нормализирана правоъгълна координатна система и се извършва ново линейно търсене по посока на координатните оси на тази система. След това отново се извършва едномерна оптимизация по посока на линията, свързваща началната и крайната точка.
Симплексни и комплексни методи
Друга стратегия за намиране на оптимума, различна от разгледаните по-горе, е разработена на базата на симплексния метод на Педлър и Мийд [71]. В съответствие с този метод, най-малко n + 1 начални точки са посочени в w-измерното пространство за търсене, което съответства на един набор от параметри. Избраните начални точки са на еднакво разстояние една от друга. INКато цяло тази конфигурация съответства на правилен многостен, наречен симплекс. Оптимизацията в съответствие с тази стратегия започва с оценката на всички върхове, всяка от които описва набор от параметри (обикновено тази оценка се извършва с помощта на функция за качество или функция за оценка). Следващата стъпка е да се намери върха, за който стойността на функцията за оценка е най-лошата от всички. Този набор от параметри се отхвърля и се заменя с нов, генериран чрез картографиране на изходната точка спрямо центъра на останалите точки. Ако новополученият връх при следващата итерация също дава най-лошата оценка, тогава се отразява върхът, който дава най-лош резултат. След това тази процедура се повтаря. Ако в резултат на този итеративен процес симплексът се доближи до оптимума, той се върти около върха, който дава най-добрата оценка. В този случай най-доброто приближение може да се получи чрез намаляване на дължината на ръба на симплекса. На фиг. 4.32 показва напредъка на тази процедура в двумерно пространство за търсене. Затворените криви в тази илюстрация съответстват на точки, където стойността на точковата функция е същата. В този случай началните точки са обозначени като O1,02 и O3. Точка 1 се получава чрез отразяване на точка O1 около центъра на линията, свързваща точките O2 и O3 и т.н.