五種最優(yōu)化方法

1、五種最優(yōu)化方法1 .最優(yōu)化方法概述1.1 最優(yōu)化問題的分類1）無約束和有約束條件；2）確定性和隨機(jī)性最優(yōu)問題（變量是否確定）；3）線性優(yōu)化與非線性優(yōu)化（目標(biāo)函數(shù)和約束條件是否線性）4）靜態(tài)規(guī)劃和動(dòng)態(tài)規(guī)劃（解是否隨時(shí)間變化）。L 2最優(yōu)化問題的一般形式（有約束條件）：min f （X）XeQh'X） = OJ = 5 L s.tSi （X） > OJ = l9%ou,m式中f （X）稱為目標(biāo)函數(shù)（或求它的極小，或求它的極大），Si （X）稱為不等式約 束，hj （X）稱為等式約束。化過程就是優(yōu)選X，使目標(biāo)函數(shù)達(dá)到最優(yōu)值。2 .牛頓法2.1 簡(jiǎn)介1）解決的是無約束非線性規(guī)劃問題；2）

2、是求解函數(shù)極值的一種方法；3）是一種函數(shù)逼近法。 1：頓法的直本思想顯*在報(bào)小點(diǎn)附近用-階T嚇1小多頂式近似3標(biāo)函數(shù)亡進(jìn)而求出極小點(diǎn)的估計(jì)值，老ts問題min FWHE1R1< 9i 3. 1 1令祕(mì) Jr) =/ «，) +/ (JHtXx-Jut) +y/ (jH' K4T-J01 Y . 耳令4(+f>-/d 時(shí))+ jf* vJ 111 xj-FN、= O得到啊2的肛.EL記作工“小側(cè)在點(diǎn)d*JWiE./P*rh因此可用函數(shù)刊幻的極小點(diǎn)作為目標(biāo)函數(shù)J （）的極小點(diǎn)的估計(jì)如里rJ% /-r）的 極小點(diǎn)的個(gè)估計(jì)，那么利 9,312） %可且得到極小點(diǎn)的個(gè)進(jìn)吵的

3、估訃,這樣*利用迭代公式（乩3 2）可以 得到個(gè)洋列U可以證明"定條件F 這個(gè)序列收斂于問題（9飛”門的%優(yōu)解，而且是2級(jí)收斂3 .最速下降法（梯度法）3.1 最速下降法簡(jiǎn)介1）解決的是無約束非線性規(guī)劃問題；2 ）是求解函數(shù)極值的一種方法:3）沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向: 3.2最速下降法算法原理和步驟=F降法的迭代公式是(10. L 10)其中曠是從中咄發(fā)的搜索方向，這里取在點(diǎn)r處的量速下睫方治EIJ心)=- V/Y)九是從嚴(yán)出發(fā)沿方向中進(jìn)彳f 一維搜索的步長(zhǎng)，即Ju滿足£聶 + AfJ1*') = mnf(xIk) +M")( 1

4、0a J1)a計(jì)算步驟如下；TT) >=，允許誤差e>0TKI = L (2)計(jì)算搜索方向d出一V/ (X10 ).(3)若L F I!4，則停止計(jì)算;否則，從廠出發(fā)，沿進(jìn)行一維搜索，求秸，使> J k)= lniny(X八+%tf、(4)令嚴(yán)山=x' Mal t=pA + I ,轉(zhuǎn)步驟(2).4模式搜索法(步長(zhǎng)加速法)4.1簡(jiǎn)介 1)解決的是無約束非線性規(guī)劃問題； 2)不需要求目標(biāo)函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函 數(shù)的優(yōu)化問題時(shí)非常 有效。3)模式搜索法每一次迭代都是交替進(jìn)行軸向移動(dòng)和模式移動(dòng)。軸向移動(dòng)的目的是探測(cè)有利的下降方向，而模式移動(dòng)的目

5、的則是沿著有利方向加速移動(dòng)。4.2模式搜索法步驟模式搜索法基本原理(A)軸向移動(dòng)用y表示每次軸病移動(dòng)的開%點(diǎn)稱為參耆點(diǎn)心給定的初始點(diǎn).一初給秦孝點(diǎn)>Avb廣第盤+1次軸向移動(dòng)揩束時(shí)所得到的點(diǎn),丈二IZ- %«> < "X"聞從點(diǎn)Jt中出發(fā)作按式癟動(dòng)T由俞#多動(dòng)直功模式移動(dòng)否碰*判斷界否有航V £( £夬給定的允許慢總)？若有-選代終止；軸向移動(dòng)失叱找到近似漾優(yōu)解I若無，且斗利二嶺*則嵋短步1%.仍從點(diǎn)打出發(fā)進(jìn)行下-次軸向移弧若無大耐從點(diǎn)嶺出發(fā)用步長(zhǎng)擊進(jìn)行下枚軸閔移動(dòng)模式搜索法基本原理(B)模丸移動(dòng)從點(diǎn)航儀出發(fā)的熨武移動(dòng)是指以1

6、為步燒沿站速方向或移動(dòng)日寺到新的參考點(diǎn) y 二 1%>1 4- - 2Xhi - Xti% / %,%新的黑哮點(diǎn)J出發(fā)，仍以比丸步怪進(jìn)桿軸向移動(dòng).5 .評(píng)價(jià)函數(shù)法5.1 簡(jiǎn)介評(píng)價(jià)函數(shù)法是求解多目標(biāo)優(yōu)化問題中的一種主要方法。在許多實(shí)際問題中，衡量一個(gè)方案的好壞標(biāo)準(zhǔn)往往不止一個(gè)，多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下：min (f(x),f_2(x),.，f_k(x) s.t. g(x)<=0傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個(gè)單目標(biāo)函數(shù)，然后采用單目標(biāo)優(yōu)化技術(shù)求解。常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點(diǎn)法”。選取其中一種線性加權(quán)求合

7、法介紹。5.2 線性加權(quán)求合法對(duì)多目標(biāo)規(guī)劃問題中的P個(gè)目標(biāo)按其重要程度給以適當(dāng)?shù)臋?quán)系數(shù)也f二12小 且然后用t-i的幻八也必幻作為新的目標(biāo)函數(shù).成為評(píng)價(jià)目標(biāo)）min =J=lSt- gi（x）<i = lr2t-im得最憂解*叫取F二工作為多目標(biāo)規(guī)劃問題的解一6 .遺傳算法智能優(yōu)化方法是通過計(jì)算機(jī)學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進(jìn)而達(dá)到優(yōu)化的一種方法，主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1 遺傳算法基本概念1 .個(gè)體與種群個(gè)體就是模擬生物個(gè)體而對(duì)問題中的對(duì)象（一般就是問題的解）的一種稱呼種群就是模擬生物種 群而由若干個(gè)體組成的群體 > 它一般是整個(gè)搜索空間的一個(gè)很小的子集。2 .適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就是借鑒生物個(gè)體對(duì)環(huán)境的適應(yīng)程度，而對(duì)問題中的個(gè)體對(duì)象所設(shè)計(jì)的表征其優(yōu)劣的一種 測(cè)度。適應(yīng)度函數(shù)就是問題中的全體個(gè)體與其適應(yīng)度之間的一個(gè)對(duì)應(yīng)關(guān)系。該函數(shù)就是遺傳算法中指導(dǎo)搜索的評(píng)價(jià)函數(shù)6.2 遺傳算法基本流程生成初始種群計(jì)算適應(yīng)度選擇-復(fù)制交叉變異生成新一代種群遺傳算法的中心思想就是對(duì)一定數(shù)量個(gè)體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作，最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步1在搜索空間U上定義一個(gè)適應(yīng)度函數(shù)f(x)，給定種群規(guī)模N,交叉率PC和變異率Pm代數(shù)T ；步2隨機(jī)產(chǎn)生U中的N個(gè)個(gè)體si, s2, ,