五種最優(yōu)化方法

1、五種最優(yōu)化方法1 .最優(yōu)化方法概述1.1 最優(yōu)化問題的分類1）無約束和有約束條件；2）確定性和隨機性最優(yōu)問題（變量是否確定）；3）線性優(yōu)化與非線性優(yōu)化（目標(biāo)函數(shù)和約束條件是否線性）；4）靜態(tài)規(guī)劃和動態(tài)規(guī)劃（解是否隨時間變化）。1.2 最優(yōu)化問題的一般形式（有約束條件）：minf(X)XwQhb(X)=0J=l2.Ls.tsJX)>OJ=12“.ru式中f（X）稱為目標(biāo)函數(shù)（或求它的極小，或求它的極大），si（X）稱為不等式約束，hj（X）稱為等式約束?；^程就是優(yōu)選X,使目標(biāo)函數(shù)達(dá)到最優(yōu)值。2 .牛頓法2.1 簡介1）解決的是無約束非線性規(guī)劃問題：2）是求解函數(shù)極值的一種方法：3）是一種

2、函數(shù)逼近法。2.2 原理和步驟牛頓法的軍本思想是，在極小點附近川一階T,vlor多頂式近似目標(biāo)函數(shù)；）,進(jìn)而求出極小點的估計值.考慮問題73.1)miii/(j*).工WI鼠,甲-八工，界）+）J得到NQ的底點，記作廣I則在點工八附近，/1因此可用函數(shù)/力的極小點作為目標(biāo)函數(shù)八m的極小點的的計.如果是了上）的極小點的個估計，那么利卅9,3,21式可以得到極小點的個進(jìn)步的估“.這拌*利用迭代公火（W3.力可以得到個序列可以證明，在定條件F，這個序列收斂于問題（9.3.1）的最優(yōu)解,而且是2級收斂3 .最速下降法（梯度法）3.1 最速下降法簡介1）解決的是無約束非線性規(guī)劃問題；2）是求解函數(shù)極值的

3、一種方法：3）沿函數(shù)在該點處目標(biāo)函數(shù)下降最快的方向作為搜索方向:3.2 最速下降法算法原理和步驟最速卜降法的迭代公式是(10,10)其中d是從小|出發(fā)的搜索方向,這里取在點處的最速王隆田也E|J九是從工強發(fā)沿方向一進(jìn)行一維搜索的步長，即3滿足（KUJI）f(.xk,+入城山)=min/(rcA)+),計算步驟如下:給定制苴/，允許誤差e>0,置QL（2）計算搜索方向*1=$”，）.（3）若|E，則停止計算;否則，從上山出發(fā)，沿d進(jìn)行一維搜索，求人，便W+W"min/"-'）,（4）令嚴(yán)力=置*=4+】，轉(zhuǎn)步驟.4 .模式搜索法（步長加速法）4.1 簡介1）解決

4、的是無約束非線性規(guī)劃問題；2）不需要求目標(biāo)函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函數(shù)的優(yōu)化問題時非常有效。3）模式搜索法每一次迭代都是交替進(jìn)行軸向移動和模式移動。軸向移動的目的是探測有利的下降方向，而模式移動的目的則是沿著有利方向加速移動。4.2 模式搜索法步驟模式搜索法二基本原理(A)軸向移動T用y表示 每次軸向移動的開始點稱為參考點 %給定的初始點,1初/承孝/小+產(chǎn)？與.廣第A+1次軸向移動結(jié)束時所得到的點，氏m鼻, 若覆,i)<f(4)，則從點與*出發(fā)作模式移動一軸向移動成功模式移動 否則，判斷是否有&<e(£為給定的允許讀著)？若有.迭代終

5、止；軸向移動失收：找到近似靛優(yōu)解I若無，且勺*1=*，明端短步長.仍從點工出發(fā)進(jìn)行下次抽向移動¥若無，且工卬羊馬,則從點工*出發(fā)用步長團(tuán)進(jìn)行下一次柏陶移動模式搜索法基本原理(B)模式移動從點苞“出發(fā)的建式移動是指以1為步民海加速方向/K,N-力移動得到新的參考點y二工“1+6=2七*1-xtl然后，夙新的參考點產(chǎn)出發(fā)，仍以推為室長進(jìn)行他向移動.5 .評價函數(shù)法5.1 簡介評價函數(shù)法是求解多目標(biāo)優(yōu)化問題中的一種主要方法。在許多實際問題中，衡量一個方案的好壞標(biāo)準(zhǔn)往往不止一個，多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下：min(f_1(x),f_2(x),.,f_k(x)s.t.g(x)<=0傳統(tǒng)的

6、多目標(biāo)優(yōu)化方法本質(zhì)是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù)，經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個單目標(biāo)函數(shù)、然后采用單目標(biāo)優(yōu)化技術(shù)求解。常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點法”選取其中一種線性加權(quán)求合法介紹。5.2 線性加權(quán)求合法對多目標(biāo)規(guī)劃問題中的P個目標(biāo)按其重要程度給以適當(dāng)?shù)臋?quán)系數(shù)碼之0,k12,P，且£外二】，然后用1可刈二£”（*）作為新的目標(biāo)函數(shù)，成為評價目標(biāo)）百函數(shù),再求解問題min二£生工（翼）J=1st-得最優(yōu)解/叫取/二工作為多目標(biāo)規(guī)劃問題的解一6 .遺傳算法智能優(yōu)化方法是通過計算機學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進(jìn)而達(dá)到優(yōu)化的一種方法，

7、主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1 遺傳算法基本概念1 .個體與種群個體就是模擬生物個體而對問題中的對象（一般就是問題的解）的一種稱呼,種群就是模擬生物種群而由若干個體組成的群體，它一般是整個搜索空間的一個很小的子集。2 .適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就是借鑒生物個體對環(huán)境的適應(yīng)程度，而對問題中的個體對象所設(shè)計的表征其優(yōu)劣的一種測度。適應(yīng)度函數(shù)就是問題中的全體個體與其適應(yīng)度之間的一個對應(yīng)關(guān)系。該函數(shù)就是遺傳算法中指導(dǎo)搜索的評價函數(shù)3 .2遺傳算法基本流程遺傳算法的中心思想就是對一定數(shù)量個體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作，最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步1在搜索空間U上定義一個適應(yīng)度函數(shù)f(x),給定種群規(guī)模N,交叉率Pc和變異率Pm代數(shù)T；步2隨機產(chǎn)生U中的N個個體s1,s2,sN、組成