五種最優(yōu)化方法

1、五種最優(yōu)化方法1. 最優(yōu)化方法概述1.1最優(yōu)化問題的分類1）無約束和有約束條件；2） 確定性和隨機(jī)性最優(yōu)問題（變量是否確定）；3） 線性優(yōu)化與非線性優(yōu)化（目標(biāo)函數(shù)和約束條件是否線性）；4） 靜態(tài)規(guī)劃和動態(tài)規(guī)劃（解是否隨時間變化）。1.2最優(yōu)化問題的一般形式（有約束條件）：cnin f（X）h （X = OJ = U丄s, （X） 2 0+i = 2m式中f（X）稱為目標(biāo)函數(shù)（或求它的極小，或求它的極大），si（X）稱為不等式約 束，hj（X）稱為等式約束?；^程就是優(yōu)選 X，使目標(biāo)函數(shù)達(dá)到最優(yōu)值。2. 牛頓法2.1簡介1）解決的是無約束非線性規(guī)劃問題；2）是求解函數(shù)極值的一種方法；3）是一種函

2、數(shù)逼近法。2.2原理和步驟精選半頓法的菲本思整是,在股小點(diǎn)附近用二階Taylor 式近戡口標(biāo)函敷M2赳內(nèi)求出相小點(diǎn)的估計(jì)値一考走問題min /（.r） . r G B1, 9. 3, 1 乂令衍劉J r）的旺虛記作匸闔莊戎 電走f P*軟2,因此可用雷數(shù)無沖 的樋小點(diǎn)作為口標(biāo)團(tuán)數(shù)J3的様小 戊的怙計(jì)如果嚴(yán)）的極小點(diǎn)的乍牯計(jì)，算么利用（9.3.G式可以吋到極小點(diǎn)胛 今遜步的佔(zhàn)計(jì)這樣，利用送代瓷式【氏亂昭可以將到一個序列I可tlit明在-定條件下這個序列收St于問題XI）的址優(yōu)榊，祈且是2級收斂.3.最速下降法（梯度法）3.1最速下降法簡介1）解決的是無約束非線性規(guī)劃問題；2）是求解函數(shù)極值的一種

3、方法；3）沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向;3.2最速下降法算法原理和步驟4模式搜索法（步長加速法）4.1簡介1）解決的是無約束非線性規(guī)劃問題；2）不需要求目標(biāo)函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函 數(shù)的優(yōu)化問題時非常有效。3） 模式搜索法每一次迭代都是交替進(jìn)行軸向移動和模式移動。軸向移動的目的 是探測有利的下降方向，而 模式移動的目的則是沿著有利方向加速移動。4.2模式搜索法步驟R模式搜索法耳嚴(yán)基本原理軸向移動每次軸向務(wù)動時開始點(diǎn)稱為蔘考點(diǎn)嶺-給定的初始點(diǎn).“初始就美點(diǎn)x*M=y囂齊廣第決十1次軸向移動納束時所需到的點(diǎn)北=1,環(huán)“ S剋從點(diǎn)如*比喪作糕式尊動，

4、抽向秒動成功* 糕式移動否!it判斷想否有直丈 *渙勢定的允許說捲）？著憶選代St止：軸向移動失?。何沂澜^辰優(yōu)解苦無，且垃譏二盹堀矩步檢.忻從占岔出發(fā)進(jìn)軒下 坎納向科動；若無，且?guī)X付于珀，則從點(diǎn)斗少發(fā)用茅怏&逹疔下一慶軸向淳動一R8模式搜索法基本原理【摸式移動從點(diǎn)工中出發(fā)債幔式移動建描以1為步長梢初速方向右二比打-升移動 稈郭新的晏君點(diǎn)y 一 科 1 十 l 2jcttl - x4,鹽后，從新的羿葦點(diǎn)j 發(fā)，仍以気為步岳說行將甸移丙*5. 評價(jià)函數(shù)法5.1簡介評價(jià)函數(shù)法是求解多目標(biāo)優(yōu)化問題中的一種主要方法。在許多實(shí)際問題中， 衡量一個方案的好壞標(biāo)準(zhǔn)往往不止一個，多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下：m

5、in (f_1(x),f_2(x),f_k(x)s.t. g(x)v=O傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個單目標(biāo)函數(shù)，然后采用單目標(biāo)優(yōu)化技術(shù)求解。常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點(diǎn)法”。選取其中一種線性加權(quán)求合法 介紹。5.2線性加權(quán)求合法I對多目標(biāo)規(guī)劃問越中的p個目標(biāo)按其更要程度給以適當(dāng)?shù)臋?quán)系數(shù)四二帝二口嚴(yán) 且f四=1,然后用1-L町劃=叫八劉件為新的目標(biāo)函數(shù)*成為評價(jià) 目標(biāo)|函數(shù).再求解問題min k(jr) =1=1si. g (x) fl.;w得最優(yōu)解m叫 取T =聲作為夢目標(biāo)規(guī)劃問題的解.6. 遺傳算法智能優(yōu)化方法

6、是通過計(jì)算機(jī)學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進(jìn)而達(dá)到優(yōu)化的一種方法，主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1遺傳算法基本概念1. 個體與種群個體就是模擬生物個體而對問題中的對象 (一般就是問題的解)的一種稱呼。 種群就是模擬生物種群而由若干個體組成的群體，它一般是整個搜索空間的 一個很小的子集。2. 適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就是借鑒生物個體對環(huán)境的適應(yīng)程度，而對問題中的個體對象所設(shè)計(jì) 的表征其優(yōu)劣的一種測度。適應(yīng)度函數(shù)就是問題中的全體個體與其適應(yīng)度之間的一個對應(yīng)關(guān)系。該函數(shù)就是遺傳算法中指導(dǎo)搜索的評價(jià)函數(shù)6.2遺傳算法基本流程遺傳算法的中心思想就是對一定數(shù)量個體組成的生物種群進(jìn)行選擇、交叉、 變異等遺傳操作，最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步1在搜索空間U上定義一個適應(yīng)度函數(shù)f(x)，給定種群規(guī)模N,交叉率Pc 和變異率Pm代數(shù)T;步2隨機(jī)產(chǎn)生U中的N個個體s1, s2,sN ,組成初始種群S=s1, s2,sN,置代數(shù)