五種最優(yōu)化方法

1、五種最優(yōu)化方法五種最優(yōu)化方法1、最優(yōu)化方法概述1、1最優(yōu)化問題的分類1無約束與有約束條件；2確定性與隨機(jī)性最優(yōu)問題變量就是否確定；3線性優(yōu)化與非線性優(yōu)化目標(biāo)函數(shù)與約束條件就是否線性;4靜態(tài)規(guī)劃與動態(tài)規(guī)劃解就是否隨時間變化.1、2最優(yōu)化問題的一般形式有約束條件：min fX X巷Ch X = OJ = U.LsLX 'i. 0*i = L2m式中fX稱為目標(biāo)函數(shù)或求它的極小,或求它的極大,siX稱為不等式約束,hjX稱為等式約束.化過程就就是優(yōu)選 X,使目標(biāo)函數(shù)到達(dá)最優(yōu)值.2、牛頓法2、1簡介1解決的就是無約束非線性規(guī)劃問題；2就是求解函數(shù)極值的一種方法;3就是一種函數(shù)逼近法.2、2原理

2、與步驟五種最優(yōu)化方法牛頓法的根本思想是.在根小點(diǎn)附近電二階內(nèi)多項(xiàng)式近似目標(biāo)函驗(yàn)一工,進(jìn)而 求出極小點(diǎn)跑估計值一考慮問題乂今j/*1“|卜/一一"> -0符到51臟點(diǎn).記作1網(wǎng)HMi _ R,一八J - T -'"3.2在小陰近,/力之54;因此可用函教職"的破小點(diǎn)作為目標(biāo)函數(shù)的械小 點(diǎn)的估計.如果是/工的極小點(diǎn)的一個估計那么利序工工方式可以得到極小點(diǎn)的-八漁步的估計 這料.利用途低公式4比3.二可以利可 個序列 可以證實(shí).R條件下,這個序列收斂彳問題S,£IJ的母優(yōu)解,而且是2級收斂.-X- |4 T' rt l h . J

3、71; _j_ur fc-J- IV JL. m 81dL,u »3、最速下降法梯度法3、1最速下降法簡介1解決的就是無約束非線性規(guī)劃問題；2就是求解函數(shù)極值的一種方法;3沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向;3、2最速下降法算法原理與步驟五種最優(yōu)化方法最速下降法的迭代公式是M Jt +AM圖.103.10其中護(hù)是從小出發(fā)的搜索方向,這里取在點(diǎn)E處的最速王隆拯b即a =-/,.l是從r出發(fā)沿方向d進(jìn)行一維搜索的步長,即般滿足fx ki +AtdtH = minfjr " +溫,.< 10. L 11計算步驟如下："M給東初點(diǎn)U允許誤差>0,

4、置2計算搜索方向dh V/xb.3假設(shè)| du,那么停止計臬否那么,從出發(fā),沿d進(jìn)行一維搜索,求小使/"+3d"=min/Cr'+比'小 L4令=小+小,置一國+1親步驟.4、模式搜索法步長加速法4、1簡介1解決的就是無約束非線性規(guī)劃問題；2不需要求目標(biāo)函數(shù)的導(dǎo)數(shù),所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函數(shù) 的優(yōu)化問題時非常有效.3模式搜索法每一次迭代都就是交替進(jìn)行軸向移動與模式移動.軸向移動的目的就是探測有利的下降方向,而模式移動的目的那么就是沿著有利方向加速移動.4、2模式搜索法步驟五種最優(yōu)化方法模式搜索法根本原理(A)軸向移動用¥表示 每次

5、軸向移動的開始點(diǎn)稱為賽號點(diǎn). 題-給定的初始點(diǎn).1*題/術(shù)考點(diǎn)X*H- J與+廣一第十I次軸向移動結(jié)束時所得到的點(diǎn).A = 12 假設(shè)卬1)<義工>那么從點(diǎn)出發(fā)咋犢戌移動,軸向移動成功 樵式移動 否也,判新是否有瓦< £,第給定的允許候船首祇迭代絳止*軸向移動失歐;戰(zhàn)到進(jìn)但廉優(yōu)R* 假設(shè)無,旦/7 =力,那么墉短步乩仍從百小出發(fā)進(jìn)行下 次軸向移動: 假設(shè)無,且%7 #小,耐從點(diǎn)越出發(fā)用步長為近行下一次軸向移動.模式搜索法根本原理1玲模式移動從點(diǎn)上出嶷的炮式移動懸指以1為生長沿加逑方向小二與*J -占移型 傅到新的簍考點(diǎn)y = h*h +.= 24“-力,棲后.尿新的

6、我節(jié)點(diǎn)f出發(fā),例“兒為涔長斑行汨問秫由,5、評價函數(shù)法5、1簡介評價函數(shù)法就是求解多目標(biāo)優(yōu)化問題中的一種主要方法.在許多實(shí)際問題中,衡量一個方案的好壞標(biāo)準(zhǔn)往往不止一個,多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下：min (f_1(x),f_2(x),、,f_k(x)s 、t、g(x)<=0傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)就是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換,轉(zhuǎn)變成一個單目標(biāo)函數(shù),然后采用單目標(biāo)優(yōu)化技術(shù)求解.常用的方法有五種最優(yōu)化方法“線性加權(quán)與法、“極大極小法、“理想點(diǎn)法.選取其中一種線性加權(quán)求合法 介紹.5、2線性加權(quán)求合法I對多目標(biāo)規(guī)劃問題中的p個目標(biāo)按其蔻要程度給以適當(dāng)?shù)臋?quán)系數(shù)啊皂.花=12

7、y,且f>,二L然后用 肌回作為新的目標(biāo)函數(shù),成為評價1目標(biāo) 函數(shù).再求解問題min Mm = S si./ 0/ = L2. m得最優(yōu)解M% 取工. =M作為多目標(biāo)規(guī)劃問題的解.6、遺傳算法智能優(yōu)化方法就是通過計算機(jī)學(xué)習(xí)與存貯大量的輸入-輸出模式映射關(guān)系,進(jìn)而到達(dá)優(yōu)化的一種方法,主要有人工神經(jīng)網(wǎng)絡(luò)法,遺傳算法與模擬退火法等.6、1遺傳算法根本概念1、個體與種群個體就就是模擬生物個體而對問題中的對象一般就就是問題的解的一種稱 呼.種群就就是模擬生物種群而由假設(shè)干個體組成的群體 ,它一般就是整個搜索空 間的一個很小的子集.2、適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就就是借鑒生物個體對環(huán)境的適應(yīng)程度,而對問題中的個體對象所設(shè) 計的表征其優(yōu)劣的一種測度.適應(yīng)度函數(shù)就就是問題中的全體個體與其適應(yīng)度之間的一個對應(yīng)關(guān)系.該函數(shù)就就是遺傳算法中指導(dǎo)搜索的評價函數(shù).6、2遺傳算法根本流程五種最優(yōu)化方法遺傳算法的中央思想就就是對一定數(shù)量個體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作,最終求得最優(yōu)解或近似最優(yōu)解.遺傳算法步驟步1在搜索空間U上定義一個適應(yīng)度函數(shù)f(x),給定種群規(guī)模N,交叉率Pc 與變異率Pm代數(shù)T;步2隨機(jī)產(chǎn)生U中的N個個體s1, s2,sN