(完整word版)五種最優(yōu)化方法

1、五種最優(yōu)化方法1. 最優(yōu)化方法概述1.1 最優(yōu)化問題的分類1）無約束和有約束條件；2）確定性和隨機性最優(yōu)問題（變量是否確定）；3）線性優(yōu)化與非線性優(yōu)化（目標函數(shù)和約束條件是否線性）；4）靜態(tài)規(guī)劃和動態(tài)規(guī)劃（解是否隨時間變化）。1.2 最優(yōu)化問題的一般形式（有約束條件） ：式中 f(X) 稱為目標函數(shù) (或求它的極小，或求它的極大 )，si(X) 稱為不等式約束， hj(X) 稱為等式約束?；^程就是優(yōu)選 X ，使目標函數(shù)達到最優(yōu)值。2. 牛頓法2.1 簡介1）解決的是無約束非線性規(guī)劃問題；2）是求解函數(shù)極值的一種方法；3）是一種函數(shù)逼近法。2.2原理和步驟3. 最速下降法（梯度法）3.1 最速

2、下降法簡介1）解決的是無約束非線性規(guī)劃問題；2）是求解函數(shù)極值的一種方法；3）沿函數(shù)在該點處目標函數(shù)下降最快的方向作為搜索方向；3.2 最速下降法算法原理和步驟4. 模式搜索法 ( 步長加速法 )4.1 簡介1）解決的是無約束非線性規(guī)劃問題；2）不需要求目標函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函數(shù)的優(yōu)化問題時非常有效。3）模式搜索法每一次迭代都是交替進行軸向移動和模式移動。軸向移動 的目的是探測有利的下降方向，而模式移動 的目的則是沿著有利方向加速移動。4.2 模式搜索法步驟5. 評價函數(shù)法5.1 簡介評價函數(shù)法是求解多目標優(yōu)化問題中的一種主要方法。在許多實際問題中，衡量一個方

3、案的好壞標準往往不止一個，多目標最優(yōu)化的數(shù)學(xué)描述如下：min (f_1(x),f_2(x),.,f_k(x)s.t. g(x)=0傳統(tǒng)的多目標優(yōu)化方法本質(zhì)是將多目標優(yōu)化中的各分目標函數(shù)，經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個單目標函數(shù)， 然后采用單目標優(yōu)化技術(shù)求解。常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點法”。 選取其中一種線性加權(quán)求合法介紹。5.2 線性加權(quán)求合法6. 遺傳算法智能優(yōu)化方法是通過計算機學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進而達到優(yōu)化的一種方法，主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1 遺傳算法基本概念1. 個體與種群個體就是模擬生物個體而對問題中的對象（一

4、般就是問題的解） 的一種稱呼。種群就是模擬生物種群而由若干個體組成的群體, 它一般是整個搜索空間的一個很小的子集。2. 適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度 就是借鑒生物個體對環(huán)境的適應(yīng)程度, 而對問題中的個體對象所設(shè)計的表征其優(yōu)劣的一種測度。適應(yīng)度函數(shù) 就是問題中的全體個體與其適應(yīng)度之間的一個對應(yīng)關(guān)系。該函數(shù)就是遺傳算法中指導(dǎo)搜索的評價函數(shù)。6.2遺傳算法基本流程遺傳算法的中心思想就是對一定數(shù)量個體組成的生物種群進行選擇、交叉、變異等遺傳操作 , 最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步 1 在搜索空間 U上定義一個適應(yīng)度函數(shù)f(x) ，給定種群規(guī)模 N，交叉率 Pc和變異率 Pm，代數(shù) T；步 2 隨機產(chǎn)生 U 中的 N 個個體 s1, s2, sN ，組成初始種群S=s1,s2, sN ，置代數(shù)計數(shù)器 t=1 ；步 3 計算 S 中每個個體的適應(yīng)度 f() ；步 4 若終止條件滿