基于最速下降法的改進(jìn)粒子群優(yōu)化算法

基于最速下降法的改進(jìn)粒子群優(yōu)化算法

顆粒群優(yōu)化算法（pso）。同時,在實際生活和實踐中,好多問題可以劃歸為相關(guān)函數(shù)的優(yōu)化問題,但是常常是有約束限定條件的,一般都很難直接用標(biāo)準(zhǔn)粒子群優(yōu)化算法來對這些優(yōu)化問題進(jìn)行求解.通過對粒子群優(yōu)化算法和差別進(jìn)化算法進(jìn)行比較,將兩者相結(jié)合,提出了一種混合的優(yōu)化算法來求解約束優(yōu)化問題,通過引入不可行解,避免算法在邊界區(qū)域發(fā)生震蕩或者發(fā)散的現(xiàn)象,加強對邊界區(qū)域的搜索綜述,目前我們采用最多的方法就是單目標(biāo)優(yōu)化問題、多目標(biāo)優(yōu)化問題、懲罰函數(shù)法、增廣Lagrange乘子法等.多目標(biāo)優(yōu)化問題普遍計算量比較大,一般會選擇轉(zhuǎn)化為單目標(biāo)優(yōu)化問題或者跟其他方法相結(jié)合的問題;罰函數(shù)作為常用的一種處理約束的方法,有其優(yōu)點,也有其缺點,我們很難確定合適的懲罰因子,并且參數(shù)的選擇很強烈的影響算法的效果.本文在增廣Lagrange乘子法的基礎(chǔ)上引入最速下降法的粒子群優(yōu)化算法,既保留了增廣Lagrange乘子法與粒子群優(yōu)化算法的優(yōu)點,又提高了算法的收斂效率,數(shù)值實驗結(jié)果也表明了所得算法具有較高的收斂效率和優(yōu)化性能.1根據(jù)lagoon積分法的增加和泛化優(yōu)化算法，改進(jìn)的顆粒群優(yōu)化算法1.1增廣lagrange乘子法約束非線性規(guī)劃問題的一般形式如下:在求解過程中,對于此約束優(yōu)化問題,我們將采用增廣Lagrange乘子法.增廣Lagrange乘子法就是在罰函數(shù)的基礎(chǔ)上引入Lagrange函數(shù),它的核心思想就是在目標(biāo)函數(shù)中加入懲罰項,其可以反映是否滿足約束,從而就可以構(gòu)成一個廣義目標(biāo)函數(shù),于是就可以將約束優(yōu)化問題(1)轉(zhuǎn)變?yōu)槿缦陆缂s束優(yōu)化問題:其中P(x,λ,σ)是增廣Lagrange罰函數(shù).增廣Lagrange乘子法主要分兩個部分呈現(xiàn),里面的結(jié)構(gòu),我們主要進(jìn)行數(shù)據(jù)的迭代,得到新的一組數(shù)據(jù);在外面我們通過修改相應(yīng)參數(shù)向量、檢查收斂準(zhǔn)則何時滿足以決定是否終止算法.參數(shù)向量的主要作用就是使得我們算出來的迭代點越來越靠近原問題(1)的駐點,如果我們發(fā)現(xiàn)原問題有可行解,那就代表乘子法函數(shù)在應(yīng)用于該問題時就具有有限收斂性.乘子向量λ和σ初始化時,λ其中當(dāng)稱為可行性度量.參數(shù)修正之后進(jìn)行下一次Lagrange乘子法迭代,每一次迭代所得的點將向子問題最優(yōu)解靠近.在給定誤差條件下,我們需為算法設(shè)置終止條件,對于子問題(2)的解1.2最速下降法對界約束極小化問題(2)的求解,可以按照無約束優(yōu)化問題求解目標(biāo)函數(shù)最值,通?？梢圆捎锰荻确?、擬牛頓法、粒子群優(yōu)化算法等,界約束可以在自變量取值時體現(xiàn).對于復(fù)雜的高維大規(guī)模問題,一般常用粒子群優(yōu)化算法來求解(粒子初始化時取值區(qū)間由界約束條件確定),但粒子群優(yōu)化算法和其它群體迭代算法一樣,具有收斂速度慢的缺陷,因此,本文將對基本粒子群優(yōu)化算法進(jìn)行改進(jìn).基本粒子群優(yōu)化算法將每個個體看成n維搜索區(qū)間中的一個沒有質(zhì)量和體積的粒子,算法對參數(shù)初始化時粒子在整個搜索區(qū)間上隨機分布,隨著算法迭代的進(jìn)行,粒子群在搜索區(qū)間上不斷移動.從理論上講,只要迭代次數(shù)足夠多,粒子群必定會取遍整個搜索區(qū)間,算法就一定能夠找到問題的全局最優(yōu)解.然而,增加算法的迭代次數(shù)必定會導(dǎo)致算法運行時間增加,降低算法的效率,而且在粒子群進(jìn)行自身位置更新時,雖然參考當(dāng)前個體歷史最優(yōu)位置和群體歷史最優(yōu)位置信息,但是由于有隨機數(shù)的參與,粒子的移動方向仍然具有隨機性,則更新后的新位置不一定比原來位置更優(yōu).如果更新后的新位置比原位置差,這就意味著算法進(jìn)行了一次無意義的迭代,降低了算法的效率.如果在粒子群位置更新時,能夠使粒子按照下降方向?qū)ふ蚁乱粋€點,則不會存在無意義的迭代情況,算法效率會有較大提高.無約束優(yōu)化問題的經(jīng)典算法———最速下降法就是從給定初始點出發(fā),利用該點處負(fù)梯度信息尋找下一個點,由于負(fù)梯度方向是粒子下降方向,所以粒子按負(fù)梯度方向?qū)ふ业南乱粋€點一定比原來點更優(yōu),不會出現(xiàn)無意義的迭代情況.所以最速下降法能夠快速地找到問題的局部極小值,而不一定能找到全局最小值,尤其對于多峰函數(shù),最速下降法很難找到問題的全局最優(yōu)解.結(jié)合基本粒子群優(yōu)化算法較強的全局搜索能力和最速下降法計算量小且容易收斂的優(yōu)點,本文將最速下降法引入到基本粒子群優(yōu)化算法.在基本粒子群優(yōu)化算法中,每個粒子j的位置和速度更新如下:其中,v為搜索方向,其中g(shù)對最優(yōu)位置p通常根據(jù)Amrijo準(zhǔn)則來求解滿足式(13)的α.按照式(12)迭代求得的局部最優(yōu)解將比基本粒子群優(yōu)化算法得到的p1.3粒子初始編碼1)初始化Lagrange乘子法參數(shù)λ2)借助Lagrange函數(shù)將約束優(yōu)化問題(1)轉(zhuǎn)化為界約束優(yōu)化問題(2);3)初始化粒子群優(yōu)化算法各參數(shù),隨機產(chǎn)生初始粒子及速度;4)根據(jù)式(9)和式(10)計算微粒下一代的速度v5)將粒子按照優(yōu)劣排序,并且更新各微粒的個體歷史最優(yōu)位置p6)選取若干粒子,比如令x7)如果‖d8)令α=1;10)如果11)計算:令kk=kk+1,返回7);13)對于選取的其他粒子,重復(fù)采取6)~12)操作;14)判斷最優(yōu)解p15)判斷是否滿足Lagrange乘子法終止條件16)根據(jù)式(5)~式(8)修正Lagrange乘子法參數(shù)λ2增廣lagrange差分進(jìn)化算法測試為了測試本文提出的混合粒子群優(yōu)化算法的數(shù)值效果,我們選取國際上通行的7個基準(zhǔn)測試問題來進(jìn)行實驗分析,即g01、g05、g06、g07、g09、g11和g13進(jìn)行測試本文采用Matlab2014a實驗平臺進(jìn)行數(shù)值實驗,并對每個測試函數(shù)進(jìn)行30次獨立試驗.經(jīng)過試驗后發(fā)現(xiàn),在運算次數(shù)相等的前提下,策略2和策略4的運算結(jié)果更加精確,例如對于g13函數(shù)而言,當(dāng)?shù)?0次時,策略1和策略2的運算結(jié)果的平均值僅僅是0.061624和0.063829,而策略2和策略4則分別達(dá)到了0.057和0.05512,因此排除策略1和策略3.對于策略2和策略4,我們可以對它們進(jìn)行改進(jìn),在保證結(jié)果精確的情況下,減少運算次數(shù).兩種策略改進(jìn)如表2.接下來我們就要對表2這兩種思路都進(jìn)行實驗,設(shè)置Lagrange罰函數(shù)的內(nèi)層粒子群優(yōu)化算法種群規(guī)模N為30.本文采用Matlab2014a實驗平臺進(jìn)行數(shù)值實驗,并對每個測試函數(shù)進(jìn)行30次獨立試驗,經(jīng)過多次試驗,我們可得優(yōu)化后的策略4在保證計算結(jié)果精度的情況下,種群迭代次數(shù)只有100次,是所有策略中種群迭代次數(shù)最低的.因此,策略4是本文要選擇的策略,記為ZK_PSO_SD算法.將增廣Lagrange差分進(jìn)化算法記為ALCODE算法從表3可以看出,經(jīng)7個測試問題測試,4種算法基本都可以得到最優(yōu)解,但每個算法均有利弊.對于問題g01和g11,4種算法都能夠得到最優(yōu)解,而且算法很穩(wěn)定;對于問題g05,本文算法能夠求得最優(yōu)解,但是另外3種對比算法都沒能得到最優(yōu)解;對于問題g06和g07,ALCODE算法、MODE算法和本文算法均能夠穩(wěn)定的得到最優(yōu)解,SR算法雖能求得最優(yōu)解,但從最優(yōu)解平均值看,穩(wěn)定性較差;對于問題g09,ALCODE算法和MODE算法能夠穩(wěn)定的求得最優(yōu)解,SR算法雖然也能夠得到最優(yōu)解,但穩(wěn)定性不高,有時也會陷入局部極值;對于問題g13,SR算法和本文算法均能夠得到最優(yōu)解,但從最優(yōu)解平均值看,MODE算法和SR算法穩(wěn)定性較低,同時MODE算法得不到全局最優(yōu)解.從各個方面分析看,本文算法占絕對優(yōu)勢.對于問題g13,本文算法外層循環(huán)迭代次數(shù)僅為3次,內(nèi)層循環(huán)迭代次數(shù)為100次,因此其外層循環(huán)和內(nèi)層循環(huán)總的最大迭代次數(shù)為300次.而種群規(guī)模N為30,每一次粒子群迭代都需要進(jìn)行7次最速下降法求解最小值,所以算法的最大適應(yīng)值評價次數(shù)為11100次.ALCODE算法雖然結(jié)果相對較好,但是算法設(shè)置的適應(yīng)值評價次數(shù)為350000次,是本文算法的近32倍,因而ALCODE算法的運行時間將是本文算法的近32倍;MODE算法和SR算法原文沒有給出最大適應(yīng)值評價次數(shù),但給出的最大迭代次數(shù)為5800次,是本文算法的近19.4倍.在結(jié)果相差不大的情況下,本文算法運行時間短,性能較優(yōu).總的來說,對于7個測試函數(shù),本文提出的ZK_PSO_SD算法均能夠求得全局最優(yōu)解,而且算法的迭代次數(shù)較少,運行時間短,相比其他算法更優(yōu).本文算法引入了最速下降法,克服了粒子群優(yōu)化算法在搜索方向隨機性這一弊端,提高了種群向最優(yōu)解逼近的速度.這些都表明,該方法是行之有效的.3增廣lagrange乘子法和最速下降法本文在求解約束優(yōu)化問題時,首先利用增廣Lagrange函數(shù)作為價值函數(shù),將約束優(yōu)化問題轉(zhuǎn)化為界約束優(yōu)化問題,然后再利用粒子群優(yōu)化算法求解界約束優(yōu)化子問題.