粒子群與BP神經(jīng)網(wǎng)絡(luò)結(jié)合

1、粒子群優(yōu)化算法聚類分析與訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)智能優(yōu)化算法：最優(yōu)化問題是指在一定的約束條件下，決定某個(gè)或某些可控制的因素應(yīng)有的合理取值，使所選定的目標(biāo)達(dá)到最優(yōu)的問題。人們借鑒自然現(xiàn)象，提出了模擬退火法(SA)、遺傳算法(GA)、神經(jīng)網(wǎng)絡(luò)法()；人們通過學(xué)習(xí)生物的生活規(guī)律，提出了蟻群算法(ACO)、粒子群優(yōu)化算法(PSO)。人們將這些模仿自然現(xiàn)象及生物體的各種原理和機(jī)理的方法，稱為智能優(yōu)化算法。粒子群優(yōu)化算法粒子群算法的起源 粒子群優(yōu)化算法(Particle Swarm Optimization，PSO），是一種啟發(fā)式群智能進(jìn)化計(jì)算技術(shù)，由Kennedy and Eberhart于1995年提出，來源

2、于對鳥群捕食的行為的研究，是一種基于迭代的優(yōu)化工具。James Kennedy received the Ph.D. degree from theUniversity of North Carolina, Chapel Hill, in 1992.He is with the U.S. Department of Labor, Washington,DC. He is a Social Psychologist who has been working with the particle swarm algorithm since 1994. He has published dozens

3、of articles and chapters on particle swarms and related topics, in computer science and social science journals and proceedings. He is a coauthor of Swarm Intelligence (San Mateo, CA: Morgan Kaufmann, 2001), with R.C. Eberhart and Y. Shi, now in its third printing.Russell C. Eberhart (M88SM89F01) re

4、ceived the Ph.D. degree in electrical engineering from Kansas State University, Manhattan.He is the Chair and Professor of Electrical and Computer Engineering, Purdue School of Engineering and Technology, Indiana UniversityPurdue University Indianapolis (IUPUI),Indianapolis, IN. He is coeditor of Ne

5、ural Network PC Tools(1990),coauthor of Computational Intelligence PC Tools (1996), coauthor of Swarm Intelligence(2001), Computational Intelligence: Concepts to Implementations(2004). He has published over 120 technical papers.Dr. Eberhart was awarded the IEEE Third Millenium Medal. In 2002, he bec

6、ame a Fellow of the American Institute for Medical and Biological Engineering.近年P(guān)SO方面文獻(xiàn)的數(shù)量粒子群算法的主要應(yīng)用 (一)函數(shù)優(yōu)化 (二)神經(jīng)網(wǎng)絡(luò)訓(xùn)練 (三)工程領(lǐng)域應(yīng)用 (四)PSO算法還在生物工程、電磁學(xué)、數(shù)據(jù)挖掘等很多領(lǐng)域都取得了較好的效果。 一.粒子群算法的原理原始粒子群優(yōu)化算法標(biāo)準(zhǔn)粒子群優(yōu)化算法原始粒子群優(yōu)化算法Pbest:個(gè)體極值(粒子自身所找到的當(dāng)前最優(yōu)解)Gbest:全局極值(整個(gè)群體當(dāng)前找到的最優(yōu)解)設(shè)D維搜索空間中，有M個(gè)粒子，其中第i個(gè)的位置是Xi =(xi1,xi2,.xiD)，速度為

7、Vi =(vi1,vi2,.,viD)，i = 1,2，M。搜索到的歷史最優(yōu)位置為Pi =(pi1,pi2,.,piD)，整個(gè)粒子群體搜索到的最優(yōu)位置為Pg =(pg1,pg2,.,pgD)。Knenedy和Eberhrtn最早提出的PSO算法的位置和速度公式的方程如下： （1-1） （1-2） 其中i = 1,2,M；d = 1,2,D；r1和r2是兩個(gè)相互獨(dú)立的隨機(jī)數(shù)，服從0，1上的均勻分布標(biāo)準(zhǔn)粒子群優(yōu)化算法帶慣性權(quán)重的標(biāo)準(zhǔn)粒子群算法 Shi Y.H和Eberhart在記憶部分引入慣性權(quán)重，于是公式(2-1)可以修改成為如下公式： （1-3） 帶收斂因子的標(biāo)準(zhǔn)粒子群算法 Clerc建議采用

8、收縮因來子保證PSO算法收斂，于是公式(2-1)修改成如下公式： （1-4） 其中， 為收縮因子， 。 從數(shù)學(xué)上分析，慣性權(quán)值和收縮因子這兩個(gè)參數(shù)是等價(jià)的。原始PSO算法與標(biāo)準(zhǔn)PSO算法向量圖比較 圖1 原始PSO 圖2 標(biāo)準(zhǔn)PSO 二.粒子群算法的實(shí)現(xiàn)原始PSO算法流程算法流程圖原始PSO算法流程步驟l：初始化所有粒子(種群規(guī)模為Size，粒子在D維空間中搜索)，對每個(gè)粒子隨機(jī)給定初始位置和初始速度；每個(gè)粒子的只設(shè)為其初始位置Pi，Pi中的最好值設(shè)為Pbest；步驟2：根據(jù)式(2-1)和(2-2)更新每個(gè)粒子的速度和位置；對每個(gè)粒子進(jìn)行速度越限檢查確保粒子速度在-Vmax ,Vmax之間；對

9、每個(gè)粒子進(jìn)行位置越限檢查，確保粒子位置在-Xmax ,Xmax之間；步驟3：根據(jù)目標(biāo)函數(shù)，計(jì)算出每個(gè)粒子的適應(yīng)值；步驟4：對每個(gè)粒子，將步驟3中計(jì)算出的適應(yīng)值與其經(jīng)歷過的個(gè)體最佳Pbest的 適應(yīng)值進(jìn)行比較，如果優(yōu)于Pbest，則將其作為當(dāng)前的最好位置；將其適應(yīng)值與群體最佳gbest的適應(yīng)值進(jìn)行比較，如果優(yōu)于gbest，則用該粒子適應(yīng)值Pi，取代原群體最優(yōu)適應(yīng)值gbest；步驟5：根據(jù)式(2-1)和(2-2)更新每個(gè)粒子的速度和位置；步驟6：檢查終止條件(達(dá)到給定的迭代次數(shù)或者滿足了足夠好的適應(yīng)值等)，若滿足，終止迭代，輸出相關(guān)結(jié)果；否則返回步驟2算法流程圖：否是是是否是否初始化粒子以及粒子速

10、度粒子適應(yīng)度檢測粒子速度更新粒子位置更新Present優(yōu)于Pbest？Present=PbestPresent優(yōu)于Gbest？Present=Gbest算法收斂準(zhǔn)則滿足？輸出Gbest三.粒子群算法的參數(shù)分析群體規(guī)模慣性權(quán)重最大速度迭代次數(shù)run算法的參數(shù)分析群體規(guī)模m 群體規(guī)模相當(dāng)于數(shù)值遺傳算法中的population。對于一般的優(yōu)化問題而言，粒子群算法對群體的大小的設(shè)定并不十分敏感，一般可以取值為1040，對較難或特定類別的問題可以取到100200。與數(shù)值遺傳算法相比，粒子群算法中個(gè)體的數(shù)據(jù)結(jié)構(gòu)雖然復(fù)雜一些，但它要求同時(shí)使用的個(gè)體數(shù)也相應(yīng)地少很多。所以在對復(fù)雜問題的優(yōu)化方面，粒子群算法對計(jì)

11、算機(jī)內(nèi)存的耗用要相對少一些。算法的參數(shù)分析慣性權(quán)重 速度計(jì)算公式的三個(gè)分量中，慣性速度分量vintertia與適應(yīng)度的關(guān)系較小，由于初始的速度是一個(gè)隨機(jī)量。因此，vinertia主要代表的是速度中隨機(jī)的部分。為了保證迭代過程最后收斂，速度計(jì)算公式中慣性速度分量vinertia的權(quán)重將逐漸減弱，因此其慣量因子將隨著迭代的過程單調(diào)下降。 在整個(gè)迭代過程中，的取值為0到1之間的實(shí)數(shù)。具體采用哪一種方法來減小速度慣量因子可以有很多方法，一般情況可以用線性遞減公式來對慣量因子進(jìn)行計(jì)算。 的作用是保持運(yùn)動(dòng)慣性，使其有擴(kuò)展搜索空間的趨勢，有能力探索新的區(qū)域。 自適應(yīng)粒子群優(yōu)化算法，則是自適應(yīng)調(diào)節(jié)。算法的參數(shù)

12、分析最大速度 最大速度決定當(dāng)前位置與最好位置之間的區(qū)域的分辨率(或精度）。如果太高，微?？赡軙?huì)飛躍最優(yōu)解；如果太小，則粒子不能在局部極小點(diǎn)之外進(jìn)行足夠的探索，會(huì)陷入到局部極值區(qū)域內(nèi)。這種限制可以達(dá)到防止計(jì)算溢出、決定問題空間搜索的速度的目的。算法的參數(shù)分析迭代次數(shù)run 由于粒子群算法中的速度計(jì)算公式受到慣量因子的影響，而慣量因子的變化規(guī)律又與最大迭代次數(shù)run有關(guān)。因此，在粒子群算法中，最大迭代次數(shù)是在迭代開始之前必須確定的參數(shù)之一。最大迭代次數(shù)不僅影響速度計(jì)算公式中的慣性因子，而且還是整個(gè)迭代過程的中止條件。這一點(diǎn)上，粒子群算法和數(shù)值遺傳算法采用適應(yīng)度閥值作為中止條件不同。對于不同的優(yōu)化問

13、題，最大迭代次數(shù)run可以有不同的取值。對于一般的簡單優(yōu)化問題而言，最大迭代次數(shù)一般取值為10000左右。四.算法測試函數(shù)PSO算法常用的測試函數(shù)：Griewank、Rastrigrin 、Sphere、Schwefel、Ackly和Rosen-brock等。常用測試函數(shù)函數(shù)名表達(dá)式維數(shù)Griewank30Rastrigrin30Sphere30Schwefel10Ackly30Rosen-brock30常用測試函數(shù)五.與BP神經(jīng)網(wǎng)絡(luò)的結(jié)合人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元互連而成的網(wǎng)絡(luò)，它從微觀結(jié)構(gòu)和功能上實(shí)現(xiàn)對人腦的抽象和簡化，具有許多優(yōu)點(diǎn)。對神經(jīng)網(wǎng)絡(luò)的權(quán)值系數(shù)的確定，傳統(tǒng)上采用反向傳播算法（BP

14、算法）。BP網(wǎng)絡(luò)是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。在反向傳播算法中，對權(quán)值的訓(xùn)練采用的是爬山法（即：算法）。這種方法在諸多領(lǐng)域取得了巨大的成功，但是它有可能陷入局部最小值，不能保證收斂到全局極小點(diǎn)。另外，反向傳播算法訓(xùn)練次數(shù)多，收斂速度慢，使學(xué)習(xí)結(jié)果不能令人滿意?；谝陨蠁栴}的解決，PSO與BP的結(jié)合有很重要的意義。應(yīng)用實(shí)例實(shí)驗(yàn)數(shù)據(jù)選擇：來源于某年10月1-5號的電價(jià)，該數(shù)據(jù)集包括96組數(shù)據(jù)，每組數(shù)據(jù)記錄了 5個(gè)不同的數(shù)據(jù)。 實(shí)驗(yàn)一： 應(yīng)用PSO算法，對該組數(shù)據(jù)進(jìn)行聚類分析，其參數(shù)設(shè)置如下，學(xué)習(xí)因子C1=2,、C2=1.8，慣性權(quán)重w隨迭代次數(shù)線性地由0.9減小到0.4，最大迭代次數(shù)取為200次，粒子個(gè)數(shù)N=40。類別數(shù)K=4.實(shí)驗(yàn)二：應(yīng)用PSO 訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，并對樣本數(shù)據(jù)其進(jìn)行評估預(yù)測。