som人工神經(jīng)網(wǎng)絡(luò)的改進(jìn)

SOM神經(jīng)網(wǎng)絡(luò)的改進(jìn)吳敏

自組織神經(jīng)網(wǎng)絡(luò)(SOM)采用無導(dǎo)師學(xué)習(xí)方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要的特點是通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。SOM神經(jīng)網(wǎng)絡(luò)基本思想是讓競爭層神經(jīng)元通過競爭與輸入模式進(jìn)行匹配，最后僅有一個神經(jīng)元成為競爭的勝利者，然后調(diào)整與獲勝神經(jīng)元有關(guān)的各連接權(quán)使其朝著更有利于它競爭的方向調(diào)整。傳統(tǒng)的SOM模型在使用時，競爭層神經(jīng)元個數(shù)需要預(yù)先制定，權(quán)向量的初始值隨機(jī)產(chǎn)生，這種網(wǎng)絡(luò)結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡(luò)的收斂速度和學(xué)習(xí)效果。

01基于微粒群算法的SOM網(wǎng)絡(luò)微粒群算法微粒群算法（ParticleSwarmOptimization，PSO）是由J.Kennedy與R.Eberthart于1995年共同提出的一種仿生優(yōu)化計算方法。最初的原型來自于對鳥群捕食行為的研究：一群鳥在隨機(jī)搜尋食物，如果這個區(qū)域里只有一塊食物，那么找到食物的最簡單有效的策略就是搜尋目前離食物最近的鳥的周圍區(qū)域。在PSO算法中，每個優(yōu)化問題的潛在解都看做D維搜索空間上的一個點，稱之為“粒子”。粒子在搜索空間中以一定的速度飛行，這個速度根據(jù)其本身及同伴的飛行經(jīng)驗來動態(tài)調(diào)整。每一個粒子都有一個被目標(biāo)函數(shù)決定的適應(yīng)值，通過適應(yīng)值判定位置的好壞。并記錄了自己到目前為止發(fā)現(xiàn)的最好位置和當(dāng)前位置，這即是粒子自己的飛行經(jīng)驗。另外，每個粒子還知道到目前為止整個群組中所有粒子發(fā)現(xiàn)的最好位置，這即是其同伴的飛行經(jīng)驗。每個粒子通過上述極值不斷更新自己，從而產(chǎn)生新一代群體。優(yōu)化搜索就是在由這樣一群隨機(jī)初始化形成的粒子組成的種群中，以迭代的方式進(jìn)行。PSO算法是基于個體的協(xié)作與競爭來完成復(fù)雜搜索空間中最優(yōu)解的搜索。微粒群算法粒子xi按如下式子更新每一維速度和位置：d表示維數(shù)k為當(dāng)前迭代次數(shù)c1,c2是加速因子，為正常數(shù)r1，r2是互相獨立的0到1之間的隨機(jī)數(shù)微粒群算法第一部分為粒子先前的速度，說明了粒子當(dāng)前的狀態(tài)；第二部分是認(rèn)知部分，表示粒子對自身的思考；第三部分是社會部分，表示粒子與鄰居粒子的比較和模仿，實現(xiàn)粒子間的信息共享與合作。c1,c2是加速因子，為正常數(shù)。是使粒子向最優(yōu)位置飛行的權(quán)重因子，較小會使粒子以較小速率向目標(biāo)區(qū)域游動，較大則可能會使粒子很快飛越目標(biāo)，通常均取2；

vmax決定了粒子的搜索能力，若其值取的太大，則粒子可能很快就飛出最優(yōu)點，若取值太小，則粒子可能無法越過局部最優(yōu)點，陷入局部最優(yōu)。微粒群算法算法流程：（1）隨機(jī)初始化粒子種群：初始化種群中所有粒子的速度和位置；

（2）使用根據(jù)優(yōu)化問題目標(biāo)定義的適應(yīng)度函數(shù)對所有粒子進(jìn)行評價；

（3）比較各粒子當(dāng)前的適應(yīng)值與其經(jīng)歷過的最好位置的適應(yīng)值

，如果當(dāng)前適應(yīng)值更優(yōu)，則將xi更新為粒子個體最優(yōu)位置pi；

（4）再將各粒子的個體最優(yōu)解與種群內(nèi)所有粒子發(fā)現(xiàn)的最好位置，若前者更好，則將pi作為全局最好位置pg

；

（5）按上述式子進(jìn)行粒子速度及位置的迭代；

（6）重復(fù)步驟2-5，直到滿足算法的迭代停止條件為止。將迭代停止條件設(shè)定為一個足夠好的適應(yīng)值或達(dá)到一個預(yù)設(shè)的最大迭代次數(shù)。微粒群算法優(yōu)點：基本PSO算法是一種基于迭代的優(yōu)化算法，依據(jù)粒子本身的搜索經(jīng)驗和同伴的搜索經(jīng)驗得到粒子下一個的位置。沒有交叉和變異運算，依靠粒子速度完成搜索，并且在迭代進(jìn)化中只有最優(yōu)的粒子把信息傳遞給其它粒子，搜索速度快；算法中的粒子具有一個重要的特點：記憶性。粒子群體的歷史最好位置可以記憶并傳遞給其它粒子。另外，基本PSO算法需調(diào)整的參數(shù)較少，結(jié)構(gòu)簡單，實數(shù)編碼，易于實現(xiàn)。缺點：在參數(shù)選擇上，若加速系數(shù)等參數(shù)選擇太大，粒子群可能錯過最優(yōu)解，算法不易收斂；而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛去，粒子失去了多樣性，使得進(jìn)化后期收斂速度變慢。P-SOM算法SOM神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，若將輸出層神經(jīng)元的連接權(quán)值設(shè)置的與輸入模式相差很大，那么此神經(jīng)元會一直不能在競爭中獲勝，其權(quán)值無法得到任何學(xué)習(xí)訓(xùn)練的機(jī)會，成為“死神經(jīng)元”；或者有些神經(jīng)元獲勝次數(shù)過多，對其過度利用，這些都會影響網(wǎng)絡(luò)的學(xué)習(xí)效果。為改進(jìn)SOM神經(jīng)網(wǎng)絡(luò)的這一缺陷，提出了基于PSO算法的SOM神經(jīng)網(wǎng)絡(luò)P-SOM，通過PSO算法與SOM神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法對連接權(quán)值交替更新，使網(wǎng)絡(luò)輸出層神經(jīng)元連接權(quán)的初始值對SOM神經(jīng)網(wǎng)絡(luò)算法的影響減弱。首先，PSO算法部分，將SOM神經(jīng)網(wǎng)絡(luò)權(quán)向量看作一個個的粒子，將輸入模式與權(quán)向量之間的歐氏距離的疊加作為為適應(yīng)度函數(shù)，迭代過程是尋找權(quán)值使此適應(yīng)度函數(shù)達(dá)到最小。通過PSO算法的速度位移公式更新每個粒子而達(dá)到更新每個網(wǎng)絡(luò)權(quán)值的效果。達(dá)到一定的迭代次數(shù)之后，再利用SOM神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法訓(xùn)練網(wǎng)絡(luò)權(quán)值。P-SOM算法P-SOM算法的具體流程如下：

（1）用隨機(jī)數(shù)設(shè)定網(wǎng)絡(luò)權(quán)向量Wj

的初始值，并選定一組輸入樣本X1,X2,…Xn

（2）利用權(quán)向量Wj初始化微粒群算法的粒子；

（3）將所有輸入模式向量與權(quán)向量值之間的歐氏距離的疊加做為微粒群算法的適應(yīng)度函數(shù)f（Xi為輸入樣本）。通過微粒群算法迭代m次優(yōu)化各權(quán)值Wj

；

（4）將優(yōu)化后的各粒子的值重新設(shè)置為神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，利用SOM神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行訓(xùn)練，迭代n次；

（5）重復(fù)執(zhí)行（2）到（4），直到達(dá)到目標(biāo)迭代次數(shù)為止。

對于m和n值的選取，可根據(jù)具體問題設(shè)置不同，當(dāng)n取0時，就還原為了PSO算法；相反，m取0時，則還原為Kohonen模型。此網(wǎng)絡(luò)權(quán)值的訓(xùn)練算法，通過PSO算法使得網(wǎng)絡(luò)的每個權(quán)值都能得到調(diào)整，使得每個權(quán)值都向著輸入模式靠近，有效避免了“死神經(jīng)元”現(xiàn)象的產(chǎn)生，提高了SOM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度與速度。

02樹形動態(tài)自組織映射模型傳統(tǒng)的SOM模型在使用時，競爭層神經(jīng)元個數(shù)需要預(yù)先制定，這種網(wǎng)絡(luò)結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡(luò)的收斂速度。很多學(xué)者開始研究使SOM網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過程中動態(tài)決定，這里介紹一種更優(yōu)化的動態(tài)模型，樹形動態(tài)增長自組織模型(TGSOM,Tree-structuredGrowingSelf-OrganizingMaps)，可按需要方便地在合適的位置生成新結(jié)點。TGSOM網(wǎng)絡(luò)結(jié)構(gòu)與SOM一樣由輸入層和競爭層兩部分組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖

所示。左圖為網(wǎng)絡(luò)初始狀態(tài),此時競爭層只包含一個根結(jié)點root;右圖為網(wǎng)絡(luò)生長至8個結(jié)點時的狀態(tài),這8個結(jié)點以root為根形成二維樹型結(jié)構(gòu),且與輸入層結(jié)點x1,x2…實現(xiàn)全互連接。TGSOM定義1對于網(wǎng)絡(luò)的輸入向量V,稱與V距離最近的競爭層結(jié)點為V的最佳匹配結(jié)點，記為bmn(bestmatchingnode)，即滿足||V－Wbmn||≤||V－Wq||其中W為結(jié)點的權(quán)值向量，

q為網(wǎng)絡(luò)結(jié)點，||||為歐氏距離。定義2輸入向量V與其最佳匹配結(jié)點bmn的距離稱為V與bmn的誤差，記為E。其中D為V的維數(shù)。定義3網(wǎng)絡(luò)中競爭層結(jié)點p及其直接子結(jié)點為P的鄰域TGSOMTGSOM的處理過程如下:1初始化(a)將根結(jié)點的權(quán)值向量賦予的隨機(jī)的歸一化向量。(b)根據(jù)用戶需求定義生長閾值GT。2訓(xùn)練從V中隨機(jī)選取訓(xùn)練樣本向量v并歸一化，訓(xùn)練樣本的輸入順序不同會導(dǎo)致所生成的TGSOM網(wǎng)絡(luò)結(jié)構(gòu)不同，但不會影響最終聚類結(jié)果。(b)從當(dāng)前的TGSOM網(wǎng)絡(luò)結(jié)點中尋找v的最佳匹配結(jié)點bmn。(c)計算bmn與v的誤差E。

若E≤GT轉(zhuǎn)(d)做調(diào)整操作；

否則轉(zhuǎn)(e)做生長操作。(d)調(diào)整bmn鄰域的權(quán)值。K為訓(xùn)練次數(shù)。TGSOM(e)生成bmn的一個新的子結(jié)點chlid，置Wchild=v(f)LR(k+l)=LR(k)xα。其中α為LR的調(diào)節(jié)因子,O<α<1。(g)重復(fù)(a)一(f)直到所有樣本訓(xùn)練完畢。3重復(fù)

重復(fù)(2)進(jìn)入下一個訓(xùn)練周期，直到結(jié)點的生成達(dá)到飽和為止(即網(wǎng)絡(luò)中不再有新的結(jié)點生成)。

4平滑(a)減小LR以對網(wǎng)絡(luò)中結(jié)點權(quán)值進(jìn)行微調(diào)。(b)尋找輸入向量v的bmn并調(diào)整bmn鄰域的權(quán)值，方法同訓(xùn)練階段。此階段無新結(jié)點生成，目的是修正誤差，尤其適用