som人工神經(jīng)網(wǎng)絡的改進

SOM神經(jīng)網(wǎng)絡的改進吳敏

自組織神經(jīng)網(wǎng)絡(SOM)采用無導師學習方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡的學習，其最重要的特點是通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應地改變網(wǎng)絡參數(shù)與結(jié)構(gòu)。SOM神經(jīng)網(wǎng)絡基本思想是讓競爭層神經(jīng)元通過競爭與輸入模式進行匹配，最后僅有一個神經(jīng)元成為競爭的勝利者，然后調(diào)整與獲勝神經(jīng)元有關的各連接權使其朝著更有利于它競爭的方向調(diào)整。傳統(tǒng)的SOM模型在使用時，競爭層神經(jīng)元個數(shù)需要預先制定，權向量的初始值隨機產(chǎn)生，這種網(wǎng)絡結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡的收斂速度和學習效果。

01基于微粒群算法的SOM網(wǎng)絡微粒群算法微粒群算法（ParticleSwarmOptimization，PSO）是由J.Kennedy與R.Eberthart于1995年共同提出的一種仿生優(yōu)化計算方法。最初的原型來自于對鳥群捕食行為的研究：一群鳥在隨機搜尋食物，如果這個區(qū)域里只有一塊食物，那么找到食物的最簡單有效的策略就是搜尋目前離食物最近的鳥的周圍區(qū)域。在PSO算法中，每個優(yōu)化問題的潛在解都看做D維搜索空間上的一個點，稱之為“粒子”。粒子在搜索空間中以一定的速度飛行，這個速度根據(jù)其本身及同伴的飛行經(jīng)驗來動態(tài)調(diào)整。每一個粒子都有一個被目標函數(shù)決定的適應值，通過適應值判定位置的好壞。并記錄了自己到目前為止發(fā)現(xiàn)的最好位置和當前位置，這即是粒子自己的飛行經(jīng)驗。另外，每個粒子還知道到目前為止整個群組中所有粒子發(fā)現(xiàn)的最好位置，這即是其同伴的飛行經(jīng)驗。每個粒子通過上述極值不斷更新自己，從而產(chǎn)生新一代群體。優(yōu)化搜索就是在由這樣一群隨機初始化形成的粒子組成的種群中，以迭代的方式進行。PSO算法是基于個體的協(xié)作與競爭來完成復雜搜索空間中最優(yōu)解的搜索。微粒群算法粒子xi按如下式子更新每一維速度和位置：d表示維數(shù)k為當前迭代次數(shù)c1,c2是加速因子，為正常數(shù)r1，r2是互相獨立的0到1之間的隨機數(shù)微粒群算法第一部分為粒子先前的速度，說明了粒子當前的狀態(tài)；第二部分是認知部分，表示粒子對自身的思考；第三部分是社會部分，表示粒子與鄰居粒子的比較和模仿，實現(xiàn)粒子間的信息共享與合作。c1,c2是加速因子，為正常數(shù)。是使粒子向最優(yōu)位置飛行的權重因子，較小會使粒子以較小速率向目標區(qū)域游動，較大則可能會使粒子很快飛越目標，通常均取2；

vmax決定了粒子的搜索能力，若其值取的太大，則粒子可能很快就飛出最優(yōu)點，若取值太小，則粒子可能無法越過局部最優(yōu)點，陷入局部最優(yōu)。微粒群算法算法流程：（1）隨機初始化粒子種群：初始化種群中所有粒子的速度和位置；

（2）使用根據(jù)優(yōu)化問題目標定義的適應度函數(shù)對所有粒子進行評價；

（3）比較各粒子當前的適應值與其經(jīng)歷過的最好位置的適應值

，如果當前適應值更優(yōu)，則將xi更新為粒子個體最優(yōu)位置pi；

（4）再將各粒子的個體最優(yōu)解與種群內(nèi)所有粒子發(fā)現(xiàn)的最好位置，若前者更好，則將pi作為全局最好位置pg

；

（5）按上述式子進行粒子速度及位置的迭代；

（6）重復步驟2-5，直到滿足算法的迭代停止條件為止。將迭代停止條件設定為一個足夠好的適應值或達到一個預設的最大迭代次數(shù)。微粒群算法優(yōu)點：基本PSO算法是一種基于迭代的優(yōu)化算法，依據(jù)粒子本身的搜索經(jīng)驗和同伴的搜索經(jīng)驗得到粒子下一個的位置。沒有交叉和變異運算，依靠粒子速度完成搜索，并且在迭代進化中只有最優(yōu)的粒子把信息傳遞給其它粒子，搜索速度快；算法中的粒子具有一個重要的特點：記憶性。粒子群體的歷史最好位置可以記憶并傳遞給其它粒子。另外，基本PSO算法需調(diào)整的參數(shù)較少，結(jié)構(gòu)簡單，實數(shù)編碼，易于實現(xiàn)。缺點：在參數(shù)選擇上，若加速系數(shù)等參數(shù)選擇太大，粒子群可能錯過最優(yōu)解，算法不易收斂；而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛去，粒子失去了多樣性，使得進化后期收斂速度變慢。P-SOM算法SOM神經(jīng)網(wǎng)絡進行網(wǎng)絡訓練時，若將輸出層神經(jīng)元的連接權值設置的與輸入模式相差很大，那么此神經(jīng)元會一直不能在競爭中獲勝，其權值無法得到任何學習訓練的機會，成為“死神經(jīng)元”；或者有些神經(jīng)元獲勝次數(shù)過多，對其過度利用，這些都會影響網(wǎng)絡的學習效果。為改進SOM神經(jīng)網(wǎng)絡的這一缺陷，提出了基于PSO算法的SOM神經(jīng)網(wǎng)絡P-SOM，通過PSO算法與SOM神經(jīng)網(wǎng)絡的學習算法對連接權值交替更新，使網(wǎng)絡輸出層神經(jīng)元連接權的初始值對SOM神經(jīng)網(wǎng)絡算法的影響減弱。首先，PSO算法部分，將SOM神經(jīng)網(wǎng)絡權向量看作一個個的粒子，將輸入模式與權向量之間的歐氏距離的疊加作為為適應度函數(shù)，迭代過程是尋找權值使此適應度函數(shù)達到最小。通過PSO算法的速度位移公式更新每個粒子而達到更新每個網(wǎng)絡權值的效果。達到一定的迭代次數(shù)之后，再利用SOM神經(jīng)網(wǎng)絡訓練算法訓練網(wǎng)絡權值。P-SOM算法P-SOM算法的具體流程如下：

（1）用隨機數(shù)設定網(wǎng)絡權向量Wj

的初始值，并選定一組輸入樣本X1,X2,…Xn

（2）利用權向量Wj初始化微粒群算法的粒子；

（3）將所有輸入模式向量與權向量值之間的歐氏距離的疊加做為微粒群算法的適應度函數(shù)f（Xi為輸入樣本）。通過微粒群算法迭代m次優(yōu)化各權值Wj

；

（4）將優(yōu)化后的各粒子的值重新設置為神經(jīng)網(wǎng)絡的連接權值，利用SOM神經(jīng)網(wǎng)絡的算法進行訓練，迭代n次；

（5）重復執(zhí)行（2）到（4），直到達到目標迭代次數(shù)為止。

對于m和n值的選取，可根據(jù)具體問題設置不同，當n取0時，就還原為了PSO算法；相反，m取0時，則還原為Kohonen模型。此網(wǎng)絡權值的訓練算法，通過PSO算法使得網(wǎng)絡的每個權值都能得到調(diào)整，使得每個權值都向著輸入模式靠近，有效避免了“死神經(jīng)元”現(xiàn)象的產(chǎn)生，提高了SOM神經(jīng)網(wǎng)絡的訓練精度與速度。

02樹形動態(tài)自組織映射模型傳統(tǒng)的SOM模型在使用時，競爭層神經(jīng)元個數(shù)需要預先制定，這種網(wǎng)絡結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡的收斂速度。很多學者開始研究使SOM網(wǎng)絡結(jié)構(gòu)在訓練過程中動態(tài)決定，這里介紹一種更優(yōu)化的動態(tài)模型，樹形動態(tài)增長自組織模型(TGSOM,Tree-structuredGrowingSelf-OrganizingMaps)，可按需要方便地在合適的位置生成新結(jié)點。TGSOM網(wǎng)絡結(jié)構(gòu)與SOM一樣由輸入層和競爭層兩部分組成，其網(wǎng)絡結(jié)構(gòu)如圖

所示。左圖為網(wǎng)絡初始狀態(tài),此時競爭層只包含一個根結(jié)點root;右圖為網(wǎng)絡生長至8個結(jié)點時的狀態(tài),這8個結(jié)點以root為根形成二維樹型結(jié)構(gòu),且與輸入層結(jié)點x1,x2…實現(xiàn)全互連接。TGSOM定義1對于網(wǎng)絡的輸入向量V,稱與V距離最近的競爭層結(jié)點為V的最佳匹配結(jié)點，記為bmn(bestmatchingnode)，即滿足||V－Wbmn||≤||V－Wq||其中W為結(jié)點的權值向量，

q為網(wǎng)絡結(jié)點，||||為歐氏距離。定義2輸入向量V與其最佳匹配結(jié)點bmn的距離稱為V與bmn的誤差，記為E。其中D為V的維數(shù)。定義3網(wǎng)絡中競爭層結(jié)點p及其直接子結(jié)點為P的鄰域TGSOMTGSOM的處理過程如下:1初始化(a)將根結(jié)點的權值向量賦予的隨機的歸一化向量。(b)根據(jù)用戶需求定義生長閾值GT。2訓練從V中隨機選取訓練樣本向量v并歸一化，訓練樣本的輸入順序不同會導致所生成的TGSOM網(wǎng)絡結(jié)構(gòu)不同，但不會影響最終聚類結(jié)果。(b)從當前的TGSOM網(wǎng)絡結(jié)點中尋找v的最佳匹配結(jié)點bmn。(c)計算bmn與v的誤差E。

若E≤GT轉(zhuǎn)(d)做調(diào)整操作；

否則轉(zhuǎn)(e)做生長操作。(d)調(diào)整bmn鄰域的權值。K為訓練次數(shù)。TGSOM(e)生成bmn的一個新的子結(jié)點chlid，置Wchild=v(f)LR(k+l)=LR(k)xα。其中α為LR的調(diào)節(jié)因子,O<α<1。(g)重復(a)一(f)直到所有樣本訓練完畢。3重復

重復(2)進入下一個訓練周期，直到結(jié)點的生成達到飽和為止(即網(wǎng)絡中不再有新的結(jié)點生成)。

4平滑(a)減小LR以對網(wǎng)絡中結(jié)點權值進行微調(diào)。(b)尋找輸入向量v的bmn并調(diào)整bmn鄰域的權值，方法同訓練階段。此階段無新結(jié)點生成，目的是修正誤差，尤其適用