som人工神經(jīng)網(wǎng)絡(luò)的改進課件

1、SOM神經(jīng)網(wǎng)絡(luò)的改進吳 敏 自組織神經(jīng)網(wǎng)絡(luò)(SOM)采用無導(dǎo)師學(xué)習(xí)方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要的特點是通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。SOM 神經(jīng)網(wǎng)絡(luò)基本思想是讓競爭層神經(jīng)元通過競爭與輸入模式進行匹配，最后僅有一個神經(jīng)元成為競爭的勝利者，然后調(diào)整與獲勝神經(jīng)元有關(guān)的各連接權(quán)使其朝著更有利于它競爭的方向調(diào)整。傳統(tǒng)的 SOM 模型在使用時，競爭層神經(jīng)元個數(shù)需要預(yù)先制定，權(quán)向量的初始值隨機產(chǎn)生，這種網(wǎng)絡(luò)結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡(luò)的收斂速度和學(xué)習(xí)效果。 01基于微粒群算法的SOM網(wǎng)絡(luò)微粒群算法微粒群算法（Particle Swarm

2、Optimization，PSO）是由 J.Kennedy 與 R.Eberthart 于1995 年共同提出的一種仿生優(yōu)化計算方法。最初的原型來自于對鳥群捕食行為的研究：一群鳥在隨機搜尋食物，如果這個區(qū)域里只有一塊食物，那么找到食物的最簡單有效的策略就是搜尋目前離食物最近的鳥的周圍區(qū)域。在 PSO 算法中，每個優(yōu)化問題的潛在解都看做 D 維搜索空間上的一個點，稱之為“粒子”。粒子在搜索空間中以一定的速度飛行，這個速度根據(jù)其本身及同伴的飛行經(jīng)驗來動態(tài)調(diào)整。每一個粒子都有一個被目標(biāo)函數(shù)決定的適應(yīng)值，通過適應(yīng)值判定位置的好壞。并記錄了自己到目前為止發(fā)現(xiàn)的最好位置和當(dāng)前位置，這即是粒子自己的飛行經(jīng)驗

3、。另外，每個粒子還知道到目前為止整個群組中所有粒子發(fā)現(xiàn)的最好位置，這即是其同伴的飛行經(jīng)驗。每個粒子通過上述極值不斷更新自己，從而產(chǎn)生新一代群體。優(yōu)化搜索就是在由這樣一群隨機初始化形成的粒子組成的種群中，以迭代的方式進行。PSO 算法是基于個體的協(xié)作與競爭來完成復(fù)雜搜索空間中最優(yōu)解的搜索。微粒群算法粒子xi按如下式子更新每一維速度和位置：d表示維數(shù)k為當(dāng)前迭代次數(shù)c1,c2是加速因子，為正常數(shù)r1，r2是互相獨立的0到1之間的隨機數(shù)微粒群算法算法流程： （1）隨機初始化粒子種群：初始化種群中所有粒子的速度和位置； （2）使用根據(jù)優(yōu)化問題目標(biāo)定義的適應(yīng)度函數(shù)對所有粒子進行評價； （3）比較各粒子當(dāng)

4、前的適應(yīng)值與其經(jīng)歷過的最好位置的適應(yīng)值 ，如果當(dāng)前適應(yīng)值更優(yōu)，則將xi更新為粒子個體最優(yōu)位置pi ； （4）再將各粒子的個體最優(yōu)解與種群內(nèi)所有粒子發(fā)現(xiàn)的最好位置，若前者更好，則將 pi作為全局最好位置pg ； （5）按上述式子進行粒子速度及位置的迭代； （6）重復(fù)步驟 2-5，直到滿足算法的迭代停止條件為止。將迭代停止條件設(shè)定為一個足夠好的適應(yīng)值或達到一個預(yù)設(shè)的最大迭代次數(shù)。 微粒群算法優(yōu)點：基本 PSO 算法是一種基于迭代的優(yōu)化算法，依據(jù)粒子本身的搜索經(jīng)驗和同伴的搜索經(jīng)驗得到粒子下一個的位置。沒有交叉和變異運算，依靠粒子速度完成搜索，并且在迭代進化中只有最優(yōu)的粒子把信息傳遞給其它粒子，搜索速

5、度快；算法中的粒子具有一個重要的特點：記憶性。粒子群體的歷史最好位置可以記憶并傳遞給其它粒子。另外，基本 PSO 算法需調(diào)整的參數(shù)較少，結(jié)構(gòu)簡單，實數(shù)編碼，易于實現(xiàn)。缺點：在參數(shù)選擇上，若加速系數(shù)等參數(shù)選擇太大，粒子群可能錯過最優(yōu)解，算法不易收斂；而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛去，粒子失去了多樣性，使得進化后期收斂速度變慢。P-SOM算法P-SOM 算法的具體流程如下： （1）用隨機數(shù)設(shè)定網(wǎng)絡(luò)權(quán)向量Wj 的初始值，并選定一組輸入樣本X1,X2,Xn （2）利用權(quán)向量Wj初始化微粒群算法的粒子； （3）將所有輸入模式向量與權(quán)向量值之間的歐氏距離的疊加做為微粒群算法的適應(yīng)度函數(shù)

6、f（Xi為輸入樣本）。通過微粒群算法迭代 m 次優(yōu)化各權(quán)值Wj ； （4）將優(yōu)化后的各粒子的值重新設(shè)置為神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，利用 SOM 神經(jīng)網(wǎng)絡(luò)的算法進行訓(xùn)練，迭代 n 次； （5）重復(fù)執(zhí)行（2）到（4），直到達到目標(biāo)迭代次數(shù)為止。 對于 m 和n 值的選取，可根據(jù)具體問題設(shè)置不同，當(dāng)n取0時，就還原為了 PSO 算法；相反，m 取0時，則還原為 Kohonen 模型。此網(wǎng)絡(luò)權(quán)值的訓(xùn)練算法，通過 PSO 算法使得網(wǎng)絡(luò)的每個權(quán)值都能得到調(diào)整，使得每個權(quán)值都向著輸入模式靠近，有效避免了“死神經(jīng)元”現(xiàn)象的產(chǎn)生，提高了 SOM 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度與速度。 02樹形動態(tài)自組織映射模型TGSOM定義1

7、對于網(wǎng)絡(luò)的輸入向量V ,稱與V距離最近的競爭層結(jié)點為V的最佳匹配結(jié)點，記為bmn (best matching node)，即滿足|VWbmn| |VWq| 其中W為結(jié)點的權(quán)值向量， q 為網(wǎng)絡(luò)結(jié)點， | |為歐氏距離。定義2 輸入向量V與其最佳匹配結(jié)點bmn 的距離稱為V與bmn的誤差，記為E。 其中D為V的維數(shù)。定義3 網(wǎng)絡(luò)中競爭層結(jié)點p 及其直接子結(jié)點為P的鄰域TGSOMTGSOM 的處理過程如下:1 初始化(a) 將根結(jié)點的權(quán)值向量賦予的隨機的歸一化向量。(b) 根據(jù)用戶需求定義生長閾值GT。2 訓(xùn)練從V中隨機選取訓(xùn)練樣本向量v并歸一化，訓(xùn)練樣本的輸入順序不同會導(dǎo)致所生成的TGSOM網(wǎng)絡(luò)結(jié)構(gòu)不同，但不會影響最終聚類結(jié)果。(b)從當(dāng)前的TGSOM網(wǎng)絡(luò)結(jié)點中尋找v的最佳匹配結(jié)點bmn 。(c) 計算bmn與v的誤差E。 若E G T 轉(zhuǎn)(d) 做調(diào)整操作； 否則轉(zhuǎn)(e) 做生長操作。(d ) 調(diào)整bmn鄰域的權(quán)值。K為訓(xùn)練次數(shù)。在TGSOM 算法中由GT 決定網(wǎng)絡(luò)中是否生成新結(jié)點, 因此GT 值的大小將決