自組織神經(jīng)網(wǎng)絡(luò)(SOM)方法及其應用ppt課件

1、第四章 自組織神經(jīng)網(wǎng)絡(luò)4.1競爭學習的概念與原理4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)的典型構(gòu)造第四章 自組織神經(jīng)網(wǎng)絡(luò)競爭層輸入層第四章 自組織神經(jīng)網(wǎng)絡(luò)自組織學習(self-organized learning) ： 經(jīng)過自動尋覓樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自順應地改動網(wǎng)絡(luò)參數(shù)與構(gòu)造。 自組織網(wǎng)絡(luò)的自組織功能是經(jīng)過競爭學習competitive learning實現(xiàn)的。 4.1競爭學習的概念與原理4.1.1 根本概念分類分類是在類別知識等導師信號的指點下，將待識別的輸入方式分配到各自的方式類中去。聚類無導師指點的分類稱為聚類，聚類的目的是將類似的方式樣本劃歸一類，而將不類似的別分開

2、。 類似性丈量歐式間隔法4.1.1 根本概念 類似性丈量余弦法4.1.1 根本概念4.1.2 競爭學習原理競爭學習規(guī)那么Winner-Take-All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時辰只需一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的形狀被抑制，故稱為Winner Take All。競爭學習規(guī)那么Winner-Take-All1.向量歸一化 首先將當前輸入方式向量X和競爭層中各神經(jīng)元對應的內(nèi)星向量Wj 全部進展歸一化處置； (j=1,2,m)向量歸一化之前向量歸一化之后競爭學習原理競爭學習規(guī)那么Winner-Take-All2.尋覓獲勝神經(jīng)元

3、當網(wǎng)絡(luò)得到一個輸入方式向量時，競爭層的一切神經(jīng)元對應的內(nèi)星權(quán)向量均與其進展類似性比較，并將最類似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最類似，須使其點積最大。即： 從上式可以看出，欲使兩單位向量的歐式間隔最小，須使兩向量的點積最大。即：競爭學習規(guī)那么Winner-Take-All競爭學習規(guī)那么勝者為王(Winner-Take-All)3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完成后回到步驟1繼續(xù)訓練，直到學習率衰減到0。競爭學習的幾何意義競爭學習的幾何意義 * 1W *jW * )()()()(*ttttjpWXW-=hD * )(*1tj+W )(tpX jW mW * *競爭學習游戲?qū)?/p>

4、一維樣本空間的12個樣本分為3類競爭學習游戲w1w2w3x訓練樣本集o1o1o1例4.1 用競爭學習算法將以下各方式分為2類：解：為作圖方便，將上述方式轉(zhuǎn)換成極坐標方式 ：競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：4.2自組織特征映射神經(jīng)網(wǎng)絡(luò) Self-Organizing feature Map 1981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。 Kohonen以為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入方式時，將會分為不同的對應區(qū)域，各區(qū)域?qū)斎敕绞骄哂胁煌暮魬卣?，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其

5、特點與人腦的自組織特性相類似。SOM網(wǎng)的生物學根底 生物學研討的現(xiàn)實闡明，在人腦的覺得通道上，神經(jīng)元的組織原理是有序陳列。因此當人腦經(jīng)過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應區(qū)域是延續(xù)映象的。 對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序陳列以及對外界信息的延續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學根底。SOM網(wǎng)的拓撲構(gòu)造 SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出呼應的大腦皮層。 SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對其臨近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W習算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向

6、量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：SOM網(wǎng)的權(quán)值調(diào)整域 以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的一切神經(jīng)元均按其分開獲勝神經(jīng)元的間隔遠近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開場定得很大，但其大小隨著訓練次數(shù)的添加不斷收縮，最終收縮到半徑為零。SOM網(wǎng)的運轉(zhuǎn)原理訓練階段 w1 w2 w3 w4 w5SOM網(wǎng)的運轉(zhuǎn)原理任務階段SOM網(wǎng)的學習算法(1)初始化 對輸出層各權(quán)向量賦小隨機數(shù)并進展歸一化處置，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域Nj*(0)；學習率 賦初始值。(2)接受輸入 從訓練集中隨

7、機選取一個輸入方式并進展歸一化處置，得到 ，p1,2,P。(3)尋覓獲勝節(jié)點 計算 與 的點積，j=1,2,m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域Nj* (t) 以j*為中心確定t 時辰的權(quán)值調(diào)整域，普通初始鄰域Nj* (0)較大，訓練過程中Nj* (t)隨訓練時間逐漸收縮。Kohonen 學習算法Kohonen學習算法SOM網(wǎng)的學習算法(5)調(diào)整權(quán)值 對優(yōu)勝鄰域Nj*(t)內(nèi)的一切節(jié)點調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓練時間t 和鄰域內(nèi)第j 個神經(jīng)元與獲勝神經(jīng)元 j* 之間的拓撲間隔N 的函數(shù)，該函數(shù)普通有以下規(guī)律：Kohonen學習算法SOM網(wǎng)的學習算

8、法(5)調(diào)整權(quán)值(6)終了檢查 學習率能否衰減到零或某個預定的正小數(shù)？Kohonen學習算法SOM網(wǎng)的學習算法Kohonen學習算法程序流程功 能 分 析(1)保序映射將輸入空間的樣本方式類有序地映射在輸出層上。例1：動物屬性特征映射。功能分析(2)數(shù)據(jù)緊縮 將高維空間的樣本在堅持拓撲構(gòu)造不變的條件下投影到低維空間。(3)特征抽取 高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加明晰地表達。例2：SOM網(wǎng)用于字符排序。功能分析SOM網(wǎng)在皮革配皮中的運用 要消費出優(yōu)質(zhì)皮衣，必需保證每件皮衣所用皮料在顏色和紋理方面的類似性。在消費中，通常由有閱歷的工人根據(jù)皮料顏色、紋理的相近程度進展分類。這道稱

9、為“配皮的工序，因光照條件、工人閱歷不同以及心情、膂力等要素變化的影響，質(zhì)量難于保證。 計算機皮革檢測與分類系統(tǒng)可對成批皮革的顏色及紋理進展在線檢測、特征值提取及快速分類，從而替代了傳統(tǒng)的手工操作，獲得了良好的效果。 系統(tǒng)硬件組成 CCD彩 色攝像機解碼器PAL)圖 像采集卡及幀 存儲 器計算機486/66彩 色監(jiān)視器打印機規(guī)范燈箱 皮革皮料傳送帶D65光源基于SOM神經(jīng)網(wǎng)絡(luò)的皮革聚類1. 顏色紋理特征提取顏色參數(shù): CIE1996均勻顏色空間值 l*, a*, b*紋理參數(shù): 梯度均值2, 梯度標差 2 , 及梯度墑T8。皮革外觀由維輸入矢量 I = l*, a*, b*, 2 ,2 ,T8

10、描畫 2. SOM 神經(jīng)網(wǎng)絡(luò)的設(shè)計 網(wǎng)絡(luò)構(gòu)造: 6輸入1維線陣輸出。聚類時每批100張皮，平均每件皮衣需求56張皮，因此將輸出層設(shè)置20個神經(jīng)元。每個神經(jīng)元代表一類外觀效果類似的皮料，假設(shè)聚為一類的皮料不夠做一件皮衣，可以和相鄰類歸并運用。 基于SOM神經(jīng)網(wǎng)絡(luò)的皮革聚類3.網(wǎng)絡(luò)參數(shù)設(shè)計 N j* (t) 優(yōu)勝鄰域在訓練開場時覆蓋整個輸出線陣，以后訓練次數(shù)每添加t =tm/P，Nj*(t)鄰域兩端各收縮一個神經(jīng)元直至鄰域內(nèi)只剩下獲勝神經(jīng)元。 對(t)采用了以下模擬退火函數(shù)：00.95 tm5000 tp1500 4.皮革紋理分類結(jié)果 基于SOM神經(jīng)網(wǎng)絡(luò)的皮革聚類SOM網(wǎng)用于物流中心城市分類評價

11、(1)物流中心城市評價目的與數(shù)據(jù)樣本 簡單項選擇取5個評價目的作為網(wǎng)絡(luò)輸入：x1人均GDP(元)，x2工業(yè)總產(chǎn)值(億元)，x3社會消費品零售總額(億元)，x4零售零售貿(mào)易總額(億元)，x5貨運總量(萬噸)。 44個物流中心城市分類評價樣本 SOM網(wǎng)用于物流中心城市分類評價 (2)物流中心城市的分類和評價分析 物流中心城市 全國性物流中心城市區(qū)域性物流中心城市地域性物流中心城市綜合型貨運型SOM網(wǎng)用于物流中心城市分類評價 (2)物流中心城市的分類和評價分析 按照SOM算法步驟，取開場的1000次迭代為排序階段，學習率=0.9； 其后為收斂階段，學習率為= 0.02。 將44個數(shù)據(jù)樣本歸一化，輸入網(wǎng)絡(luò)進展訓練。經(jīng)過實驗比較，最終取類別數(shù)為8，得到如下表所示的分類結(jié)果。 物流中心城市分類結(jié)果 上機實驗闡明義務：用平面網(wǎng)格狀樣本訓練