神經(jīng)網(wǎng)絡(luò)分類器2課件

第五章神經(jīng)網(wǎng)絡(luò)分類器5.1感知器算法5.2神經(jīng)網(wǎng)絡(luò)分類器5.1感知器算法一、引言模式識(shí)別與人工智能是研究如何利用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展：1943年，提出形式神經(jīng)元的數(shù)學(xué)模型，人工神經(jīng)網(wǎng)絡(luò)研究的開端。1949年，提出神經(jīng)元的學(xué)習(xí)準(zhǔn)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。50年代，研究類似于神經(jīng)網(wǎng)絡(luò)的分布系統(tǒng)。50年代末提出感知模型，把神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)付諸工程實(shí)踐。1982年，提出神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，引入了能力的概念，研究了網(wǎng)絡(luò)的動(dòng)力學(xué)特性；設(shè)計(jì)出用電子線路實(shí)現(xiàn)網(wǎng)絡(luò)的方案，大大促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研究。1986年，提出多層感知器的反向傳播算法。現(xiàn)在神經(jīng)網(wǎng)絡(luò)的應(yīng)用已滲透到智能控制、信號(hào)處理、優(yōu)化計(jì)算、生物醫(yī)學(xué)工程等領(lǐng)域。神經(jīng)元的基本工作機(jī)制：神經(jīng)元的兩種工作狀態(tài)：興奮和抑制。動(dòng)態(tài)極化原則：在每一個(gè)神經(jīng)元中，信息以預(yù)知的確定方向流動(dòng)，即從神經(jīng)元的接收信息部分傳到軸突的電脈沖起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通信。連接的專一性原則：神經(jīng)元之間無(wú)細(xì)胞質(zhì)的連續(xù)，神經(jīng)元不構(gòu)成隨機(jī)網(wǎng)絡(luò)，每一個(gè)神經(jīng)元與另一些神經(jīng)元構(gòu)成精確的聯(lián)接。信號(hào)的傳遞過(guò)程：接受興奮電位；信號(hào)的匯集和傳導(dǎo)；信號(hào)的輸出。2、人工神經(jīng)元人工神經(jīng)元模型：xi：輸入，神經(jīng)元的輸入值ωi：權(quán)值，突觸的連接強(qiáng)度f(wàn)：輸出函數(shù)，非線性函數(shù)y：輸出神經(jīng)元?jiǎng)幼鳎撼Ｓ幂敵龊瘮?shù)：閾值函數(shù)：雙曲正切函數(shù)：非線性，單調(diào)性無(wú)限次可微權(quán)值很大時(shí)接近閾值函數(shù)權(quán)值很小時(shí)接近線性函數(shù)階躍函數(shù)：則：y=sgn(WTX)即：y=f(WTX)這種神經(jīng)元沒(méi)有內(nèi)部狀態(tài)的轉(zhuǎn)變，而且函數(shù)為閾值型。因此，它實(shí)質(zhì)上是一種線性閾值計(jì)算單元。感知器是一個(gè)具有單層計(jì)算單元的人工神經(jīng)網(wǎng)絡(luò)。感知器訓(xùn)練算法就是由這種神經(jīng)網(wǎng)絡(luò)演變來(lái)的。設(shè)閾值：θ=-ω0W=(ω1,ω2,…,ωn,ω0)TX=(x1,x2,…,xn,1)T感知器算法能夠通過(guò)對(duì)訓(xùn)練模式樣本集的“學(xué)習(xí)”得出判別函數(shù)的系數(shù)解。算法描述用樣本訓(xùn)練時(shí)，若x∈ωi，g(x)>0，則w不變。若g(x)<0，則修改w，直到所有樣本都滿足條件為止。通過(guò)上面的定義，感知器問(wèn)題變成wi/wj兩類問(wèn)題。因此，感知器的自組織、自學(xué)習(xí)思想可以用于確定性分類器的訓(xùn)練——感知器訓(xùn)練方法。4、感知器訓(xùn)練算法初始化：給定一個(gè)訓(xùn)練模式集{x1,x2,…xN}，其中每個(gè)類別已知，它們分屬于ω1,ω2。xi＝(xi1,xi2,…xin)T為n維向量，增廣為(n+1)維向量：xi＝(xi1,xi2,…xin,1)ω2類樣本乘以－1。權(quán)向量w為(n+1)維向量。例1：試用感知器算法求出下列兩類的判別函數(shù)。

ω1：{(0,0)T,(0,1)T}，ω2：{(1,0)T,(1,1)T}，上機(jī)作業(yè)三：

ω1=(x1,x2)={(1,0,1),(0,1,1)}

ω2=(x3,x4)={(1,1,0),(0,1,0)}使用感知器算法給出區(qū)分兩類模式的判別函數(shù)。5、感知器算法收斂性分析收斂定理：如果訓(xùn)練模式是線性可分的，感知器訓(xùn)練算法在有限次迭代后便可以收斂到正確的解矢量w*若將式中閾值0改為一非負(fù)值T，則變?yōu)楦话愕男问剑涸O(shè)：w*為權(quán)向量的解，則它具有下式的性質(zhì)：感知器算法可寫成：取C=1（不失一般性，可分入樣本中）xk中k為N個(gè)訓(xùn)練樣本在多次反復(fù)迭代中的累積編號(hào)。如果xk∈ωi和dl(xk)≥di(xk)(l≠i)則：

wi(k+1)=wi(k)+ρxkwl(k+1)=wl(k)-ρxk

wj(k+1)=wi(k)(任意j≠l,

i)

(4)如果k<N,令k=k+1,返至(2)。如果k=N，則檢驗(yàn)判別函數(shù)wi’x對(duì)x1,x2…xN,是否都能正確分類。若是，結(jié)束；若不是，令k=1,返至(2)例2：已知訓(xùn)練樣本(0，0)’屬于ω1類，(1，1)’屬于ω2類，(-1，1)’屬于ω3類，試求解向量w1*,w2*,w3*實(shí)驗(yàn)四：實(shí)驗(yàn)所用樣本數(shù)據(jù)如表給出，編制程序?qū)崿F(xiàn)ω1、ω2、ω3、ω4類的分類。

感知機(jī)Perceptron(Rosenblatt1958)Adaline(WidrowandHoff)《Perceptron》(Minsky&Papert,1969)Hopfield模型(Hopfield，1982)多層感知機(jī)MLP與反向傳播算法BP(Rumelhart,1986)5.2神經(jīng)網(wǎng)絡(luò)分類器神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自學(xué)習(xí)自適應(yīng)并行處理分布表達(dá)與計(jì)算神經(jīng)網(wǎng)絡(luò)本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域：優(yōu)化計(jì)算信號(hào)處理智能控制模式識(shí)別機(jī)器視覺(jué)等神經(jīng)網(wǎng)絡(luò)的應(yīng)用常用輸出函數(shù)：線性輸出函數(shù)：a=f(x)=xSigmoid函數(shù)：前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無(wú)反饋，可用一有向無(wú)環(huán)圖表示。前饋網(wǎng)絡(luò)通常分為不同的層，第i層的輸入只與第i-1層的輸出聯(lián)接?？梢?jiàn)層：輸入層和輸出層隱層：中間層5.2.1前饋神經(jīng)網(wǎng)絡(luò)及其主要方法三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性分類例：異或(XOR)任何一個(gè)邏輯電路都可以只用XOR門來(lái)實(shí)現(xiàn)，XOR是通用門實(shí)線：+虛線：-數(shù)字：權(quán)值單個(gè)閾值神經(jīng)元可實(shí)現(xiàn)任意多輸入的與、或、與非、或非門任何邏輯函數(shù)可用一個(gè)三層前饋網(wǎng)絡(luò)實(shí)現(xiàn)有4個(gè)模式，要分為2類：適當(dāng)選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡(luò)可以逼近任意的多元非線性函數(shù)若有足夠多的隱單元，任何從輸入到輸出的連續(xù)函數(shù)都可以用一個(gè)這樣的三層網(wǎng)絡(luò)任意精度近似三層或三層以上的前饋網(wǎng)絡(luò)通常被叫做多層感知器(MLP)MLP的適用范圍大大超過(guò)單層網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)雙層網(wǎng)絡(luò)→一個(gè)線性邊界三層或三層以上→任意決策邊界存在問(wèn)題：未給出隱單元數(shù)目未給出權(quán)值僅根據(jù)訓(xùn)練樣本，很難知道應(yīng)該有什么形式的界面函數(shù)實(shí)際設(shè)計(jì)過(guò)程中還有很多問(wèn)題三層前饋網(wǎng)絡(luò)的使用范圍大大超過(guò)二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)方法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無(wú)法直接計(jì)算其誤差。1、反向傳播算法反向傳播算法：從后向前反向逐層“傳播”輸出層的誤差，以間接算出隱層誤差。分兩個(gè)階段：正向過(guò)程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出反向過(guò)程：由輸出層誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值用已知類別的特征向量為訓(xùn)練集，當(dāng)輸入屬于第j類的特征向量時(shí)，應(yīng)使輸出yj=1，其他輸出為-1；設(shè)期望的輸出為：Y=[y1,y2,…,yn]T，實(shí)際輸出為：某一層第j個(gè)計(jì)算單元：i：前一層的第i個(gè)計(jì)算單元k：后一層的第k個(gè)計(jì)算單元Oj：本層的第j個(gè)計(jì)算單元的輸出wij：前一層第i個(gè)單元到本層第j個(gè)單元的權(quán)值正向過(guò)程：輸入某樣本時(shí)，從前到后對(duì)每個(gè)神經(jīng)元計(jì)算：對(duì)輸出層，是實(shí)際輸出值，yj是期望輸出值，誤差為：定義局部梯度：計(jì)算權(quán)值對(duì)誤差的影響：利用梯度下降原理為使誤差盡快減小，令修正量為：

Δwij=-ησjOiwij(t+1)=wij(t)+Δwij(t)t為迭代次數(shù)若單元j為輸出單元：若單元j不是輸出單元，則Oj會(huì)影響后層所有單元，有：誤差反向傳播原理示意圖隱層單元j的局部梯度σj正比于輸出單元局部梯度的σk加權(quán)和由此，輸出單元的局部梯度就“反向”傳播回到隱層單元當(dāng)非線性函數(shù)f為雙曲正切函數(shù)時(shí)：反向傳播算法設(shè)權(quán)值的隨機(jī)初始值(較小的隨機(jī)數(shù))反復(fù)執(zhí)行如下操作(依次輸入如下樣本)，直到收斂從前向后逐層計(jì)算每個(gè)單元的Oj，計(jì)算每個(gè)輸出單元的局部梯度σj從后向前反向計(jì)算每個(gè)隱層單元計(jì)算并保存每個(gè)權(quán)值修正量修正權(quán)值可對(duì)各樣本修正權(quán)值，也可各樣本計(jì)算σj后按總誤差修正權(quán)值討論梯度下降法求非線性函數(shù)極值，可能局部極小，不能保證收斂到全局極小點(diǎn)三層或更多層網(wǎng)絡(luò)，初始權(quán)值不能全為零或都相同，否則各隱層單元無(wú)差異，迭代無(wú)效果。通常采用小隨機(jī)數(shù)，如區(qū)間[-0.3，0.3]初始值影響收斂，不收斂時(shí)改變初始值重新迭代步長(zhǎng)參數(shù)η對(duì)收斂影響大，不同問(wèn)題最佳值不同，約0.1~3慣性系數(shù)α影響收斂速度，常用0.9~1，α≥1時(shí)不收斂輸入單元數(shù)=特征向量維數(shù)，輸出單元數(shù)=類別個(gè)數(shù)

徑向基函數(shù)：沿某種徑向?qū)ΨQ的標(biāo)量函數(shù)?？臻g中任意一點(diǎn)x到某一中心xc之間歐氏距離的單調(diào)函數(shù)，記作：2、徑向基函數(shù)網(wǎng)絡(luò)最常用的徑向基函數(shù)是高斯核函數(shù)：

xc：為核函數(shù)中心σ：為函數(shù)的寬參數(shù)，控制了函數(shù)的徑向作用范圍，即x遠(yuǎn)離xc時(shí)函數(shù)取值很小網(wǎng)絡(luò)特點(diǎn)：只有一個(gè)隱層，輸入層到隱層之間的權(quán)值均固定為1，隱層單元采用徑向基函數(shù)作為其輸出特性。輸出節(jié)點(diǎn)為線性輸出單元，隱層到輸出節(jié)點(diǎn)之間的權(quán)值可調(diào)，輸出為隱層的加權(quán)求和。徑向基函數(shù)網(wǎng)絡(luò)的作用對(duì)未知函數(shù)f(x)的逼近器。輸出為隱層的線性加權(quán)求和，采用基函數(shù)的加權(quán)和來(lái)實(shí)現(xiàn)對(duì)函數(shù)的逼近隱層把原始的非線性可分的特征空間變換到另一個(gè)空間（通常是高維空間），使之可以線性可分?？烧{(diào)參數(shù)的選擇：三種可調(diào)參數(shù)：隱層基函數(shù)中心、方差，輸出單元的權(quán)值根據(jù)經(jīng)驗(yàn)選擇函數(shù)中心及方差用聚類方法選擇基函數(shù)通過(guò)訓(xùn)練樣本用誤差糾正算法求得5.2.2競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制上述前饋網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，需要同時(shí)提供輸入樣本和相應(yīng)的理想輸出。引進(jìn)競(jìng)爭(zhēng)機(jī)制的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)，完成聚類的任務(wù)。結(jié)構(gòu)在二層前饋網(wǎng)絡(luò)的輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方的輸出，構(gòu)成正反饋互聯(lián)。競(jìng)爭(zhēng)的結(jié)果是：具有較大輸入的單元輸出為1，其他單元輸出都為0網(wǎng)絡(luò)功能實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)，完成聚類的任務(wù)網(wǎng)絡(luò)動(dòng)作機(jī)制學(xué)習(xí)時(shí)先用隨機(jī)數(shù)作為權(quán)值初始值，整個(gè)學(xué)習(xí)過(guò)程隨時(shí)將權(quán)值進(jìn)行歸一化處理，即：使各權(quán)向量滿足：當(dāng)樣本為歸一化樣本，學(xué)習(xí)可按如下算法進(jìn)行：討論：網(wǎng)絡(luò)不可能收斂到修正量趨向于零的狀態(tài)，采用強(qiáng)制收斂方法，在學(xué)習(xí)過(guò)程中將步長(zhǎng)參數(shù)η緩慢減小至零。學(xué)習(xí)結(jié)果受初始值和學(xué)習(xí)樣本順序影響很大，聚類的結(jié)果不一定理想，需要加入適當(dāng)?shù)娜斯じ深A(yù)。例：先選擇少量典型性好的樣本作為權(quán)向量初始值。帶反饋的神經(jīng)網(wǎng)絡(luò)示意圖輸入：外部輸入信號(hào)和同一區(qū)域的反饋信號(hào)5.2.3自組織特征映射神經(jīng)網(wǎng)絡(luò)輸入信號(hào)反饋信號(hào)輸出信號(hào)概念依據(jù)大腦對(duì)信號(hào)處理的特點(diǎn)，提出了一種神經(jīng)網(wǎng)絡(luò)模型——自組織特征映射模型，自組織特征映射模型是典型的自組織系統(tǒng)，因而也有人稱其為“自組織模型”。由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全連接，網(wǎng)絡(luò)中沒(méi)有隱含層。自組織的過(guò)程實(shí)際上就是一種無(wú)指導(dǎo)的學(xué)習(xí)。它通過(guò)自身訓(xùn)練，自動(dòng)對(duì)輸入模式進(jìn)行分類。自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖交互作用函數(shù)或網(wǎng)絡(luò)功能：形成認(rèn)知地圖，進(jìn)行聚類學(xué)習(xí)方法和學(xué)習(xí)過(guò)程用隨機(jī)數(shù)設(shè)定權(quán)值初始值，并始終進(jìn)行權(quán)向量歸一化，使其滿足：反復(fù)進(jìn)行以下運(yùn)算，直到達(dá)到預(yù)定的學(xué)習(xí)次數(shù)或每次學(xué)習(xí)中權(quán)值改變量小于某一閾值輸入一個(gè)樣本計(jì)算各輸出單元的強(qiáng)度找出主興奮單元C，使確定各輸出單元興奮度計(jì)算各權(quán)值修正量Δwij，修正權(quán)值，進(jìn)行歸一化討論：R的選擇，如：L：輸出平面邊長(zhǎng)N：輸入向量維數(shù)必要時(shí)根據(jù)學(xué)習(xí)次數(shù)更新學(xué)習(xí)步長(zhǎng)和鄰域交互作用半徑輸入高維向量空間向二維平面的映射，映射的不唯一性學(xué)習(xí)結(jié)果與權(quán)值初始值和樣本順序有關(guān)5.2.4神經(jīng)網(wǎng)絡(luò)模式識(shí)別典型方法多層感知器模型是模式識(shí)別中應(yīng)用最多的的網(wǎng)絡(luò)模型兩種拓?fù)浣Y(jié)構(gòu)：ACON:allclassesonenet，多輸出型OCON:oneclassonenet，單輸出型ACONOCON多輸出型應(yīng)用典型方法ACON應(yīng)用最多，典型方法是：網(wǎng)絡(luò)的每個(gè)輸入節(jié)點(diǎn)對(duì)應(yīng)于樣本的一個(gè)特征輸出層單元采用“c中取1”編碼，每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)一個(gè)類，即輸出層單元數(shù)=模式類數(shù)訓(xùn)練樣本數(shù)據(jù)的期望輸出：[0,0,…,1,…,0],即其所屬類的相應(yīng)輸出節(jié)點(diǎn)為1，其他節(jié)點(diǎn)均為0識(shí)別階段：