神經(jīng)網(wǎng)絡分類器

神經(jīng)網(wǎng)絡分類器第一頁，共五十六頁，2022年，8月28日5.1感知器算法一、引言模式識別與人工智能是研究如何利用計算機實現(xiàn)人腦的一些功能。第二頁，共五十六頁，2022年，8月28日人工神經(jīng)網(wǎng)絡研究的發(fā)展：1943年，提出形式神經(jīng)元的數(shù)學模型，人工神經(jīng)網(wǎng)絡研究的開端。1949年，提出神經(jīng)元的學習準則，為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。50年代，研究類似于神經(jīng)網(wǎng)絡的分布系統(tǒng)。50年代末提出感知模型，把神經(jīng)網(wǎng)絡的實現(xiàn)付諸工程實踐。1982年，提出神經(jīng)網(wǎng)絡的數(shù)學模型，引入了能力的概念，研究了網(wǎng)絡的動力學特性；設計出用電子線路實現(xiàn)網(wǎng)絡的方案，大大促進了神經(jīng)網(wǎng)絡的研究。1986年，提出多層感知器的反向傳播算法?，F(xiàn)在神經(jīng)網(wǎng)絡的應用已滲透到智能控制、信號處理、優(yōu)化計算、生物醫(yī)學工程等領域。第三頁，共五十六頁，2022年，8月28日二、人工神經(jīng)元1、生物神經(jīng)元典型的神經(jīng)元，即神經(jīng)細胞結構：胞體、樹突、軸突、突觸胞體：神經(jīng)細胞的本體，完成普通細胞的生存功能。樹突：有大量的分枝，接受來自其他神經(jīng)元的信號。軸突：用以輸出信號。突觸：神經(jīng)元相聯(lián)系的部位，對樹突的突觸為興奮性的，使下一個神經(jīng)元興奮；對胞體的突觸為抑制性的，阻止下一個神經(jīng)元興奮。第四頁，共五十六頁，2022年，8月28日神經(jīng)元的基本工作機制：神經(jīng)元的兩種工作狀態(tài)：興奮和抑制。動態(tài)極化原則：在每一個神經(jīng)元中，信息以預知的確定方向流動，即從神經(jīng)元的接收信息部分傳到軸突的電脈沖起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通信。連接的專一性原則：神經(jīng)元之間無細胞質的連續(xù)，神經(jīng)元不構成隨機網(wǎng)絡，每一個神經(jīng)元與另一些神經(jīng)元構成精確的聯(lián)接。信號的傳遞過程：接受興奮電位；信號的匯集和傳導；信號的輸出。第五頁，共五十六頁，2022年，8月28日2、人工神經(jīng)元人工神經(jīng)元模型：xi：輸入，神經(jīng)元的輸入值ωi：權值，突觸的連接強度f：輸出函數(shù)，非線性函數(shù)y：輸出神經(jīng)元動作：常用輸出函數(shù)：閾值函數(shù)：第六頁，共五十六頁，2022年，8月28日雙曲正切函數(shù)：非線性，單調性無限次可微權值很大時接近閾值函數(shù)權值很小時接近線性函數(shù)階躍函數(shù)：第七頁，共五十六頁，2022年，8月28日

f為閾值函數(shù)：3、感知器模型第八頁，共五十六頁，2022年，8月28日則：y=sgn(WTX)即：y=f(WTX)這種神經(jīng)元沒有內部狀態(tài)的轉變，而且函數(shù)為閾值型。因此，它實質上是一種線性閾值計算單元。感知器是一個具有單層計算單元的人工神經(jīng)網(wǎng)絡。感知器訓練算法就是由這種神經(jīng)網(wǎng)絡演變來的。設閾值：θ=-ω0W=(ω1,ω2,…,ωn,ω0)TX=(x1,x2,…,xn,1)T感知器算法能夠通過對訓練模式樣本集的“學習”得出判別函數(shù)的系數(shù)解。第九頁，共五十六頁，2022年，8月28日算法描述用樣本訓練時，若x∈ωi，g(x)>0，則w不變。若g(x)<0，則修改w，直到所有樣本都滿足條件為止。通過上面的定義，感知器問題變成wi/wj兩類問題。因此，感知器的自組織、自學習思想可以用于確定性分類器的訓練——感知器訓練方法。4、感知器訓練算法第十頁，共五十六頁，2022年，8月28日初始化：給定一個訓練模式集{x1,x2,…xN}，其中每個類別已知，它們分屬于ω1,ω2。xi＝(xi1,xi2,…xin)T為n維向量，增廣為(n+1)維向量：xi＝(xi1,xi2,…xin,1)ω2類樣本乘以－1。權向量w為(n+1)維向量。第十一頁，共五十六頁，2022年，8月28日感知器算法步驟置步數(shù)k=1，令增量C為常數(shù)，且C>0，分別賦予初始增廣權矢量w(1)的各分量較小的任意值。輸入訓練模式xk，計算判別函數(shù)值wT(k)xk

調整增廣權矢量，規(guī)則是：如果wT(k)xk≤0,則w(k+1)=w(k)+Cxk如果wT(k)xk>0,則w(k+1)=w(k)如果k<N，令k=k+1，返至第二步。如果k=N，則檢驗判別函數(shù)wTx對x1,x2,…,xN，是否都能正確分類。若是，結束；若不是，令k=1，返至第二步第十二頁，共五十六頁，2022年，8月28日例1：試用感知器算法求出下列兩類的判別函數(shù)。

ω1：{(0,0)T,(0,1)T}，ω2：{(1,0)T,(1,1)T}，第十三頁，共五十六頁，2022年，8月28日上機作業(yè)三：

ω1=(x1,x2)={(1,0,1),(0,1,1)}

ω2=(x3,x4)={(1,1,0),(0,1,0)}

使用感知器算法給出區(qū)分兩類模式的判別函數(shù)。第十四頁，共五十六頁，2022年，8月28日5、感知器算法收斂性分析收斂定理：如果訓練模式是線性可分的，感知器訓練算法在有限次迭代后便可以收斂到正確的解矢量w*若將式中閾值0改為一非負值T，則變?yōu)楦话愕男问剑涸O：w*為權向量的解，則它具有下式的性質：感知器算法可寫成：取C=1（不失一般性，可分入樣本中）xk中k為N個訓練樣本在多次反復迭代中的累積編號。第十五頁，共五十六頁，2022年，8月28日6、感知器算法在多類問題中的應用多類問題分類途徑只考慮第三種情況：如果di(x)>dj(x)任意j≠i，則判x∈ωi(1)賦初值，分別給c個權矢量wi(1)（i=1,2,…c）賦任意的初值，選擇正常數(shù)ρ，置步數(shù)k=1.(2)輸入符號未規(guī)范化的增廣訓練模式xk,xk∈{x1,

x2…

xN},計算c個判別函數(shù)：di(xk)=wi’(k)xk(i=1,2,…c)(3)調整增廣權矢量，規(guī)則是：如果xk∈ωi和di(xk)>dj(xk)(任意j

≠i)，則：

wi(k+1)=wi(k)(i=1,2,…c)算法步驟：第十六頁，共五十六頁，2022年，8月28日如果xk∈ωi和dl(xk)≥di(xk)(l≠i)則：

wi(k+1)=wi(k)+ρxkwl(k+1)=wl(k)-ρxk

wj(k+1)=wi(k)(任意j≠l,

i)

(4)如果k<N,令k=k+1,返至(2)。如果k=N，則檢驗判別函數(shù)wi’x對x1,x2…xN,是否都能正確分類。若是，結束；若不是，令k=1,返至(2)第十七頁，共五十六頁，2022年，8月28日例2：已知訓練樣本(0，0)’屬于ω1類，(1，1)’屬于ω2類，(-1，1)’屬于ω3類，試求解向量w1*,w2*,w3*第十八頁，共五十六頁，2022年，8月28日實驗四：實驗所用樣本數(shù)據(jù)如表給出，編制程序實現(xiàn)ω1、ω2、ω3、ω4類的分類。

第十九頁，共五十六頁，2022年，8月28日7、感知器算法推廣由感知器算法：進一步：將cxk變?yōu)閷Ψ诸愬e誤敏感的準則函數(shù)J(w,x)定義：梯度下降準則第二十頁，共五十六頁，2022年，8月28日感知機Perceptron(Rosenblatt1958)Adaline(WidrowandHoff)《Perceptron》(Minsky&Papert,1969)Hopfield模型(Hopfield，1982)多層感知機MLP與反向傳播算法BP(Rumelhart,1986)5.2神經(jīng)網(wǎng)絡分類器神經(jīng)網(wǎng)絡的特點自學習自適應并行處理分布表達與計算第二十一頁，共五十六頁，2022年，8月28日神經(jīng)網(wǎng)絡本質上可以理解為函數(shù)逼近，可以應用到眾多領域：優(yōu)化計算信號處理智能控制模式識別機器視覺等神經(jīng)網(wǎng)絡的應用第二十二頁，共五十六頁，2022年，8月28日常用輸出函數(shù)：線性輸出函數(shù)：a=f(x)=xSigmoid函數(shù)：第二十三頁，共五十六頁，2022年，8月28日Hebb學習規(guī)則：如果神經(jīng)元ui接收來自另一神經(jīng)元uj的輸出，則當這兩個神經(jīng)元同時興奮時，從uj到ui的權值wij就得到加強，可寫成：神經(jīng)元的學習算法式中Δwij為到uj的第i個權值的修正量，η為控制修正速度的系數(shù)?！靶拚睘椤霸鰪姟被颉皽p弱”的概念，不局限于代數(shù)的“加”或“減”。第二十四頁，共五十六頁，2022年，8月28日前饋神經(jīng)網(wǎng)絡：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡通常分為不同的層，第i層的輸入只與第i-1層的輸出聯(lián)接?？梢妼樱狠斎雽雍洼敵鰧与[層：中間層5.2.1前饋神經(jīng)網(wǎng)絡及其主要方法第二十五頁，共五十六頁，2022年，8月28日第二十六頁，共五十六頁，2022年，8月28日例：感知器雙層神經(jīng)網(wǎng)絡：一層為輸入層，另一層有計算單元；修正權值w：式中k為迭代次數(shù)。i=1,2,…,nj=1,2,…,m反復依次輸入訓練集中的特征向量x，計算實際輸出值，并修正權向量與線性判別函數(shù)等價，只解決線性可分問題，收斂速度快第二十七頁，共五十六頁，2022年，8月28日三層前饋神經(jīng)網(wǎng)絡用三層前饋神經(jīng)網(wǎng)絡實現(xiàn)邏輯門例：與非門(NAND)x1,x2∈{-1,1}y∈{-1,1}用前饋神經(jīng)網(wǎng)絡實現(xiàn)“與非門”，可組成任何邏輯函數(shù)第二十八頁，共五十六頁，2022年，8月28日三層神經(jīng)網(wǎng)絡實現(xiàn)非線性分類例：異或(XOR)任何一個邏輯電路都可以只用XOR門來實現(xiàn)，XOR是通用門第二十九頁，共五十六頁，2022年，8月28日實線：+虛線：-數(shù)字：權值單個閾值神經(jīng)元可實現(xiàn)任意多輸入的與、或、與非、或非門任何邏輯函數(shù)可用一個三層前饋網(wǎng)絡實現(xiàn)第三十頁，共五十六頁，2022年，8月28日有4個模式，要分為2類：第三十一頁，共五十六頁，2022年，8月28日適當選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡可以逼近任意的多元非線性函數(shù)若有足夠多的隱單元，任何從輸入到輸出的連續(xù)函數(shù)都可以用一個這樣的三層網(wǎng)絡任意精度近似三層或三層以上的前饋網(wǎng)絡通常被叫做多層感知器(MLP)MLP的適用范圍大大超過單層網(wǎng)絡第三十二頁，共五十六頁，2022年，8月28日多層前饋網(wǎng)絡雙層網(wǎng)絡→一個線性邊界三層或三層以上→任意決策邊界存在問題：未給出隱單元數(shù)目未給出權值僅根據(jù)訓練樣本，很難知道應該有什么形式的界面函數(shù)實際設計過程中還有很多問題第三十三頁，共五十六頁，2022年，8月28日三層前饋網(wǎng)絡的使用范圍大大超過二層前饋網(wǎng)絡，但學習方法較為復雜，主要困難是中間的隱層不直接與外界連接，無法直接計算其誤差。1、反向傳播算法反向傳播算法：從后向前反向逐層“傳播”輸出層的誤差，以間接算出隱層誤差。分兩個階段：正向過程：從輸入層經(jīng)隱層逐層正向計算各單元的輸出反向過程：由輸出層誤差逐層反向計算隱層各單元的誤差，并用此誤差修正前層的權值用已知類別的特征向量為訓練集，當輸入屬于第j類的特征向量時，應使輸出yj=1，其他輸出為-1；設期望的輸出為：Y=[y1,y2,…,yn]T，實際輸出為：第三十四頁，共五十六頁，2022年，8月28日某一層第j個計算單元：i：前一層的第i個計算單元k：后一層的第k個計算單元Oj：本層的第j個計算單元的輸出wij：前一層第i個單元到本層第j個單元的權值第三十五頁，共五十六頁，2022年，8月28日正向過程：輸入某樣本時，從前到后對每個神經(jīng)元計算：對輸出層，是實際輸出值，yj是期望輸出值，誤差為：定義局部梯度：計算權值對誤差的影響：第三十六頁，共五十六頁，2022年，8月28日利用梯度下降原理為使誤差盡快減小，令修正量為：

Δwij=-ησjOiwij(t+1)=wij(t)+Δwij(t)t為迭代次數(shù)若單元j為輸出單元：若單元j不是輸出單元，則Oj會影響后層所有單元，有：第三十七頁，共五十六頁，2022年，8月28日誤差反向傳播原理示意圖隱層單元j的局部梯度σj正比于輸出單元局部梯度的σk加權和由此，輸出單元的局部梯度就“反向”傳播回到隱層單元當非線性函數(shù)f為雙曲正切函數(shù)時：第三十八頁，共五十六頁，2022年，8月28日反向傳播算法設權值的隨機初始值(較小的隨機數(shù))反復執(zhí)行如下操作(依次輸入如下樣本)，直到收斂從前向后逐層計算每個單元的Oj，計算每個輸出單元的局部梯度σj從后向前反向計算每個隱層單元計算并保存每個權值修正量修正權值可對各樣本修正權值，也可各樣本計算σj后按總誤差修正權值第三十九頁，共五十六頁，2022年，8月28日討論梯度下降法求非線性函數(shù)極值，可能局部極小，不能保證收斂到全局極小點三層或更多層網(wǎng)絡，初始權值不能全為零或都相同，否則各隱層單元無差異，迭代無效果。通常采用小隨機數(shù)，如區(qū)間[-0.3，0.3]初始值影響收斂，不收斂時改變初始值重新迭代步長參數(shù)η對收斂影響大，不同問題最佳值不同，約0.1~3慣性系數(shù)α影響收斂速度，常用0.9~1，α≥1時不收斂輸入單元數(shù)=特征向量維數(shù)，輸出單元數(shù)=類別個數(shù)第四十頁，共五十六頁，2022年，8月28日徑向基函數(shù)：沿某種徑向對稱的標量函數(shù)。空間中任意一點x到某一中心xc之間歐氏距離的單調函數(shù)，記作：2、徑向基函數(shù)網(wǎng)絡最常用的徑向基函數(shù)是高斯核函數(shù)：

xc：為核函數(shù)中心σ：為函數(shù)的寬參數(shù)，控制了函數(shù)的徑向作用范圍，即x遠離xc時函數(shù)取值很小第四十一頁，共五十六頁，2022年，8月28日網(wǎng)絡特點：只有一個隱層，輸入層到隱層之間的權值均固定為1，隱層單元采用徑向基函數(shù)作為其輸出特性。輸出節(jié)點為線性輸出單元，隱層到輸出節(jié)點之間的權值可調，輸出為隱層的加權求和。第四十二頁，共五十六頁，2022年，8月28日徑向基函數(shù)網(wǎng)絡的作用對未知函數(shù)f(x)的逼近器。輸出為隱層的線性加權求和，采用基函數(shù)的加權和來實現(xiàn)對函數(shù)的逼近隱層把原始的非線性可分的特征空間變換到另一個空間（通常是高維空間），使之可以線性可分。第四十三頁，共五十六頁，2022年，8月28日可調參數(shù)的選擇：三種可調參數(shù)：隱層基函數(shù)中心、方差，輸出單元的權值根據(jù)經(jīng)驗選擇函數(shù)中心及方差用聚類方法選擇基函數(shù)通過訓練樣本用誤差糾正算法求得第四十四頁，共五十六頁，2022年，8月28日5.2.2競爭學習和側抑制上述前饋網(wǎng)絡屬于監(jiān)督學習，需要同時提供輸入樣本和相應的理想輸出。引進競爭機制的前饋網(wǎng)絡可以實現(xiàn)無監(jiān)督學習，完成聚類的任務。結構在二層前饋網(wǎng)絡的輸出層各單元之間相互用較大的負權值輸入對方的輸出，構成正反饋互聯(lián)。競爭的結果是：具有較大輸入的單元輸出為1，其他單元輸出都為0網(wǎng)絡功能實現(xiàn)無監(jiān)督學習，完成聚類的任務第四十五頁，共五十六頁，2022年，8月28日網(wǎng)絡動作機制學習時先用隨機數(shù)作為權值初始值，整個學習過程隨時將權值進行歸一化處理，即：使各權向量滿足：當樣本為歸一化樣本，學習可按如下算法進行：第四十六頁，共五十六頁，2022年，8月28日討論：網(wǎng)絡不可能收斂到修正量趨向于零的狀態(tài)，采用強制收斂方法，在學習過程中將步長參數(shù)η緩慢減小至零。學習結果受初始值和學習樣本順序影響很大，聚類的結果不一定理想，需要加入適當?shù)娜斯じ深A。例：先選擇少量典型性好的樣本作為權向量初始值。第四十七頁，共五十六頁，2022年，8月28日帶反饋的神經(jīng)網(wǎng)絡示意圖輸入：外部輸入信號和同一區(qū)域的反饋信號5.2.3自組織特征映射神經(jīng)網(wǎng)絡輸入信號反饋信號輸出信號第四十八頁，共五十六頁，2022年，8月28日概念依據(jù)大腦對信號處理的特點，提出了一種神經(jīng)網(wǎng)絡模型——自組織特征映射模型，自組織特征映射模型是典型的自組織系統(tǒng)，因而也有人稱其為“自組織模型”。由輸入層和競爭層構成的兩層網(wǎng)絡。兩層之間的各神經(jīng)元實現(xiàn)雙向全連接，網(wǎng)絡中沒有隱含層。自組織的過程實際上就是一種無指導的學習。它通過自身訓練，自動對輸入模式進行分類。自組織特征映射神經(jīng)網(wǎng)絡第四十九頁，共五十六頁，2022年，8月28日自組織特征映射神經(jīng)網(wǎng)絡結構示意圖交互作用函數(shù)或網(wǎng)絡功能：形成認知地圖，進行聚類第五十頁，共五十六頁，2022年，8月28日學習方法和學習過程用隨機數(shù)設定權值初始值，并始終進行權向量歸一化，使其滿足：反復進行以下運算，直到達到預定的學習次數(shù)或每次學習中權值改變量小于某一閾值輸入一個樣本計算各輸出單元的強度找出主興奮單元C，使