模式識別第八章人工神經(jīng)網(wǎng)絡

主要內(nèi)容引言人工神經(jīng)元前饋神經(jīng)網(wǎng)絡及其主要算法競爭學習和側抑制1目前一頁\總數(shù)八十一頁\編于十五點8.1引言人工神經(jīng)網(wǎng)絡(artificialneuralnetwork,ANN)：由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡（功能模塊，數(shù)學模型）人工神經(jīng)網(wǎng)絡是模擬生物神經(jīng)網(wǎng)絡的工作機理、模仿人腦某些學習功能的一種計算結構。自底向上的綜合方法：基本單元→功能模塊→系統(tǒng)2目前二頁\總數(shù)八十一頁\編于十五點神經(jīng)網(wǎng)絡發(fā)展簡介第一階段：開創(chuàng)40年代初，美國McCulloch和Pitts從信息處理的角度，研究神經(jīng)細胞行為的數(shù)學模型表達，提出了二值神經(jīng)元模型。MP模型的提出開始了對神經(jīng)網(wǎng)絡的研究進程。1949年心理學家Hebb提出著名的Hebb學習規(guī)則，即由神經(jīng)元之間結合強度的改變來實現(xiàn)神經(jīng)學習的方法。1957年，F(xiàn).Rosenblatt提出感知器。1960年BernandWidrow和MarcianHoff提出自適應線性元件網(wǎng)絡。3目前三頁\總數(shù)八十一頁\編于十五點神經(jīng)網(wǎng)絡發(fā)展簡介第二階段：低潮1969年M.Minsky和S.Parpert對感知器的悲觀理論使神經(jīng)網(wǎng)絡研究陷入低谷。他們分析了若干種簡單感知器，并總結說明：簡單感知器只能完成線性分類，對非線性分類無能為力，加上他們在人工智能領域的威望，他們這種悲觀理論對當時人工神經(jīng)網(wǎng)絡的發(fā)展來說負面影響很大；而另一方面，當時計算機技術的發(fā)展使得傳統(tǒng)人工智能理論在基于VonNeumann計算機平臺上的發(fā)展趨勢非常樂觀；同時人們對當時人工神經(jīng)網(wǎng)絡的訓練沒有得到一種普適的學習算法；這樣，人工神經(jīng)網(wǎng)絡的發(fā)展轉入緩慢發(fā)展的低潮期。4目前四頁\總數(shù)八十一頁\編于十五點神經(jīng)網(wǎng)絡發(fā)展簡介第三階段：復蘇1982年生物物理學家提出Hopfield網(wǎng)絡模型，并將其成功應用于NP完全性的著名旅行商問題。1986年DavidE.和Rumelhart等的并行分布式處理(PDP)研究組完善了多層神經(jīng)網(wǎng)絡感知誤差反向傳播算法ErrorBackPropagation(簡稱BP算法，最早由Werbo于1974年提出)，特別是有效解決了網(wǎng)絡權值在學習過程中自動調(diào)整的問題，人工神經(jīng)網(wǎng)絡的發(fā)展再次掀起研究高潮；1987年6月21日在美國圣地亞哥召開了第一屆國際人工神經(jīng)網(wǎng)絡學術會議，宣告國際神經(jīng)網(wǎng)絡協(xié)會成立。

5目前五頁\總數(shù)八十一頁\編于十五點神經(jīng)網(wǎng)絡的特點自學習自適應并行處理分布表達與計算6目前六頁\總數(shù)八十一頁\編于十五點神經(jīng)網(wǎng)絡的應用NN本質(zhì)上可以理解為函數(shù)逼近，可以應用到眾多領域：優(yōu)化計算信號處理智能控制模式識別機器視覺等7目前七頁\總數(shù)八十一頁\編于十五點8.2人工神經(jīng)元生物神經(jīng)網(wǎng)絡：BiologicalNeuralNetwork（BNN）神經(jīng)元：neuron神經(jīng)元經(jīng)突觸傳遞信號給其他神經(jīng)元（胞體或樹突）1011個神經(jīng)元/人腦104個連接/神經(jīng)元神經(jīng)元基本工作機制：狀態(tài)：興奮與抑制互聯(lián)，激勵，處理，閾值信息加工信息輸出信息輸入信息傳遞8目前八頁\總數(shù)八十一頁\編于十五點MP模型

MP模型屬于一種閾值元件模型，是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型的基礎。8.2人工神經(jīng)元9目前九頁\總數(shù)八十一頁\編于十五點ynetA閾值函數(shù)(b)ynetSigmoid函數(shù)(c)fy……w1w2wnx1x2xnnet(a)其中：f是一個非線性函數(shù)，例如閾值函數(shù)或Sigmoid函數(shù)。神經(jīng)元動作如下：神經(jīng)元模型10目前十頁\總數(shù)八十一頁\編于十五點①

當f為閾值時，其輸出為：其中sgn為符號函數(shù)，若②

當某些重要的學習算法要求輸出函數(shù)f可微，通常選用Sigmoid函數(shù)：ynetA(b)11目前十一頁\總數(shù)八十一頁\編于十五點a、則y（－1，1），即－1到1的開區(qū)間內(nèi)的連續(xù)值?；騜、ynet(c)則y（0，1），見圖（c）。

選擇Sigmoid函數(shù)作為輸出函數(shù)，具有特性：①

非線性、單調(diào)性。②無限可微。③當權值很大時近似閾值函數(shù)。④當權值很小時近似線性函數(shù)12目前十二頁\總數(shù)八十一頁\編于十五點8.3神經(jīng)網(wǎng)絡的學習方法神經(jīng)網(wǎng)絡的學習：從環(huán)境中獲取知識并改進自身性能，主要指調(diào)節(jié)網(wǎng)絡參數(shù)使網(wǎng)絡達到某種度量，又稱為網(wǎng)絡的訓練學習方式：監(jiān)督學習非監(jiān)督學習再勵學習學習規(guī)則(learningrule)：Hebb學習算法誤差糾正學習算法競爭學習算法13目前十三頁\總數(shù)八十一頁\編于十五點監(jiān)督學習教師神經(jīng)網(wǎng)絡比較環(huán)境實際輸出輸入期望輸出誤差信號對訓練樣本集中的每一組輸入能提供一組目標輸出網(wǎng)絡根據(jù)目標輸出與實際輸出的誤差信號來調(diào)節(jié)網(wǎng)絡參數(shù)x(n)t(n)y(n)e(n)14目前十四頁\總數(shù)八十一頁\編于十五點非監(jiān)督學習與再勵學習非監(jiān)督學習：不存在教師，網(wǎng)絡根據(jù)外部數(shù)據(jù)的統(tǒng)計規(guī)律來調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡輸出能反映數(shù)據(jù)的某種特性再勵學習：外部環(huán)境對網(wǎng)絡輸出只給出評價信息而非正確答案，網(wǎng)絡通過強化受獎勵的動作來改善自身的性能神經(jīng)網(wǎng)絡環(huán)境輸入神經(jīng)網(wǎng)絡環(huán)境輸入輸出評價信息15目前十五頁\總數(shù)八十一頁\編于十五點Hebb規(guī)則假定:當兩個細胞同時興奮時，他們之間的連接強度應該增強。這條規(guī)則與“條件反射”學說一致，后來得到了神經(jīng)細胞學說的證實。幾乎所有的神經(jīng)網(wǎng)絡學習算法可看成Hebb學習規(guī)則的變形。Hebb學習規(guī)則：Hebb學習學習常數(shù)16目前十六頁\總數(shù)八十一頁\編于十五點誤差糾正學習對于輸出層第k個神經(jīng)元：實際輸出:ak(n)目標輸出:tk(n)誤差信號:ek(n)=tk(n)-ak(n)目標函數(shù)：基于誤差信號ek(n)的函數(shù)，如誤差平方和判據(jù)(sumsquarederror,SSE)，或均方誤差判據(jù)(meansquarederror,MSE,即SSE對所有樣本的期望)17目前十七頁\總數(shù)八十一頁\編于十五點誤差糾正學習梯度下降法：對于感知器和線性網(wǎng)絡：delta學習規(guī)則對于多層感知器網(wǎng)絡：擴展的delta學習規(guī)則，BP算法18目前十八頁\總數(shù)八十一頁\編于十五點競爭學習無監(jiān)督學習方法輸出神經(jīng)元之間有側向抑制性連接，較強單元獲勝并抑制其他單元，獨處激活狀態(tài)（Winnertakesall,WTA）wkjkpj19目前十九頁\總數(shù)八十一頁\編于十五點競爭學習原理競爭學習規(guī)則——Winner-Take-All(勝者為王)網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。20目前二十頁\總數(shù)八十一頁\編于十五點競爭學習規(guī)則——Winner-Take-All1.向量歸一化

首先將當前輸入模式向量X和競爭層中各神經(jīng)元對應的內(nèi)星向量Wj全部進行歸一化處理；(j=1,2,…,m)21目前二十一頁\總數(shù)八十一頁\編于十五點向量歸一化之前22目前二十二頁\總數(shù)八十一頁\編于十五點向量歸一化之后23目前二十三頁\總數(shù)八十一頁\編于十五點競爭學習原理競爭學習規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元

當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的內(nèi)星權向量均與其進行相似性比較，并將最相似的內(nèi)星權向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：24目前二十四頁\總數(shù)八十一頁\編于十五點

從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：競爭學習規(guī)則——Winner-Take-All25目前二十五頁\總數(shù)八十一頁\編于十五點競爭學習規(guī)則——勝者為王(Winner-Take-All)3.網(wǎng)絡輸出與權值調(diào)整

jj*步驟3完成后回到步驟1繼續(xù)訓練，直到學習率衰減到0。26目前二十六頁\總數(shù)八十一頁\編于十五點競爭學習的幾何意義?27目前二十七頁\總數(shù)八十一頁\編于十五點競爭學習的幾何意義

*

1W?

*?jW

*

)](?)(?)[()(*ttttjpWXW-=hD

*┆

)(?*1tj+W

)(?tpX

jW?

mW?

*

…

***28目前二十八頁\總數(shù)八十一頁\編于十五點例4.1用競爭學習算法將下列各模式分為2類：解：為作圖方便，將上述模式轉換成極坐標形式：競爭層設兩個權向量，隨機初始化為單位向量：O1O2W1=(w11,w12)W2=(w21,w22)x1x229目前二十九頁\總數(shù)八十一頁\編于十五點30目前三十頁\總數(shù)八十一頁\編于十五點31目前三十一頁\總數(shù)八十一頁\編于十五點32目前三十二頁\總數(shù)八十一頁\編于十五點33目前三十三頁\總數(shù)八十一頁\編于十五點34目前三十四頁\總數(shù)八十一頁\編于十五點35目前三十五頁\總數(shù)八十一頁\編于十五點36目前三十六頁\總數(shù)八十一頁\編于十五點37目前三十七頁\總數(shù)八十一頁\編于十五點38目前三十八頁\總數(shù)八十一頁\編于十五點39目前三十九頁\總數(shù)八十一頁\編于十五點40目前四十頁\總數(shù)八十一頁\編于十五點1）單層感知器（Pereceptron）感知器是一種雙層神經(jīng)元網(wǎng)絡模型，一層為輸入層，另一層具有計算單元，可通過監(jiān)督學習建立模式判別的能力。兩層感知器只能解決線性問題。學習的目的：通過改變權值使神經(jīng)元網(wǎng)絡由給定的輸入得到給定的輸出。單層感知器的輸出：從初始權wi(0)和閾值開始訓練。8.4前饋神經(jīng)元網(wǎng)絡41目前四十一頁\總數(shù)八十一頁\編于十五點訓練過程：

設理想的輸出為

實際輸出:用已知類別模式向量或特征向量作為訓練集：當輸入為屬于第j類特征向量x時，應使對應于該類的輸出yj=1,而其它神經(jīng)元的輸出為0（或-1）。為使實際輸出逼近理想輸出，可反復依次輸入訓練集中的模式樣本，并計算出實際輸出,并對權值作如下修改：…………

y1y2…...ymx1x2…….xn輸入層輸出層42目前四十二頁\總數(shù)八十一頁\編于十五點2）多層感知器

y1y2…...ymx1x2…….xn輸出層隱含層輸入層………………特點：多層感知器可解決非線性可分問題。設4層感知器：第1隱含層含n1個神經(jīng)元，各神經(jīng)元輸出為(j=1,2,…,n1)第2隱含層含n2個神經(jīng)元，各神經(jīng)元輸出為(k=1,2,…,n2)8.4前饋神經(jīng)元網(wǎng)絡43目前四十三頁\總數(shù)八十一頁\編于十五點輸出層神經(jīng)元的輸出為第2隱含層第k個神經(jīng)元的輸出為第1隱含層第j個神經(jīng)元的輸出為8.4前饋神經(jīng)元網(wǎng)絡44目前四十四頁\總數(shù)八十一頁\編于十五點BP算法兩個過程：正向計算和誤差反向傳播。正向過程：輸入層經(jīng)隱層單元逐層處理并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)，而不影響同一層。如果在輸出層得不到期望的輸出，則轉入反向傳播過程。反向過程：將誤差信號沿原來的連接通路返回，通過修正各層神經(jīng)元的連接權值，使得誤差信號最小。多層前饋神經(jīng)網(wǎng)絡缺點：學習較復雜，因中間隱層不直接與外界連接，無法直接計算其誤差。由此提出了反向傳播（BP）。反向傳播算法（BP）45目前四十五頁\總數(shù)八十一頁\編于十五點圖示為處于某一層的第j個計算單元，腳標i代表其前層第i個單元，腳標k代表后層第k個單元，Oj代表本層輸出，是前層到本層的權值ik反向傳播算法（BP）46目前四十六頁\總數(shù)八十一頁\編于十五點為使式子簡化，定義局部梯度（正向算法）當輸入每個樣本時，從前到后對每層各單元作如下計算設網(wǎng)絡為單輸出y，任一結點i的輸出為Oi。(1)(2)(3)(4)ik則結點j的輸入為：則結點j的輸出為：47目前四十七頁\總數(shù)八十一頁\編于十五點權值修正應使誤差最快地減小，修正量為如果節(jié)點j是輸出單元，則(5)(7)(6)48目前四十八頁\總數(shù)八十一頁\編于十五點如果節(jié)點j不是輸出單元，由前圖可知，Oj對后面層的全部節(jié)點都有影響。因此，對于Sigmoid函數(shù)有(8)(9-1)49目前四十九頁\總數(shù)八十一頁\編于十五點或者當有為了加快收斂速度，往往在權值修正量中加上前一次的權值修正量，一般稱為慣性項（步長、貫量系數(shù)

），即綜上所述，反向傳播算法步驟如下：（1）選定權系數(shù)初始值。（2）重復下述過程至此收斂（對各樣本依次計算）。①從前向后各層計算各單元Oj（正向計算）(9-2)(10)50目前五十頁\總數(shù)八十一頁\編于十五點②

對輸出層計算③從后向前計算各隱層④計算并保存各權值修正量51目前五十一頁\總數(shù)八十一頁\編于十五點⑤

修正權值Note：初始權值選?。和ǔＳ幂^小的隨機數(shù)（例），當計算不收斂時可改變初始值；步長對收斂性影響大，通?？稍?.1-0.3之間試探，對于復雜的問題應取較大值；貫性項系數(shù)影響收斂速度，應用中常在0.9-1之間選擇；中間隱層的單元數(shù)確定缺乏有效方法，一般問題越復雜，需要的隱層的單元越多；或?qū)τ谕瑯訂栴}，隱層的單元越多越容易收斂。52目前五十二頁\總數(shù)八十一頁\編于十五點初始化給定輸入向量和期望輸出求隱層、輸出層各單元輸出求目標值與實際輸出的誤差ee<計算隱層單元誤差誤差反向傳播修正權值全部ei滿足YY結束NNBP算法框圖53目前五十三頁\總數(shù)八十一頁\編于十五點徑向基函數(shù)網(wǎng)絡徑向基函數(shù)：radialbasisfunction,RBF只有一個隱層，隱層單元采用徑向基函數(shù)。隱層把原始的非線性可分的特征空間變換到另一個空間（通常是高維空間），使之可以線性可分輸出為隱層的線性加權求和。采用基函數(shù)的加權和來實現(xiàn)對函數(shù)的逼近54目前五十四頁\總數(shù)八十一頁\編于十五點徑向基函數(shù)網(wǎng)絡結構徑向基函數(shù)網(wǎng)絡55目前五十五頁\總數(shù)八十一頁\編于十五點RBF網(wǎng)絡第i個隱層單元的輸出為:式中x——n維輸入向量ci——第i個隱節(jié)點的中心，——通常為歐氏范數(shù)——RBF函數(shù)，具有局部感受的特性，它有多種形式，體現(xiàn)了RBF網(wǎng)絡的非線性映射能力，通常取為高斯函數(shù)，其形式為徑向基函數(shù)網(wǎng)絡56目前五十六頁\總數(shù)八十一頁\編于十五點網(wǎng)絡輸出層第k個節(jié)點的輸出，為隱節(jié)點輸出的線性組合：式中

——qi到y(tǒng)k的聯(lián)接權——第k個輸出節(jié)點的閾值徑向基函數(shù)網(wǎng)絡57目前五十七頁\總數(shù)八十一頁\編于十五點徑向基函數(shù)網(wǎng)絡的訓練三組可調(diào)參數(shù)：隱單元的個數(shù)，隱單元基函數(shù)中心與方差xc,σ輸出層權值wij估計方法：聚類的方法估計xc,σLMS方法估計wij58目前五十八頁\總數(shù)八十一頁\編于十五點自組織特征映射SOM是由芬蘭的Kohonen教授于1981年提出的一種神經(jīng)網(wǎng)絡模型，它的原理是基于生物神經(jīng)細胞的如下二種功能:1.實際的神經(jīng)細胞中有一種特征敏感細胞，在外界信號的刺激下，通過自學習形成對某一種特征特別敏感的神經(jīng)元。2.生物神經(jīng)細胞在外界的刺激下，會自動聚集而形成一種功能柱，一個功能柱的細胞完成同一種功能。8.5自組織映射網(wǎng)絡SOM59目前五十九頁\總數(shù)八十一頁\編于十五點（1）SOM結構SOM網(wǎng)分兩層：輸入層：模擬感知外界輸入信息的視網(wǎng)膜輸出層（競爭層）：模擬做出響應的大腦皮層。60目前六十頁\總數(shù)八十一頁\編于十五點（1）SOM結構輸入層神經(jīng)元與輸出層神經(jīng)元為全互連方式，且輸出層中的神經(jīng)元按二維形式排列，它們中的每個神經(jīng)元代表了一種輸入樣本。所有輸入節(jié)點到所有輸出節(jié)點之間都有權值連接，而且在二維平面上的輸出節(jié)點相互間也可能是局部連接的。而對改變節(jié)點競爭結果起決定作用的還是輸入層的加權和，所以在判斷競爭網(wǎng)絡節(jié)點勝負的結果時，可忽略競爭層節(jié)點之間的權值連接。61目前六十一頁\總數(shù)八十一頁\編于十五點

SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉變?yōu)橐种?，因此其學習算法中不僅獲勝神經(jīng)元本身要調(diào)整權向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權向量。（2）SOM權值調(diào)整區(qū)域62目前六十二頁\總數(shù)八十一頁\編于十五點以獲勝神經(jīng)元為中心設定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權值。優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。（2）SOM權值調(diào)整區(qū)域63目前六十三頁\總數(shù)八十一頁\編于十五點Nc(t)隨時間變化及形狀（2）SOM權值調(diào)整區(qū)域64目前六十四頁\總數(shù)八十一頁\編于十五點

設輸入信號模式為,輸出神經(jīng)元i與輸入神經(jīng)元連接的權值為則輸出神經(jīng)元i

的輸出為（）但是只有滿足最大輸出條件的神經(jīng)元才產(chǎn)生輸出，即（）（3）SOM工作原理65目前六十五頁\總數(shù)八十一頁\編于十五點

對于輸出神經(jīng)元k以及其周圍的8個相鄰的神經(jīng)元仍可按Hebb法則進行自適應權調(diào)整，即有（）式中為學習系數(shù)，分母是分子的歐幾里德距離，此時的權值被正則化。（3）SOM工作原理66目前六十六頁\總數(shù)八十一頁\編于十五點自組織的過程就是通過學習，逐步把權向量旋轉到一個合適的方向上，即權值的調(diào)整方向總是與X的方向一致(無須決策和導師)，使正比于。其數(shù)學表示為式中X為輸出神經(jīng)元的輸入向量，Xb為輸出神經(jīng)元的閾值向量，O為輸出神經(jīng)元的輸出向量，為學習系數(shù)。（3）SOM工作原理67目前六十七頁\總數(shù)八十一頁\編于十五點正則化后有或者（8.5.4）（8.5.5）（8.5.6）由此可得SOM模型的權值修正規(guī)則為（3）SOM工作原理68目前六十八頁\總數(shù)八十一頁\編于十五點上述介紹中的學習規(guī)則都是使用了最大輸出的學習規(guī)則。但是事實上有兩種學習規(guī)則。（3）SOM工作原理69目前六十九頁\總數(shù)八十一頁\編于十五點最大輸出規(guī)則：

最小歐氏距離規(guī)則：

（8.5.7）（8.5.8）（3）SOM工作原理70目前七十頁\總數(shù)八十一頁\編于十五點訓練階段

w1w2w3

w4

w5（3）SOM工作原理71目前七十一頁\總數(shù)八十一頁\編于十五點工作階段（3）SOM工作原理72目前七十二頁\總數(shù)八十一頁\編于十五點

SOM算法有三個關鍵點：對于給定的輸入模式，確定競爭層上的獲勝單元。按照學習規(guī)則修正獲勝單元及其鄰域單元的連接權值。逐步減小鄰域及學習過程中權值的變化量。（4）SOM學習算法73目前七十三頁\總數(shù)八十一頁\編于十五點(1)初始化對輸出層各權向量賦小隨機數(shù)并進行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學習率賦初始值。(2)接受輸入從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到，p{1,2,…,P}。P是樣本總數(shù),p是樣本編號。(3)尋找獲勝節(jié)點計算與的點積，j=1,2,…m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域N