神經(jīng)網(wǎng)絡(luò)模式識(shí)別法介紹(ppt 41頁(yè)).ppt

1、第8章,8.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況 8.2 神經(jīng)網(wǎng)絡(luò)基本概念 8.3 前饋神經(jīng)網(wǎng)絡(luò) 8.4 反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò),第8章 神經(jīng)網(wǎng)絡(luò)模式識(shí)別法,8.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)： 簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò),模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn),與目前按串行安排程序指令的計(jì)算機(jī)結(jié)構(gòu)截然不同,單元間的廣泛連接； * 并行分布式的信息存貯與處理； * 自適應(yīng)的學(xué)習(xí)能力等,優(yōu)點(diǎn),1) 較強(qiáng)的容錯(cuò)性,2) 很強(qiáng)的自適應(yīng)學(xué)習(xí)能力,3) 可將識(shí)別和若干預(yù)處理融為一體進(jìn)行,4) 并行工作方式,5) 對(duì)信息采用分布式記憶，具有魯棒性,四個(gè)發(fā)展階段,

2、第一階段：?jiǎn)⒚善冢加?943年,形式神經(jīng)元的數(shù)學(xué)模型提出,第二階段：低潮期，始于1969年,感知器(Perceptions)一書(shū)出版，指出局限性,第三階段：復(fù)興期，從1982年到1986年,Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型,并行分布處理出版，提出反向傳播算法,第四個(gè)階段：1987年至今，趨于平穩(wěn),回顧性綜述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”,8.2 神經(jīng)網(wǎng)絡(luò)基本概念,8.2.1 生物神經(jīng)元,1生物神經(jīng)元的結(jié)構(gòu),細(xì)胞體、樹(shù)突、軸突和突觸,2生物神經(jīng)元的工作機(jī)制,興奮和抑制兩種狀態(tài),抑制狀態(tài)的神經(jīng)元 由樹(shù)突和細(xì)胞體 接收傳來(lái)的興奮電位,不應(yīng)期,產(chǎn)生輸出脈沖,輸入興奮總 量超過(guò)閾值,神經(jīng)元被

3、激發(fā) 進(jìn)入興奮狀態(tài),由突觸傳遞給其它神經(jīng)元,8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò),人工神經(jīng)元：生物神經(jīng)元的簡(jiǎn)化模擬,人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹(shù)突的簡(jiǎn)化,連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱,圖8.2 人工神經(jīng)元模型,接收的信息 (其它神經(jīng)元的輸出,互連強(qiáng)度,作比較 的閾值,n維輸入向量X,輸出,輸出函數(shù),神經(jīng)元的動(dòng)作,輸出函數(shù) f：也稱作用函數(shù)，非線性,閾值型,S型,偽線性型,f 為閾值型函數(shù)時(shí),設(shè) ，點(diǎn)積形式,式中,8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),學(xué)習(xí),同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng) 絡(luò)按照一定的訓(xùn)練規(guī)則自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓 撲結(jié)構(gòu)，使實(shí)際

4、輸出滿足期望的要求或者趨于穩(wěn)定,實(shí)質(zhì),1Hebb學(xué)習(xí)規(guī)則,典型的權(quán)值修正方法： Hebb學(xué)習(xí)規(guī)則、誤差修正學(xué)習(xí),如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng) 元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng) 該加強(qiáng),神經(jīng)網(wǎng)絡(luò)的最重要特征之一,wij(t+1)：修正一次后的某一權(quán)值； ：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)； yj(t)，yi(t)：分別表示t時(shí)刻第j個(gè)和第i個(gè)神經(jīng)元的狀態(tài)（輸出,由 有,神經(jīng)元間的連接,2. 學(xué)習(xí)規(guī)則,3）更新權(quán)值，閾值可視為輸入恒為（1）的一個(gè)權(quán)值,1）選擇一組初始權(quán)值wij(1,2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差,式中,4）返回 (2)

5、，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求,dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出,xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體現(xiàn)在,學(xué)習(xí)因子,權(quán)值變化； 網(wǎng)絡(luò)結(jié)構(gòu)變化,8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類,分層結(jié)構(gòu),有明顯層次，信息流向由輸入層到輸出層,前饋網(wǎng)絡(luò),沒(méi)有明顯層次，任意兩個(gè)神經(jīng)元之間可達(dá)，具有輸出 單元到隱層單元或輸入單元的反饋連接,反饋網(wǎng)絡(luò),相互連接結(jié)構(gòu),8.3 前饋神經(jīng)網(wǎng)絡(luò),8.3.1 感知器,感知器（Perceptron）：FRosenblatt于1957年提出,感知器結(jié)構(gòu)示意圖,雙層（輸入層、輸出層）； * 兩層單元之間為全互連； * 連接權(quán)值可調(diào),結(jié)構(gòu)特點(diǎn)

6、,輸出層神經(jīng)元個(gè)數(shù)等于類 別數(shù)（兩類問(wèn)題時(shí)輸出層 為一個(gè)神經(jīng)元,設(shè)輸入模式向量， ，共M類,輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類,j：第j個(gè)神經(jīng)元的閾值,wij：輸入模式第i個(gè)分量與 輸出層第j個(gè)神經(jīng)元間的連接權(quán),令 。取,有,輸出為,輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù) 產(chǎn)生一組輸出模式,M類問(wèn)題判決規(guī)則( 神經(jīng)元的輸出函數(shù)) 為,正確判決的關(guān)鍵,輸出層每個(gè)神經(jīng)元必須有一組合適的權(quán)值,感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值,權(quán)值更新方法：學(xué)習(xí)規(guī)則,算法描述,第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值,第二步：輸入新的模式向量,第三步：計(jì)算神經(jīng)元的實(shí)際輸出,設(shè)

7、第k次輸入的模式向量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為,第j個(gè)神經(jīng)元的實(shí)際輸出為,第四步：修正權(quán)值,dj：第j個(gè)神經(jīng)元的期望輸出,第五步：轉(zhuǎn)到第二步,當(dāng)全部學(xué)習(xí)樣本都能正確分類時(shí)，學(xué)習(xí)過(guò)程結(jié)束,經(jīng)驗(yàn)證明，當(dāng)隨k的增加而減小時(shí)，算法一定收斂,8.3.2 BP網(wǎng)絡(luò),BP網(wǎng)絡(luò)：采用BP算法（Back-Propagation Training Algorithm） 的多層感知器,誤差反向傳播算法,認(rèn)識(shí)最清楚、應(yīng)用最廣泛,性能優(yōu)勢(shì)：識(shí)別、分類,1多層感知器,針對(duì)感知器學(xué)習(xí) 算法的局限性：模式類必須線性可分,輸入層,第一隱層,第二隱層,輸出層,中間層為一層或多層處理單元,前饋網(wǎng)絡(luò),結(jié)構(gòu),只允許一層連接權(quán)

8、可調(diào),2BP算法,兩個(gè) 階段,正向傳播階段：逐層狀態(tài)更新,反向傳播階段：誤差,BP算法的學(xué)習(xí)過(guò)程,設(shè)：某層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi,wij：神經(jīng)元i與j之間的連接權(quán),f()：神經(jīng)元的輸出函數(shù),S型輸出函數(shù),j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù),設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj,對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)元的期望輸出為 dpk，實(shí)際輸出為ypk。輸出層的輸出方差,若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為,當(dāng)輸入Xp時(shí)，wjk的修正增量,其中,由 式得到

9、,令 ，可得,輸出單元的誤差,輸出單元的修正增量,對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層 中的神經(jīng)元i,輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各 層之間的權(quán)值進(jìn)行修正,BP算法步驟,第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù),第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值,第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層,第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層,若j是輸出層神經(jīng)元，則,若j是隱層神經(jīng)元，則,第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止,改進(jìn)的權(quán)值修正,收斂快、權(quán)值平滑變化,平滑因子，01,BP算法存在問(wèn)題,存在局部極小值問(wèn)題； * 算法收

10、斂速度慢； * 隱層單元數(shù)目的選取無(wú)一般指導(dǎo)原則； * 新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果,輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方， 構(gòu)成正反饋,8.3.3 競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),1競(jìng)爭(zhēng)學(xué)習(xí),典型的非監(jiān)督學(xué)習(xí)策略,與二層前饋網(wǎng)絡(luò)類似,結(jié)構(gòu)特點(diǎn),輸出層具有側(cè)抑制,競(jìng)爭(zhēng)層： 競(jìng)爭(zhēng)學(xué)習(xí) 網(wǎng)絡(luò)的核心,側(cè)抑制,加強(qiáng)自身,具有最高輸入總和的單元的輸出狀態(tài)為1，其他單 元為0,2漢明(Hamming)網(wǎng)分類器,結(jié)構(gòu),仿效生物神經(jīng)網(wǎng)“中心激勵(lì)，側(cè)向抑制”的功能,工作原理,每個(gè)模式類由一個(gè)典型樣本代表,匹配網(wǎng)計(jì)算輸入樣本與各類典型樣本的匹配度，由匹配度 決定匹配網(wǎng)的輸出,由最大網(wǎng)給出輸入樣本所在類別號(hào)（分

11、類,匹配度= n輸入樣本與典型樣本之間的漢明距離,xij：第j類典型樣本的第i個(gè)分量,xi ：輸入樣本的第i個(gè)分量,n：樣本向量的維數(shù),二值模式向量 (分量：+1, -1,分類準(zhǔn)則：樣本間漢明距離最小,匹配網(wǎng)上層每個(gè)神經(jīng)元的輸出,輸入樣本第i個(gè)分量與匹配網(wǎng)上層第j個(gè)神經(jīng)元 的連接權(quán),第j個(gè)神經(jīng)元的閾值,wij由第j類典型樣本的各分量確定,匹配網(wǎng)輸出函數(shù)f(,漢明網(wǎng)算法步驟,第一步：設(shè)置權(quán)值和神經(jīng)元閾值,wlk：最大網(wǎng)中第l個(gè)神經(jīng)元和第k個(gè)神經(jīng)元的連接權(quán),最大網(wǎng)中神經(jīng)元的閾值為零,xij：第j類典型樣本的第i個(gè)分量,wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個(gè)分量的連接權(quán),j ：神經(jīng)元j的閾值,第

12、三步，進(jìn)行迭代運(yùn)算直到收斂,第四步：轉(zhuǎn)到第二步,第二步：輸入未知樣本，計(jì)算匹配網(wǎng)上層各神經(jīng)元的輸出sj， 設(shè)置最大網(wǎng)中神經(jīng)元輸出的初始值,設(shè)最大網(wǎng)中第j個(gè)神經(jīng)元在t時(shí)刻的輸出為y(t)，則,3自組織特征映射神經(jīng)網(wǎng)絡(luò) （SOM網(wǎng)絡(luò),圖8.10 神經(jīng)元之間相互作用與距離的關(guān)系,神經(jīng)網(wǎng)絡(luò)中鄰近的各神經(jīng)元通過(guò)側(cè)向交互作用彼此相互競(jìng)爭(zhēng)，自適應(yīng)地發(fā)展成檢測(cè)不同信號(hào)的特殊檢測(cè)器,T. Kohonen關(guān)于自組織特征映射的含義,輸入層：每個(gè)神經(jīng)元與輸出層所有神經(jīng)元連接。 輸入連續(xù)值模式向量,SOM網(wǎng)絡(luò)結(jié)構(gòu),輸出層：廣泛連接，格陣形式,競(jìng)爭(zhēng)學(xué)習(xí)算法：由交互作用函數(shù)取代簡(jiǎn)單的側(cè)抑制,自組織特征映射算法步驟,第一步：

13、設(shè)置初始權(quán)值，定義輸出層神經(jīng)元的鄰域,第二步：輸入新的模式向量,第三步：計(jì)算輸入模式到每個(gè)輸出層神經(jīng)元j的距離dj,wij(t)：t時(shí)刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權(quán),第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元 j,第五步：修改與j*及其鄰域中神經(jīng)元連接的權(quán)值,設(shè)t時(shí)刻神經(jīng)元j*的鄰域用 表示，權(quán)值修改為,修正參數(shù)， ，隨t的增加而減小,第六步：轉(zhuǎn)到第二步,聚類中心：存儲(chǔ)在與神經(jīng)元j*連接的權(quán)值上,輸出層神經(jīng)元鄰域的選擇,初始鄰域選擇大些，隨算法的進(jìn)行逐步收縮,8.4 反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò),尋找記憶,模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過(guò)

14、程,初始輸出模式向量,單層全互連、權(quán)值對(duì)稱的神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu),Hopfield網(wǎng)絡(luò) （HNN,離散型HNN(DHNN)： M-P模型二值神經(jīng)元,連續(xù)型HNN(CHNN)： 神經(jīng)元為連續(xù)時(shí)間輸出,每個(gè)神經(jīng)元的輸出通過(guò)加權(quán)與其余神經(jīng)元的輸入端連接； * 輸入模式向量的各分量及神經(jīng)元的輸出值取(+1)或(-1)； * 神經(jīng)元的個(gè)數(shù)與輸入模式向量的維數(shù)相同； * 記憶樣本記憶在神經(jīng)元之間的連接權(quán)上,DHNN,每個(gè)模式類有一個(gè)記憶樣本，是網(wǎng)絡(luò)的一個(gè)穩(wěn)定輸出狀態(tài),設(shè) 是第s類的記憶樣本。為了存儲(chǔ) M個(gè)記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權(quán)值wij為,設(shè)有M 類模式，則有M個(gè)記憶樣本，分別是網(wǎng)絡(luò)的M個(gè)穩(wěn)定輸出狀態(tài),若神經(jīng)元i的輸入為ui，輸出為 ，則,式中,若輸入一個(gè)未知類別的模式X，網(wǎng)絡(luò)初始狀態(tài)由X決定，根 據(jù)上述算法，網(wǎng)絡(luò)從初始狀態(tài)開(kāi)始逐步演化，最終趨向于一個(gè)穩(wěn)定狀態(tài)，即輸出一個(gè)與未知類別模式相似的記憶樣本,說(shuō)明,定義網(wǎng)絡(luò)的能量函數(shù),由某一神經(jīng)元的狀態(tài)的變化量 引起的E變化量為,式中， ，,E0，E有界，網(wǎng)絡(luò)最終可達(dá)到一個(gè)不隨時(shí)間變化的穩(wěn)定狀態(tài),算法步驟,第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本,第二步：用輸入的未知類別的模式 設(shè)置網(wǎng) 絡(luò)的初始狀態(tài),若