神經(jīng)網(wǎng)絡(luò)模式識別法簡介

1、神經(jīng)網(wǎng)絡(luò)模式識別法簡介8.1 人工神經(jīng)網(wǎng)絡(luò)開展概況8.2 神經(jīng)網(wǎng)絡(luò)根本概念8.3 前饋神經(jīng)網(wǎng)絡(luò)8.4 反響網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)第8章 神經(jīng)網(wǎng)絡(luò)模式識別法8.1 人工神經(jīng)網(wǎng)絡(luò)開展概況人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)： 簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細胞的工作特點：與目前按串行安排程序指令的計算機結(jié)構(gòu)截然不同。* 單元間的廣泛連接；* 并行分布式的信息存貯與處理；* 自適應(yīng)的學(xué)習(xí)能力等。優(yōu)點： (1) 較強的容錯性;(2) 很強的自適應(yīng)學(xué)習(xí)能力；(3) 可將識別和假設(shè)干預(yù)處理融為一體進行； (4) 并行工作方式； (5) 對信息采用分布式記憶，具有魯

2、棒性。四個開展階段： 第一階段：啟蒙期，始于1943年。 形式神經(jīng)元的數(shù)學(xué)模型提出。 第二階段：低潮期，始于1969年。 ?感知器?(Perceptions)一書出版，指出局限性 。第三階段：復(fù)興期，從1982年到1986年。 Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型； ?并行分布處理?出版，提出反向傳播算法。 第四個階段：1987年至今，趨于平穩(wěn)。 回憶性綜述文章“神經(jīng)網(wǎng)絡(luò)與人工智能 。8.2 神經(jīng)網(wǎng)絡(luò)根本概念8.2.1 生物神經(jīng)元1生物神經(jīng)元的結(jié)構(gòu)細胞體、樹突、軸突和突觸。 2生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。 抑制狀態(tài)的神經(jīng)元由樹突和細胞體接收傳來的興奮電位不應(yīng)期產(chǎn)生輸出脈沖

3、輸入興奮總 量超過閾值神經(jīng)元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強弱。 圖8.2 人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出) 互連強度 作比較 的閾值n維輸入向量X 輸出 輸出函數(shù) 神經(jīng)元的動作： 輸出函數(shù) f：也稱作用函數(shù)，非線性。 閾值型S型偽線性型f 為閾值型函數(shù)時：設(shè) ，點積形式：式中，8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)： 同一個訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)那么自動調(diào)節(jié)神經(jīng)元之間的連接強度或

4、拓撲結(jié)構(gòu)，使實際輸出滿足期望的要求或者趨于穩(wěn)定。 實質(zhì)：1Hebb學(xué)習(xí)規(guī)那么典型的權(quán)值修正方法： Hebb學(xué)習(xí)規(guī)那么、誤差修正學(xué)習(xí) 如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度應(yīng)該加強。 神經(jīng)網(wǎng)絡(luò)的最重要特征之一。 wij(t+1)：修正一次后的某一權(quán)值；：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元的狀態(tài)輸出。 由 有： 神經(jīng)元間的連接 2. 學(xué)習(xí)規(guī)那么3更新權(quán)值，閾值可視為輸入恒為1的一個權(quán)值；1選擇一組初始權(quán)值wij(1)；2計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤差；式中，4返回

5、(2) ，直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元的期望輸出與實際輸出；xi(t)：第j個神經(jīng)元的第i個輸入。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)表達在：學(xué)習(xí)因子；權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層。 前饋網(wǎng)絡(luò) 沒有明顯層次，任意兩個神經(jīng)元之間可達，具有輸出單元到隱層單元或輸入單元的反響連接 。 反響網(wǎng)絡(luò)相互連接結(jié)構(gòu)8.3 前饋神經(jīng)網(wǎng)絡(luò)8.3.1 感知器感知器Perceptron：FRosenblatt于1957年提出。 感知器結(jié)構(gòu)示意圖 * 雙層輸入層、輸出層；* 兩層單元之間為全互連；* 連接權(quán)值可調(diào)。 結(jié)構(gòu)特點：*

6、輸出層神經(jīng)元個數(shù)等于類 別數(shù)兩類問題時輸出層 為一個神經(jīng)元。 設(shè)輸入模式向量， ，共M類。輸出層第j個神經(jīng)元對應(yīng)第j個模式類，j：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與 輸出層第j個神經(jīng)元間的連接權(quán)。 令 。取 有輸出為 輸出單元對所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。 M類問題判決規(guī)那么( 神經(jīng)元的輸出函數(shù)) 為* 正確判決的關(guān)鍵：輸出層每個神經(jīng)元必須有一組適宜的權(quán)值。 * 感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；* 權(quán)值更新方法：學(xué)習(xí)規(guī)那么。 算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元

7、的實際輸出。設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第j個神經(jīng)元的實際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時，學(xué)習(xí)過程結(jié)束。 經(jīng)驗證明，當(dāng)隨k的增加而減小時，算法一定收斂。8.3.2 BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法Back-Propagation Training Algorithm 的多層感知器。 誤差反向傳播算法認識最清楚、應(yīng)用最廣泛。性能優(yōu)勢：識別、分類1多層感知器 針對感知器學(xué)習(xí)算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。

8、 2BP算法兩個階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學(xué)習(xí)過程 設(shè)：某層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi。 jiwij：神經(jīng)元i與j之間的連接權(quán)；f()：神經(jīng)元的輸出函數(shù)。 S型輸出函數(shù)：j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個神經(jīng)元的實際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。 對輸入模式Xp，假設(shè)輸出層中第k個神經(jīng)元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差 ：假設(shè)輸入N個模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當(dāng)輸入Xp時，wjk的修正增量： 其中，由 式得

9、到：令 ，可得輸出單元的誤差：輸出單元的修正增量： 對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i ： 輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權(quán)值進行修正。 BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。 第三步：依次計算每層神經(jīng)元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層。 假設(shè)j是輸出層神經(jīng)元，那么：假設(shè)j是隱層神經(jīng)元，那么：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。改進的權(quán)值修正： 收斂快、權(quán)值平滑變化 ：平滑因子，01。 BP算法存在問題：* 存在局

10、部極小值問題；* 算法收斂速度慢；* 隱層單元數(shù)目的選取無一般指導(dǎo)原那么；* 新參加的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。 * 輸出層各單元之間相互用較大的負權(quán)值輸入對方， 構(gòu)成正反響。8.3.3 競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)1競爭學(xué)習(xí)典型的非監(jiān)督學(xué)習(xí)策略。 與二層前饋網(wǎng)絡(luò)類似；結(jié)構(gòu)特點：輸出層具有側(cè)抑制。競爭層：競爭學(xué)習(xí)網(wǎng)絡(luò)的核心側(cè)抑制：加強自身* 具有最高輸入總和的單元的輸出狀態(tài)為1，其他單 元為0。 2漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)： 仿效生物神經(jīng)網(wǎng)“中心鼓勵，側(cè)向抑制的功能。 工作原理：* 每個模式類由一個典型樣本代表；* 匹配網(wǎng)計算輸入樣本與各類典型樣本的匹配度，由匹配度 決定匹配網(wǎng)的輸出；*

11、 由最大網(wǎng)給出輸入樣本所在類別號分類。 匹配度= n輸入樣本與典型樣本之間的漢明距離 xij：第j類典型樣本的第i個分量；xi ：輸入樣本的第i個分量；n：樣本向量的維數(shù)。 輸入樣本與典型樣本越相似：漢明距離越小，匹配度越大。 二值模式向量(分量：+1, -1)分類準(zhǔn)那么：樣本間漢明距離最小。匹配網(wǎng)上層每個神經(jīng)元的輸出：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經(jīng)元 的連接權(quán)；：第j個神經(jīng)元的閾值。 wij由第j類典型樣本的各分量確定。 匹配網(wǎng)輸出函數(shù)f()：漢明網(wǎng)算法步驟： 第一步：設(shè)置權(quán)值和神經(jīng)元閾值。 wlk：最大網(wǎng)中第l個神經(jīng)元和第k個神經(jīng)元的連接權(quán)；最大網(wǎng)中神經(jīng)元的閾值為零。 xij：第

12、j類典型樣本的第i個分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個分量的連接權(quán);j ：神經(jīng)元j的閾值。第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經(jīng)元的輸出sj， 設(shè)置最大網(wǎng)中神經(jīng)元輸出的初始值。 設(shè)最大網(wǎng)中第j個神經(jīng)元在t時刻的輸出為y(t)，那么 3自組織特征映射神經(jīng)網(wǎng)絡(luò) SOM網(wǎng)絡(luò) 圖8.10 神經(jīng)元之間相互作用與距離的關(guān)系 神經(jīng)網(wǎng)絡(luò)中鄰近的各神經(jīng)元通過側(cè)向交互作用彼此相互競爭，自適應(yīng)地開展成檢測不同信號的特殊檢測器。 T. Kohonen關(guān)于自組織特征映射的含義：輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。 輸入連續(xù)值模式向量。 SOM網(wǎng)絡(luò)

13、結(jié)構(gòu)：輸出層：廣泛連接，格陣形式。 競爭學(xué)習(xí)算法：由交互作用函數(shù)取代簡單的側(cè)抑制。 自組織特征映射算法步驟： 第一步：設(shè)置初始權(quán)值，定義輸出層神經(jīng)元的鄰域。 第二步：輸入新的模式向量 。第三步：計算輸入模式到每個輸出層神經(jīng)元j的距離dj。wij(t)：t時刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權(quán)。 第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元 j*。 第五步：修改與j*及其鄰域中神經(jīng)元連接的權(quán)值。 設(shè)t時刻神經(jīng)元j*的鄰域用 表示，權(quán)值修改為：修正參數(shù)， ，隨t的增加而減小。 第六步：轉(zhuǎn)到第二步。聚類中心：存儲在與神經(jīng)元j*連接的權(quán)值上。輸出層神經(jīng)元鄰域的選擇： 初始鄰域選擇大些，隨算法的

14、進行逐步收縮。8.4 反響網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)尋找記憶：模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡(luò)模型。 網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過程。初始輸出模式向量單層全互連、權(quán)值對稱的神經(jīng)網(wǎng)絡(luò)。結(jié)構(gòu)：Hopfield網(wǎng)絡(luò)HNN離散型HNN(DHNN)：M-P模型二值神經(jīng)元連續(xù)型HNN(CHNN)：神經(jīng)元為連續(xù)時間輸出。* 每個神經(jīng)元的輸出通過加權(quán)與其余神經(jīng)元的輸入端連接；* 輸入模式向量的各分量及神經(jīng)元的輸出值取(+1)或(-1)；* 神經(jīng)元的個數(shù)與輸入模式向量的維數(shù)相同；* 記憶樣本記憶在神經(jīng)元之間的連接權(quán)上。DHNN：* 每個模式類有一個記憶樣本，是網(wǎng)絡(luò)的一個穩(wěn)定輸出狀態(tài)。 設(shè) 是第s類的記憶樣本。為了存儲M個記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權(quán)值wij為 設(shè)有M 類模式，那么有M個記憶樣本，分別是網(wǎng)絡(luò)的M個穩(wěn)定輸出狀態(tài)。若神經(jīng)元i的輸入為ui，輸出為 ，則式中， 假設(shè)輸入一個未知類別的模式X，網(wǎng)絡(luò)初始狀態(tài)由X決定，根據(jù)上述算法，網(wǎng)絡(luò)從初始狀態(tài)開始逐步演化，最終趨向于一個穩(wěn)定狀態(tài)，即輸出一個與未知類別模式相似的記憶樣本。 說明：定義網(wǎng)絡(luò)的能量函數(shù) 由某一神經(jīng)元的狀態(tài)的變化量 引起的E變化量為式中， ， 。E0，E有界，網(wǎng)絡(luò)最終可到達一個不隨時間變化的穩(wěn)定狀態(tài)。算法步驟： 第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本。 第二步：用輸入的未知類別的模式 設(shè)置網(wǎng) 絡(luò)的初始狀態(tài)。 若