BP神經(jīng)網(wǎng)絡(luò)方法

1、1會(huì)計(jì)學(xué)BP神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法8.2 神經(jīng)網(wǎng)絡(luò)基本概念神經(jīng)網(wǎng)絡(luò)基本概念8.2.1 生物神經(jīng)元生物神經(jīng)元1生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體、樹突、軸突和突觸。 2生物神經(jīng)元的工作機(jī)制生物神經(jīng)元的工作機(jī)制興奮和抑制兩種狀態(tài)。 抑制狀態(tài)的神經(jīng)元由樹突和細(xì)胞體接收傳來的興奮電位不應(yīng)期產(chǎn)生輸出脈沖輸入興奮總 量超過閾值神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。 圖8.2 人工神經(jīng)元模型接收的信息(其它

2、神經(jīng)元的輸出) 互連強(qiáng)度 作比較 的閾值n維輸入向量X 輸出 輸出函數(shù) 神經(jīng)元的動(dòng)作： niiixwnet1)(netfy ),(Rwxii輸出函數(shù) f：也稱作用函數(shù)，非線性。 閾值型S型偽線性型f 為閾值型函數(shù)時(shí)：niiixwy1sgn1nw設(shè) ，點(diǎn)積形式：)sgn(TXWyT11,nnwww WT1 1,nxx X式中，8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)： 同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。 實(shí)質(zhì)：1Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則典型的權(quán)值修正方法： Hebb學(xué)習(xí)規(guī)則、誤差修

3、正學(xué)習(xí) 如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。 神經(jīng)網(wǎng)絡(luò)的最重要特征之一。 )()()() 1(tytytwtwijijijwij(t+1)：修正一次后的某一權(quán)值；：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時(shí)刻第j個(gè)和第i個(gè)神經(jīng)元的狀態(tài)（輸出）。 由 有：)()(txtyii)()()() 1(txtytwtwijijij 神經(jīng)元間的連接 2. 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（1）的一個(gè)權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤

4、差；)()()() 1(txtydtwtwijjijij式中，（4）返回 (2) ，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體現(xiàn)在：學(xué)習(xí)因子；權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層。 前饋網(wǎng)絡(luò) 沒有明顯層次，任意兩個(gè)神經(jīng)元之間可達(dá)，具有輸出單元到隱層單元或輸入單元的反饋連接 。 反饋網(wǎng)絡(luò)相互連接結(jié)構(gòu)8.3 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)8.3.1 感知器感知器感知器（Perceptron）：FRosenblatt于195

5、7年提出。 感知器結(jié)構(gòu)示意圖 * 雙層（輸入層、輸出層）；* 兩層單元之間為全互連；* 連接權(quán)值可調(diào)。 結(jié)構(gòu)特點(diǎn)：* 輸出層神經(jīng)元個(gè)數(shù)等于類 別數(shù)（兩類問題時(shí)輸出層 為一個(gè)神經(jīng)元）。 設(shè)輸入模式向量， ，共M類。T21,nxxxX輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類，j：第j個(gè)神經(jīng)元的閾值；wij：輸入模式第i個(gè)分量與 輸出層第j個(gè)神經(jīng)元間的連接權(quán)。 令 。取jnjw)1( T)1(21,jnjjjwwwW T21 1,nxxxX)()(T11XWjniiijjfxwfy有)(1jniiijjxwfy輸出為 輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。 M類問題判決規(guī)則(

6、神經(jīng)元的輸出函數(shù)) 為)(TXWjjfy jjXX若, 1若, 1Mj 1* 正確判決的關(guān)鍵：輸出層每個(gè)神經(jīng)元必須有一組合適的權(quán)值。 * 感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；* 權(quán)值更新方法：學(xué)習(xí)規(guī)則。 算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計(jì)算神經(jīng)元的實(shí)際輸出。設(shè)第k次輸入的模式向量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為T)1(21,)(jnjjjwwwkW第j個(gè)神經(jīng)元的實(shí)際輸出為)()(TkjjkfkyXWMj 1第四步：修正權(quán)值。kjjjjkydkkXWW)()() 1(dj：第j個(gè)神經(jīng)元的期望輸出。jkjkjdX

7、X, 1, 1Mj 1第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時(shí)，學(xué)習(xí)過程結(jié)束。 經(jīng)驗(yàn)證明，當(dāng)隨k的增加而減小時(shí)，算法一定收斂。8.3.2 BP網(wǎng)絡(luò)網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-Propagation Training Algorithm） 的多層感知器。 誤差反向傳播算法認(rèn)識(shí)最清楚、應(yīng)用最廣泛。性能優(yōu)勢(shì)：識(shí)別、分類1多層感知器多層感知器 針對(duì)感知器學(xué)習(xí)算法的局限性：模式類必須線性可分。輸入層第 一 隱層第 二 隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。 2BP算法算法兩個(gè)階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學(xué)習(xí)過程 設(shè)：某

8、層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi。 jiiiijjywnet)(jjnetfy wij：神經(jīng)元i與j之間的連接權(quán)；f()：神經(jīng)元的輸出函數(shù)。 )(jjnetfy 0)(11hjjneteS型輸出函數(shù)：j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。 jjjkkywnet)(kknetfy 對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)元的期望輸出為dpk，實(shí)際輸出為ypk。輸出層的輸出方差 ：kpkpkpydE2)(21若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)

9、均方差為：pkpkpkydNE2)(21ppEN1當(dāng)輸入Xp時(shí)，wjk的修正增量： jkpjkpwEwjkkkpjkpwnetnetEwE其中，jjjkkywnet由 式得到：pjpjjjkjkjkkyywwwnet令 ，可得kppknetE輸出單元的誤差：輸出單元的修正增量：)1 ()(pkpkpkpkpkyyydpjpkjkpy 對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i ：kjkpkpjpjpjwyy)1 (pjpjijpyw 輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各層之間的權(quán)值進(jìn)行修正。 BP算法步驟：第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)

10、數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。 jjjdXX, 1, 1Mj, 2, 1第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。第四步：從輸出層開始修正每個(gè)權(quán)值，直到第一隱層。 ijijijytwtw)() 1(10若j是輸出層神經(jīng)元，則：)(1 (jjjjjydyy若j是隱層神經(jīng)元，則：kjkkjjjwyy)1 (第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。改進(jìn)的權(quán)值修正：)1()()() 1(twtwytwtwijijijijij 收斂快、權(quán)值平滑變化 ：平滑因子，01。 BP算法存在問題：* 存在局部極小值問題；* 算法收斂速度慢；* 隱層單元數(shù)目的選取無一般指導(dǎo)原則；*

11、新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。 結(jié)束結(jié)束8.2 神經(jīng)網(wǎng)絡(luò)基本概念神經(jīng)網(wǎng)絡(luò)基本概念8.2.1 生物神經(jīng)元生物神經(jīng)元1生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體、樹突、軸突和突觸。 8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。 圖8.2 人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出) 互連強(qiáng)度 作比較 的閾值n維輸入向量X 輸出 輸出函數(shù) 神經(jīng)元的動(dòng)作： niiixwnet1)(netfy ),(Rwxii輸出函數(shù) f：也稱作用函數(shù)，非線性。 閾值型S型偽線性型f 為閾值型函數(shù)時(shí)：niiixwy1sgn1nw設(shè) ，點(diǎn)積形式：)sgn(TXWyT11,nnwww WT1 1,nxx X式中，2. 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（1）的一個(gè)權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差；)()()() 1(txtydtwtwijjijij式中，（4）返回 (2) ，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個(gè)神經(jīng)