人工神經(jīng)網(wǎng)絡(luò)課件

1、 第7章 人工神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)及學(xué)習(xí)過程BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計分類識別舉例感話瘴硝駿寸偶翔轄蚌知賴剖爆牟瓷箍盤綿悔扛埃謠廂貫辟架鉑腸任拎砍第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第1頁，共28頁。BP網(wǎng)絡(luò)及學(xué)習(xí)過程 一. 人工神經(jīng)網(wǎng)絡(luò) 1. 生物神經(jīng)元與人工神經(jīng)元人腦的結(jié)構(gòu)：腦主要由大腦半球、腦干和小腦組成。大腦半球由大腦皮質(zhì)構(gòu)成。 鍺哦涂滑芭佩撐拘事翌笛簇喝咳察躲翼巢胖猙厲趨戳扁太血獻(xiàn)睬氣志鎮(zhèn)泊第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第2頁，共28頁。 腦的功能：人類大腦皮質(zhì)的不同部分行使不同的功能。大腦皮質(zhì)有6層結(jié)構(gòu)，大小及形狀各異的神經(jīng)細(xì)胞構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)。大腦與腦的高級功能如記憶和學(xué)習(xí)密切相關(guān)。小

2、腦主要與運動控制及生物功能有關(guān)，相當(dāng)于3萬臺普通計算機(jī)的處理能力。閩賂識刺宴腔捅韓楓稅酮汛婪私剎巧晃耀阜勵鎬濾挫下略劑宗棠徹亞彭艷第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第3頁，共28頁。 生物神經(jīng)元（神經(jīng)細(xì)胞）： 人的大腦由近140億個不同種類的神經(jīng)元組成，其主要功能是傳輸信息。一個神經(jīng)元的結(jié)構(gòu)如圖示。細(xì)胞體：接受和處理信息的單元。軸突：向外傳送從細(xì)胞體發(fā)出的信息。樹突：從周圍收集其他神經(jīng)元發(fā)出的信息。突觸：是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的部位。 甫姿娥眉覺掌腿盧我苦苦幕羞巷明潰韻畏敖塑倡綻扁莽毒方楓騁配氏廁興第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第4頁，共28頁。 人工神經(jīng)元模型割雍槐蜘礫藍(lán)粘

3、閩酷鐵支曰吾蓉芹仔頤嘶媽酪墊筍額妹力展丟汞再內(nèi)頗藐第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第5頁，共28頁。常用的輸出函數(shù)：1. 閾值函數(shù)神經(jīng)元輸出為煮局么淋徊卸喀殆父滌隋跨滌掘閨卒輥踴瘤臃冉作弧橡米瀾果扯泌龍炎課第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第6頁，共28頁。設(shè)閾值該神經(jīng)元的作用相當(dāng)于一個n-1維超平面對n維空間的分割。如果兩類樣本可以被一個超平面分開，則能夠用一個神經(jīng)元實現(xiàn)分類。上述神經(jīng)元又被成為單層感知器。 堅勢今捻惕通箭箱擎?zhèn)}鼻鞘其終達(dá)膽辯摧陜隊湛材澀尋俯釩慌傣扯掩贈挑第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第7頁，共28頁。2. Sigmoid 函數(shù) 對于一些重要的學(xué)習(xí)算法，要求輸出函

4、數(shù)可微，此時通常選用Sigmoid函數(shù)。棟贅疆御葷癥贍遲呂穴葉凜甕丙竣顆嶼胡行本拭捕蒜豌抖粘晝囂搪鳥帶藕第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第8頁，共28頁。二. BP神經(jīng)網(wǎng)絡(luò) 三層前饋網(wǎng)絡(luò)咀碉喘銷家老返支涂習(xí)渤鐮襖顧鞍稿噓營砌趣籠郵郊渦渴惦的腐丁虛恿之第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第9頁，共28頁。 三層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法的主要困難是中間的隱層不直接與外界連接，無法直接計算其連接權(quán)值。 BP網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，因使用誤差反向傳播算法（Back-Propogation）進(jìn)行學(xué)習(xí)而得名，簡稱BP算法。該網(wǎng)絡(luò)神經(jīng)元的作用函數(shù)采用Sigmoind函數(shù)。 BP算法的基本思想： 根據(jù)樣本數(shù)據(jù)構(gòu)

5、造一個誤差函數(shù)，通過梯度下降法利用迭代運算求解權(quán)值。 絨敝耶車蒲攝降纖與盡升限紗破旁繩炔犧澈滬包情聞乞聊瞳傾館移者氫耍第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第10頁，共28頁。 算法分為兩個階段： （1）（正向過程） 輸入信息從輸入層經(jīng)隱層逐層計算個單元的輸出值； （2）（誤差反向傳播過程）誤差由輸出層逐層向輸入層方向傳播計算出每個單元的誤差，并用此誤差修正輸入層權(quán)值。榆瘡螞沮眉斑竣癰舍織幸麗齋掂桔陸恢熒磺儡艾燃酥吼綿濱鴕嘎鉤噶殊后第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第11頁，共28頁。三. BP算法原理信號前向傳播誤差反向傳播癬川鉸跌翻揀翔鈾筏迄哥叢毒宅增孺計郵驟巷篩毫戀碗刨簇迢歇哉寓潰盎第7

6、章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第12頁，共28頁。將輸入信號 輸入網(wǎng)絡(luò)，經(jīng)過中間層（隱層）傳向輸出層，得到輸出信息輸出層神經(jīng)元的輸出和教師信號的平方誤差定義為 銹款搓侄煥滇袁改壹糞侵氰駒營乏志益漫飛啼屜擾墾蓮纂妹呢焊躥倫域倍第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第13頁，共28頁。先求輸出層與中間層間的權(quán)值更新量：式中， 為正的常數(shù)， 為輸出層神經(jīng)元 的 值 瑟閉訛惡祭桃宴叁贈鉸抒敞禿墨牛力橇烙犁紋綸先脂棧珍牌韓硒胞恤餞冀第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第14頁，共28頁。 求中間層與輸入層間的權(quán)值更新量： 撅馴紗飛翹朱詹筐搓綽期瞎碌易之旭紋痹斯麻圣膝商鑒冠蘆梧淑敝躺劫率第7章人工神經(jīng)網(wǎng)絡(luò)

7、第7章人工神經(jīng)網(wǎng)絡(luò)第15頁，共28頁?？梢钥闯?，PB算法的計算思想是要計算網(wǎng)絡(luò)連接權(quán)值的修正量，需要首先計算網(wǎng)絡(luò)每一層神經(jīng)元的輸出，然后反向計算各神經(jīng)元的誤差傳播值 。權(quán)值更新量=(學(xué)習(xí)系數(shù)) x x (輸出函數(shù)微分值) x (神經(jīng)元 輸出)蔣遍絕搔電淡床賺砰佳迂岳弦爵侈功棲擅譏堵莉濫屈甭劊輩井逆恒誅歧治第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第16頁，共28頁。輸出函數(shù)為Sigmoid函數(shù)時 有 則輸出層神經(jīng)元的 值為誤差S函數(shù)f(x)的微分值虞瘴僵鉗兒應(yīng)臟篡蕉額盲刑仆盤蒸踩嘉目肥振得咕鎬翱也弄椅旭鹽則偏負(fù)第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第17頁，共28頁。中間層神經(jīng)元的 值椅問蛾劉豢誰邢柜

8、魯如近彭訴免膿唬耳伶種閥洼性朽繃攻棵奶睜爭撾葷鏡第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第18頁，共28頁。BP算法步驟：1. 網(wǎng)絡(luò)初始化 權(quán)值的初始值用小的隨機(jī)數(shù)設(shè)定，選定 的終止值 ，步長控制量2. 輸入向量的輸入(向前) 首先，將輸入向量輸入給輸入層。輸入向量向輸出層傳播；對各神經(jīng)元，求來自前層神經(jīng)元的附加權(quán)值和，由Sigmoid函數(shù)決定輸出值； (輸出值) = f (輸入和) (1) 3. 向輸出層輸入教師信號 將與輸入向量對應(yīng)的教師向量提供給輸出層，計算誤差值 ，若 ，則算法結(jié)束；否則，轉(zhuǎn)4，鞭竹殘遇壩般二啊僧?dāng)仒鋽M幣校嗅犧毀漠灘誨斷禁碌硒早爺惑奴禱巖腆忱第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)

9、網(wǎng)絡(luò)第19頁，共28頁。4. 誤差逆?zhèn)鞑サ臋?quán)值學(xué)習(xí)（反向） 根據(jù) (新權(quán)值) = (舊權(quán)值) + (常數(shù))X X(神經(jīng)元輸出) (2) 進(jìn)行權(quán)值更新，式中的(神經(jīng)元輸出)是指權(quán)值連接的二個神經(jīng)元中，來自前面的神經(jīng)元輸出， 按以下求出： 連接輸出層的權(quán)值學(xué)習(xí)時： = (輸出)1(輸出)x (教師信號)(神經(jīng)元輸出) (3) S函數(shù)的微分值 誤差 除此以外的權(quán)值學(xué)習(xí)時： = (輸出)1(輸出)x (來自緊接其后層的 的附加權(quán)值和) (4) S函數(shù)的微分值 誤差5. 返回到2 重復(fù)進(jìn)行24，進(jìn)行權(quán)值的學(xué)習(xí)。巍獵抿皇焰講欽軌向償掩唐睬吧鵑盎竣匪洗婁慮莢怕咆保皖膝茂護(hù)莽因敞第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神

10、經(jīng)網(wǎng)絡(luò)第20頁，共28頁。人工神經(jīng)網(wǎng)絡(luò)模式識別方法的特點：優(yōu)勢：1. 具有較強(qiáng)的容錯性，能夠識別帶有噪聲的輸入模式2. 具有很強(qiáng)的自適應(yīng)學(xué)習(xí)能力3. 可以實現(xiàn)特征空間較復(fù)雜的劃分4. 能夠適用于高速并行處理系統(tǒng)實現(xiàn)弱點：1. 需要較多的訓(xùn)練樣本2. 學(xué)習(xí)速度較慢苔現(xiàn)倦爸坤僑及雁尤靠俺昧膜剁膛紛級嚴(yán)汽垢氨梨璃熏逢肥瞄慚剖簿珊堯第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第21頁，共28頁。 BP網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計所謂網(wǎng)絡(luò)結(jié)構(gòu)，是指輸入層的神經(jīng)元個數(shù)，中間層（隱層）的層數(shù)及其神經(jīng)元個數(shù)，輸出層神經(jīng)元個數(shù)，各層神經(jīng)元之間的鏈接權(quán)值大小。1.輸入層和輸出層的神經(jīng)元個數(shù) 輸入層的神經(jīng)元個數(shù)由模式的維數(shù)決定，輸出層的

11、神經(jīng)元個數(shù)由識別問題決定。2. 隱層的層數(shù)與神經(jīng)元個數(shù) 理論證明，三層BP網(wǎng)絡(luò)可以實現(xiàn)任意的非線性映射，因此，常用三層網(wǎng)絡(luò)，即只有一個隱層。 隱層神經(jīng)元個數(shù)的確定是BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的主要任務(wù)之一。端搗識勵乏丹祿扣腳聲壯騙逼垂釩丑都棺究叉倘浚神撰午滑撲見印泛窗停第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第22頁，共28頁。隱層神經(jīng)元個數(shù)對網(wǎng)絡(luò)學(xué)習(xí)性能的影響（1）太少（網(wǎng)絡(luò)規(guī)模太小） 網(wǎng)絡(luò)實際輸出和期望輸出之間的擬合度不高，其處理復(fù)雜問題的能力不足，即網(wǎng)絡(luò)的學(xué)習(xí)能力不足，易產(chǎn)生學(xué)習(xí)不收斂的問題。（2）太多（網(wǎng)絡(luò)規(guī)模太大） 網(wǎng)絡(luò)具有較好的學(xué)習(xí)精度，但易導(dǎo)致其泛化能力較差，產(chǎn)生過學(xué)習(xí)（過擬合）現(xiàn)象，即隨著連

12、續(xù)學(xué)習(xí)，平方誤差會變小，但對于評價用的識別樣本，反而出現(xiàn)識別效果變差的現(xiàn)象。 呢吶猶檬瑰見描殆錢平希比頃牌殃磊過瘍寺冤脆君丘券曼梁落夢篇烯炸人第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第23頁，共28頁。 可以看出，隱層神經(jīng)元個數(shù)的確定是重要的，也是比較困難的。 解決的方法： （1）經(jīng)驗公式 式中，L為輸入層節(jié)點個數(shù)，M為輸出層節(jié)點個數(shù)， 為（110）的整數(shù)。 尖托愿旱刮番勝戌睹燭蔣堆昧回祁釘饞縮椽鉤痰秉拿醒互照墊瘡諾白謅是第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第24頁，共28頁。 （2）優(yōu)化的方法 將網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值看做被優(yōu)化對象，以輸出神經(jīng)元的誤差函數(shù)為目標(biāo)函數(shù)，采用優(yōu)化方法進(jìn)行優(yōu)化。 由于神經(jīng)

13、元數(shù)量和連接權(quán)值的數(shù)量所構(gòu)成的數(shù)據(jù)規(guī)模比較龐大，用傳統(tǒng)的數(shù)學(xué)方法難以解決該優(yōu)化問題，因此，現(xiàn)代的一些人工智能優(yōu)化方法受到關(guān)注，如遺傳算法，粒子群優(yōu)化算法等，并取得了很好的效果。末莆袍形鰓矗兌皖謾蝕去巳傣躥晨限峪倚勒匈倉喬畢棋之街寵猶慨據(jù)某炕第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第25頁，共28頁。分類識別舉例1. 標(biāo)準(zhǔn)測試數(shù)據(jù) UCI( University of California Irvine)標(biāo)準(zhǔn)數(shù)據(jù)集是測試模式識別領(lǐng)域分類器設(shè)計性能的一個公開的通用的標(biāo)準(zhǔn)數(shù)據(jù)集。其中： Iris數(shù)據(jù)集共有150個樣本，總共分為三類，每類有50組數(shù)據(jù)，模式特征數(shù)為4。 Ionosphere數(shù)據(jù)集共有351

14、個樣本，總共分為兩類，其中A類有127組數(shù)據(jù)，B類共224組數(shù)據(jù)，模式特征數(shù)為34。 Breast cancer數(shù)據(jù)集共有569個樣本，總共分為兩類，A類有212組數(shù)據(jù)，B類有357組數(shù)據(jù)，模式特征數(shù)為30. 止也膘孩僅鋼延貿(mào)俐蒙飲間墜寺惦日肆材阻鋤沒陷瑰盜寧椰式丁債瘋歹佑第7章人工神經(jīng)網(wǎng)絡(luò)第7章人工神經(jīng)網(wǎng)絡(luò)第26頁，共28頁。2. 學(xué)習(xí)樣本和測試樣本 將測試數(shù)據(jù)集中的數(shù)據(jù)分為兩部分，一部分樣本作為學(xué)習(xí)樣本，其他的作為識別樣本。一般地，學(xué)習(xí)樣本取7080%對于Iris數(shù)據(jù)集：從三類數(shù)據(jù)中各隨機(jī)選40組作為學(xué)習(xí)樣本，其它的作為識別樣本；誤差指標(biāo)為0.007 對于Ionosphere 數(shù)據(jù)集：從A類中隨機(jī)選100組、B類中隨機(jī)選180組