【辦公資料】人工神經(jīng)網(wǎng)絡(luò)---數(shù)學(xué)建模培訓(xùn)ppt課件

1、人人 工工 神神 經(jīng)經(jīng) 網(wǎng)網(wǎng) 絡(luò)絡(luò)5. MATLAB的圖像交互界面的圖像交互界面 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念 11 生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò)神經(jīng)元是大腦處置信息的根本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)那么樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其外形很像一棵枯樹(shù)的枝干。它主要由細(xì)胞體、樹(shù)突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元相互銜接成神經(jīng)網(wǎng)絡(luò).人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念圖1 生物神經(jīng)元表示圖 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念從神經(jīng)元各組成部分的功能來(lái)看，信息的處置與傳送主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體經(jīng)過(guò)軸突傳

2、到突觸前膜的脈沖幅度到達(dá)一定強(qiáng)度，即超越其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳送的化學(xué)物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念 12 人工神經(jīng)元模型生物神經(jīng)元是一個(gè)多輸入、單輸出單元。 常用的人工神經(jīng)元模型可用圖2模擬。 圖2 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念niiixs1呼應(yīng)函數(shù)激活函數(shù)的根本作用：1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)展函數(shù)轉(zhuǎn)換；3、將能夠無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念常見(jiàn)的呼應(yīng)函數(shù)有以下幾種類型

3、： 1、階躍函數(shù) 2、線性函數(shù) 3、非線性：Sigmoid函數(shù) 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念圖3 常見(jiàn)呼應(yīng)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)根本概念人工神經(jīng)網(wǎng)絡(luò)根本概念 1.3 建立和運(yùn)用神經(jīng)網(wǎng)絡(luò)的步驟 1網(wǎng)絡(luò)構(gòu)造確實(shí)定包含網(wǎng)絡(luò)的拓?fù)錁?gòu)造和每個(gè)神經(jīng)元相應(yīng)函數(shù)的選??； 2權(quán)值和閾值確實(shí)定經(jīng)過(guò)學(xué)習(xí)得到，為有指點(diǎn)的學(xué)習(xí)，也就是利用知的一組正確的輸入、輸出數(shù)據(jù)，調(diào)整權(quán)和閾值使得網(wǎng)絡(luò)輸出與理想輸出偏向盡量??； 3任務(wù)階段用帶有確定權(quán)重和閾值的神經(jīng)網(wǎng)絡(luò)處理實(shí)踐問(wèn)題的過(guò)程，也叫模擬simulate。單層前向線性網(wǎng)絡(luò) 2.1 單層前向神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中的神經(jīng)元是分層陳列的。單層：只需輸入和輸出層。 前向：信息由上一層

4、的神經(jīng)元向下一層神經(jīng)元傳送，即：上層的輸出就是下層的輸入；同層神經(jīng)元之間沒(méi)有信息傳送。單層前向線性網(wǎng)絡(luò)單層前向線性網(wǎng)絡(luò)單層前向線性網(wǎng)絡(luò)x1x2xmy1y2ynwnmw11wn1wn2w1m輸出層輸出層輸入層輸入層圖3 單層前向神經(jīng)網(wǎng)絡(luò) 12m單層前向線性網(wǎng)絡(luò)單層前向線性網(wǎng)絡(luò) 2.2 線性網(wǎng)絡(luò)采用線性相應(yīng)函數(shù)，得單層前向線性網(wǎng)絡(luò)實(shí)際上這是一個(gè)很好的結(jié)果。另一種，學(xué)習(xí)過(guò)程面對(duì)自順應(yīng)性網(wǎng)絡(luò)，采用的學(xué)習(xí)規(guī)那么為：誤差修正規(guī)那么單層前向線性網(wǎng)絡(luò)單層前向線性網(wǎng)絡(luò)領(lǐng)會(huì)：最小二乘規(guī)那么與誤差修正規(guī)那么的區(qū)別。感受：牛頓迭代與誤差修正在梯度下降方面的異同。單層前向線性網(wǎng)絡(luò) 2.3 線性網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MA

5、TLAB產(chǎn)生線性網(wǎng)絡(luò)的命令：net=newlin(A,n);其中，A為m2的矩陣，m為輸入變量的個(gè)數(shù)，每一行分別表示對(duì)應(yīng)輸入變量的下、上界；n為輸出變量的個(gè)數(shù)。最小二乘規(guī)那么的學(xué)習(xí)命令：net=newlind(P,T);其中，P為學(xué)習(xí)的輸入數(shù)據(jù)矩陣,T為學(xué)習(xí)的理想輸出矩陣。單層前向線性網(wǎng)絡(luò)計(jì)算網(wǎng)絡(luò)輸出的命令：result=sim(net,P)P為任務(wù)階段需求計(jì)算的輸入矩陣。誤差修正規(guī)那么的學(xué)習(xí)命令：net=train(net,P,T)利用誤差修正，對(duì)P,T一對(duì)對(duì)的學(xué)習(xí)，每學(xué)習(xí)一遍稱為一輪epoch.默許學(xué)習(xí)效率為1.在用該命令前，需給定平均誤差方差上限和計(jì)算的最大輪數(shù)。單層前向線性網(wǎng)絡(luò) 例1：

6、 例2： 例3：人 工 神 經(jīng) 網(wǎng) 絡(luò) 3.1 根本原理 三. 階 躍 網(wǎng) 絡(luò) 3.2 階躍網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)產(chǎn)生網(wǎng)絡(luò)的命令：net=newp(A,n);數(shù)據(jù)意義和其他命令均與線性網(wǎng)絡(luò)一樣。 例4：略四. 多層前向神經(jīng)網(wǎng)絡(luò)x1輸出層輸出層隱藏層隱藏層輸入層輸入層x2xn圖4 二層前向神經(jīng)網(wǎng)絡(luò)表示圖 四. 多層前向神經(jīng)網(wǎng)絡(luò)假設(shè)每一層都采用線性相應(yīng)函數(shù)，那么有假設(shè)每一層都采用線性相應(yīng)函數(shù)，那么有 ,11,21,1nn nnnZLWLWIWX四. 多層前向神經(jīng)網(wǎng)絡(luò) 4.1 BPback-propagation規(guī)那么四. 多層前向神經(jīng)網(wǎng)絡(luò) 1111,11,1,11,111,112kkkktkjin

7、nkktkkttkKtttEtt LWLWWIWIWWWW學(xué)習(xí)算法過(guò)程：學(xué)習(xí)算法過(guò)程：1給定學(xué)習(xí)數(shù)組，隨機(jī)確定初始化權(quán)矩陣；給定最小給定學(xué)習(xí)數(shù)組，隨機(jī)確定初始化權(quán)矩陣；給定最小二乘目的函數(shù)的偏向上界和迭代次數(shù)；二乘目的函數(shù)的偏向上界和迭代次數(shù)；2用逐一或者成批學(xué)習(xí)規(guī)那么修正權(quán)值，直到到達(dá)偏用逐一或者成批學(xué)習(xí)規(guī)那么修正權(quán)值，直到到達(dá)偏向要求或者迭代次數(shù)上限。向要求或者迭代次數(shù)上限。四. 多層前向神經(jīng)網(wǎng)絡(luò) 運(yùn)用BP網(wǎng)絡(luò)時(shí)本卷須知： 呼應(yīng)函數(shù)為S形函數(shù)，只能趨于0或者1； 初始權(quán)和閾值最好隨機(jī)選?。?算法的全局最優(yōu)可以經(jīng)過(guò)其他方法改良得到； BP算法主要采用與梯度下降有關(guān)的學(xué)習(xí)方法，非線性函數(shù)優(yōu)化有

8、很多的方向下降法，這些方法都可以運(yùn)用過(guò)來(lái)。 比如：traingdm勢(shì)能修正法、traingdx自調(diào)整學(xué)習(xí)效率法、trainbfg擬牛頓法、trainscg標(biāo)量共軛梯度法 等等。四. 多層前向神經(jīng)網(wǎng)絡(luò) 4.2 MATLAB實(shí)現(xiàn) 產(chǎn)生多層網(wǎng)絡(luò)構(gòu)造的命令：net=newff(A,B,C,trainfun);A同前，規(guī)模為n02,代表n0個(gè)輸入的下、上界B是一個(gè)K為行向量，其分量為對(duì)應(yīng)層神經(jīng)元個(gè)數(shù)，C是一個(gè)K維字符串向量，每個(gè)字符串代表對(duì)應(yīng)層神經(jīng)元的呼應(yīng)函數(shù)； trainfun為學(xué)習(xí)規(guī)那么。 可選呼應(yīng)函數(shù)字符串：logsig,tansig,purelin 分代表： Sigmoid ，雙曲正切，線性函數(shù)

9、四. 多層前向神經(jīng)網(wǎng)絡(luò) 常見(jiàn)參數(shù)： net.trainParam.show 顯示中間結(jié)果的周期25 net.trainParam.lr 整批學(xué)習(xí)中的學(xué)習(xí)效率0.01 net.trainParam.mc 勢(shì)能學(xué)習(xí)規(guī)那么(traingdm)勢(shì)能率0.9 net.trainParam.epochs 整批學(xué)習(xí)迭代次數(shù)上限100 net.trainParam.goal 最小二乘目的誤差設(shè)定值0四. 多層前向神經(jīng)網(wǎng)絡(luò) 4.3 運(yùn)用舉例 例5： 例6：譫妄的診斷 譫妄是由于各種緣由引起的急性腦器質(zhì)性綜合癥，其特點(diǎn)是急性發(fā)病，認(rèn)識(shí)程度變化，病程動(dòng)搖，定向力、留意力、思想、精神運(yùn)動(dòng)、行為和情感改動(dòng)。根據(jù)國(guó)外19

10、80年以后的有關(guān)譫妄研討文獻(xiàn)的報(bào)道，譫妄的發(fā)病率為4%25%。目前對(duì)譫妄的發(fā)病機(jī)制還了解不多，診斷的方式常采用多個(gè)目的綜合評(píng)價(jià)。四. 多層前向神經(jīng)網(wǎng)絡(luò)如對(duì)老年人譫妄，通常采用檢查表的方式確診，檢查表如對(duì)老年人譫妄，通常采用檢查表的方式確診，檢查表中的中的11個(gè)工程包含：個(gè)工程包含：急性起病：病人的精神情況有急性變化的證據(jù)嗎？急性起?。翰∪说木袂闆r有急性變化的證據(jù)嗎？留意妨礙：患者的留意力難以集中嗎？留意妨礙：患者的留意力難以集中嗎？思想混亂：患者的思想是混亂或是不銜接嗎？思想混亂：患者的思想是混亂或是不銜接嗎？認(rèn)識(shí)程度的改動(dòng)：總體上看，您如何評(píng)價(jià)該患者的認(rèn)識(shí)認(rèn)識(shí)程度的改動(dòng)：總體上看，您如何評(píng)

11、價(jià)該患者的認(rèn)識(shí)程度？程度？定向妨礙：在會(huì)面的任何時(shí)間患者存在定向妨礙嗎？定向妨礙：在會(huì)面的任何時(shí)間患者存在定向妨礙嗎？記憶力減退：在面談時(shí)患者表現(xiàn)出記憶方面的問(wèn)題嗎？記憶力減退：在面談時(shí)患者表現(xiàn)出記憶方面的問(wèn)題嗎？知覺(jué)妨礙：患者有知覺(jué)妨礙的證據(jù)嗎？知覺(jué)妨礙：患者有知覺(jué)妨礙的證據(jù)嗎？精神運(yùn)動(dòng)性興奮：面談時(shí)患者的行為活動(dòng)有不正常的添精神運(yùn)動(dòng)性興奮：面談時(shí)患者的行為活動(dòng)有不正常的添加嗎？加嗎？精神運(yùn)動(dòng)性緩慢：面談時(shí)患者有運(yùn)動(dòng)行為程度的異常減精神運(yùn)動(dòng)性緩慢：面談時(shí)患者有運(yùn)動(dòng)行為程度的異常減少嗎？少嗎？動(dòng)搖性：患者的精神情況留意力、思想、定向、記憶動(dòng)搖性：患者的精神情況留意力、思想、定向、記憶力在面談前

12、或者在面談中有動(dòng)搖嗎？力在面談前或者在面談中有動(dòng)搖嗎？睡眠睡眠-覺(jué)悟周期的改動(dòng)：患者有睡眠覺(jué)悟周期的改動(dòng)：患者有睡眠-覺(jué)悟周期紊亂的證據(jù)覺(jué)悟周期紊亂的證據(jù)嗎？嗎？四. 多層前向神經(jīng)網(wǎng)絡(luò)針對(duì)以上11個(gè)問(wèn)題，醫(yī)生對(duì)病人進(jìn)展察看和提問(wèn)，每項(xiàng)分4個(gè)等級(jí)打分：不存在1分；輕度存在2分；中度存在3分；嚴(yán)重存在4分。數(shù)據(jù)為一個(gè)醫(yī)生對(duì)96名測(cè)試人員的察看和提問(wèn)，并經(jīng)過(guò)計(jì)分方式記錄下來(lái)的直觀診斷。診斷規(guī)范為：22分以上可診斷為譫妄，在量表診斷一列中記為Y否那么記為N。這樣的規(guī)范能否合理？四. 多層前向神經(jīng)網(wǎng)絡(luò)序號(hào)起病注意思維意識(shí)定向記憶錯(cuò)覺(jué)興奮遲滯波動(dòng)睡眠22分標(biāo)準(zhǔn)量表診斷13322212313325 Y24443333414436 Y33322332213428 Y96 1222111311217 N四. 多層前向神經(jīng)網(wǎng)絡(luò)實(shí)踐上曾經(jīng)知道