線性判別函數(shù)人工神經(jīng)元網(wǎng)絡(luò)模型ppt課件

1、 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks10.1 人工神經(jīng)網(wǎng)絡(luò)概述p1概念p 1人工神經(jīng)網(wǎng)絡(luò) 是集腦科學(xué)、神經(jīng)心思學(xué)和 信息科學(xué)等多學(xué)科的交叉研討領(lǐng)域，是近年來 高科技領(lǐng)域的一個(gè)研討熱點(diǎn)。p 2它的研討目的 是經(jīng)過研討人腦的組成機(jī)理和思想方式，探求人類智能的奧妙，進(jìn)而經(jīng)過模擬人腦的構(gòu)造和任務(wù)方式，使機(jī)器具有類似人類的智能。p 3運(yùn)用 它已在方式識別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到運(yùn)用，成為人工智能研討中的活潑領(lǐng)域。10.1 人工神經(jīng)網(wǎng)絡(luò)概述p2 概念解釋p 1人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Networks，簡記作ANN，是對人類大腦系統(tǒng)的一階特性

2、的一種描畫。簡單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研討的一種方法。 p 2神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡單的處置單元組成的高度復(fù)雜的大規(guī)模非線性自順應(yīng)系統(tǒng) p (3)ANN力求從四個(gè)方面去模擬人腦的智能行為p物理構(gòu)造 p計(jì)算模擬 p存儲與操作 p訓(xùn)練p3主要組成p1 一組處置單元PE或AN；p2 處置單元的激活形狀ai；p3 每個(gè)處置單元的輸出函數(shù)fi；p4 處置單元之間的聯(lián)接方式；p5 傳送規(guī)那么wijoi；p6 把處置單元的輸入及當(dāng)前形狀結(jié)合起來產(chǎn)生激活值的激活規(guī)那么Fi；p7 經(jīng)過閱歷修正聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)那么；p8 系統(tǒng)運(yùn)轉(zhuǎn)的環(huán)境樣本集合。 10.

3、1 人工神經(jīng)網(wǎng)絡(luò)概述4 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1 信息的分布表示2運(yùn)算的全局并行和部分操作3處置的非線性10.1 人工神經(jīng)網(wǎng)絡(luò)概述10.2 10.2 神經(jīng)元的構(gòu)造與功能特性神經(jīng)元的構(gòu)造與功能特性p 生物神經(jīng)元的構(gòu)造p 神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的根本單元，稱之為生物神經(jīng)元，簡稱神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成1細(xì)胞體2軸突3樹突4突觸 (如圖10.1)10.2 10.2 神經(jīng)元的構(gòu)造與功能特性神經(jīng)元的構(gòu)造與功能特性2. 人工神經(jīng)元的任務(wù)過程人工神經(jīng)元的任務(wù)過程 對于某個(gè)處置單元神經(jīng)元來說，假設(shè)來自其對于某個(gè)處置單元神經(jīng)元來說，假設(shè)來自其他處置單元神經(jīng)元他處置單元神經(jīng)元i的信息為的信息為Xi，它們與本處置

4、，它們與本處置單元的相互作用強(qiáng)度即銜接權(quán)值為單元的相互作用強(qiáng)度即銜接權(quán)值為Wi, i=0,1,n-1,處置單元的內(nèi)部閾值為處置單元的內(nèi)部閾值為。10.2 10.2 神經(jīng)元的構(gòu)造與功能特性神經(jīng)元的構(gòu)造與功能特性10niiixw而處置單元的輸出為)xw(fy1n0iii那么本處置單元神經(jīng)元的輸入為10.3 BP10.3 BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP網(wǎng)絡(luò)的誤差反網(wǎng)絡(luò)的誤差反向后傳向后傳BP(Back Propagation)BP(Back Propagati

5、on)學(xué)習(xí)算法學(xué)習(xí)算法pBPBP算法根本原理算法根本原理p利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了一切其他各層的誤差估計(jì)。去，就獲得了一切其他各層的誤差估計(jì)。 J. McClelland David Rumelhart 1 BP1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型p(1) 三層BP網(wǎng)絡(luò)構(gòu)造1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隱含層輸出層輸入層3NT1 BP1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模

6、型p2 2激活函數(shù)激活函數(shù)p必需處處可導(dǎo)必需處處可導(dǎo)p普通都運(yùn)用普通都運(yùn)用S S型函數(shù)型函數(shù) p3 3運(yùn)用運(yùn)用S S型激活函數(shù)時(shí)型激活函數(shù)時(shí)BPBP網(wǎng)絡(luò)輸入與輸網(wǎng)絡(luò)輸入與輸出關(guān)系出關(guān)系p輸入輸入p輸出輸出1122.nnnetx wx wx w1f()1enetynet1 BP1 BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型4輸出的導(dǎo)數(shù)211f ()(1)1e(1e)-netnetnetyy根據(jù)根據(jù)S S型激活函數(shù)的圖形型激活函數(shù)的圖形可知可知, ,對神經(jīng)網(wǎng)絡(luò)進(jìn)展訓(xùn)對神經(jīng)網(wǎng)絡(luò)進(jìn)展訓(xùn)練，應(yīng)該將練，應(yīng)該將netnet的值盡量的值盡量控制在收斂比較快的范控制在收斂比較快的范圍內(nèi)圍內(nèi) 2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法

7、網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p1學(xué)習(xí)的過程：p神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改動網(wǎng)絡(luò)的銜接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。p2學(xué)習(xí)的本質(zhì)：p對各銜接權(quán)值的動態(tài)調(diào)整p3學(xué)習(xí)規(guī)那么：p權(quán)值調(diào)整規(guī)那么，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的銜接權(quán)變化所根據(jù)的一定的調(diào)整規(guī)那么。2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法- -算法思想算法思想p4 4學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)p5 5中心思想：中心思想：p將輸出誤差以某種方式經(jīng)過隱層向輸入層逐層反將輸出誤差以某種方式經(jīng)過隱層向輸入層逐層反傳傳p6 6學(xué)習(xí)的過程：學(xué)習(xí)的過程：p信號的正向傳播信號的正向傳播 誤差的反向傳播誤差的反向傳

8、播將誤差分?jǐn)偨o各層的一切將誤差分?jǐn)偨o各層的一切單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法- -學(xué)習(xí)過程學(xué)習(xí)過程p正向傳播：正向傳播：p輸入樣本輸入層各隱層輸出輸入樣本輸入層各隱層輸出層層p判別能否轉(zhuǎn)入反向傳播階段：判別能否轉(zhuǎn)入反向傳播階段：p假設(shè)輸出層的實(shí)踐輸出與期望的輸出教師信號假設(shè)輸出層的實(shí)踐輸出與期望的輸出教師信號不符不符p誤差反傳誤差反傳p誤差以某種方式在各層表示修正各層單誤差以某種方式在各層表示修正各層單元的權(quán)值元的權(quán)值p網(wǎng)絡(luò)輸出的誤差減少到可接受的程度網(wǎng)絡(luò)輸出的誤差減少到可接受的程度p進(jìn)展到預(yù)先設(shè)定的

9、學(xué)習(xí)次數(shù)為止進(jìn)展到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法 p(7)(7)網(wǎng)絡(luò)構(gòu)造網(wǎng)絡(luò)構(gòu)造p輸入層有輸入層有n n個(gè)神經(jīng)元，隱含層有個(gè)神經(jīng)元，隱含層有p p個(gè)神經(jīng)元個(gè)神經(jīng)元, ,p 輸出層有輸出層有q q個(gè)神經(jīng)元個(gè)神經(jīng)元p(8)(8)變量定義變量定義p輸入向量輸入向量; ;p隱含層輸入向量；隱含層輸入向量；p隱含層輸出向量隱含層輸出向量; ;p輸出層輸入向量輸出層輸入向量; ;p輸出層輸出向量輸出層輸出向量; ;p期望輸出向量期望輸出向量; ; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo1

10、2,qdddod2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法輸入層與中間層的銜接權(quán)值:隱含層與輸出層的銜接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù): 誤差函數(shù)：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p(10)(10)規(guī)范學(xué)習(xí)算法的主要步驟規(guī)范學(xué)習(xí)算法的主要步驟p第一步，網(wǎng)絡(luò)初始化第一步，網(wǎng)絡(luò)初始化 p給各銜接權(quán)值分別賦一個(gè)區(qū)間給各銜接權(quán)值分別賦一個(gè)區(qū)間-1-1，1 1內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e e，給定計(jì)算，給定計(jì)算精度值精度值 和最

11、大學(xué)習(xí)次數(shù)和最大學(xué)習(xí)次數(shù)M M。p第二步第二步, ,隨機(jī)選取第隨機(jī)選取第 個(gè)輸入樣本及對應(yīng)個(gè)輸入樣本及對應(yīng)期望輸出期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p第三步，計(jì)算各層各神經(jīng)元的輸入和輸?shù)谌?，?jì)算各層各神經(jīng)元的輸入和輸出出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq2 BP2 BP網(wǎng)絡(luò)的規(guī)范

12、學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)踐輸出，第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)踐輸出，計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)數(shù) 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )

13、( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隱含層到輸出層的銜接權(quán)第五步，利用隱含層到輸出層的銜接權(quán)值、輸出層的值、輸出層的 和隱含層的輸出計(jì)算誤和隱含層的輸出計(jì)算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 ( )hk( )ok2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho

14、khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi kk whi kk 2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p第六步，利用輸出層各神經(jīng)元的第六步，利用輸出層各神經(jīng)元的 和和隱含層各神經(jīng)元的輸出來修正銜接權(quán)隱含層各神經(jīng)元的輸出來修正銜接權(quán)值值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)

15、習(xí)算法p第七步，利用隱含層各神經(jīng)元的第七步，利用隱含層各神經(jīng)元的 和和輸入層各神經(jīng)元的輸入修正銜接權(quán)。輸入層各神經(jīng)元的輸入修正銜接權(quán)。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p第八步，計(jì)算全局誤差第八步，計(jì)算全局誤差p第九步，判別網(wǎng)絡(luò)誤差能否滿足要求。當(dāng)誤差第九步，判別網(wǎng)絡(luò)誤差能否滿足要求。當(dāng)誤差到達(dá)預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，到達(dá)預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，那么終了算法。否那么，選取下一個(gè)學(xué)習(xí)樣本那么終了算法。否

16、那么，選取下一個(gè)學(xué)習(xí)樣本及對應(yīng)的期望輸出，前往到第三步，進(jìn)入下一及對應(yīng)的期望輸出，前往到第三步，進(jìn)入下一輪學(xué)習(xí)。輪學(xué)習(xí)。 2111( )( )2qmookoEdky km2 BP2 BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法p1111BPBP算法直觀解釋算法直觀解釋p情況不斷觀表達(dá)情況不斷觀表達(dá)p 當(dāng)誤差對權(quán)值的偏當(dāng)誤差對權(quán)值的偏p導(dǎo)數(shù)大于零時(shí)，權(quán)值導(dǎo)數(shù)大于零時(shí)，權(quán)值p調(diào)整量為負(fù)，實(shí)踐輸調(diào)整量為負(fù)，實(shí)踐輸p出大于期望輸出，出大于期望輸出，p權(quán)值向減少方向調(diào)整，權(quán)值向減少方向調(diào)整，p使得實(shí)踐輸出與期望使得實(shí)踐輸出與期望p輸出的差減少。輸出的差減少。whohoewe0，此時(shí)，此時(shí)who02 BP2

17、BP網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法網(wǎng)絡(luò)的規(guī)范學(xué)習(xí)算法pBPBP算法直解釋算法直解釋p情況二直觀表達(dá)情況二直觀表達(dá)p當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)p小于零時(shí)，權(quán)值調(diào)整量小于零時(shí)，權(quán)值調(diào)整量p為正，實(shí)踐輸出少于期為正，實(shí)踐輸出少于期p望輸出，權(quán)值向增大方向望輸出，權(quán)值向增大方向p調(diào)整，使得實(shí)踐輸出與期調(diào)整，使得實(shí)踐輸出與期p望輸出的差減少。望輸出的差減少。hoewe0who回想回想p激發(fā)函數(shù)普通具有非線性特性,常用的非線性激發(fā)函數(shù)如下圖1n0iiixw(a)(a)閾值型閾值型 (b)(b)分段線性型分段線性型 (c) Sigmoid(c) Sigmoid函數(shù)型函數(shù)型 (d)(d)雙曲正切、雙曲正切、

18、 常用的激發(fā)函數(shù)常用的激發(fā)函數(shù) 3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) p1 1MATLABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和根本功能根本功能 函函 數(shù)數(shù) 名名功功 能能newff()生成一個(gè)前饋生成一個(gè)前饋BP網(wǎng)絡(luò)網(wǎng)絡(luò)tansig()雙曲正切雙曲正切S型型(Tan-Sigmoid)傳輸函數(shù)傳輸函數(shù)logsig()對數(shù)對數(shù)S型型(Log-Sigmoid)傳輸函數(shù)傳輸函數(shù)traingd()梯度下降梯度下降BP訓(xùn)練函數(shù)訓(xùn)練函數(shù)3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)p2 2MAT

19、LABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和根本功神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和根本功能能pnewff()newff()p功能功能 建立一個(gè)前向建立一個(gè)前向BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)p格式格式 net = newff(PR net = newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF)p闡明闡明 net net為創(chuàng)建的新為創(chuàng)建的新BPBP神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)；PRPR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；S1 S2SNlS1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)

20、；層神經(jīng)元的個(gè)數(shù)；TFl TF2TFN1TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默以為出層的傳輸函數(shù)，默以為tansigtansig；BTFBTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默以為表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默以為trainlmtrainlm；BLFBLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默以為表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默以為learngdmlearngdm；PFPF表示性能數(shù)，默以為表示性能數(shù)，默以為msemse。pnewff() newff() p newff: Create a feed-forward newff: Create a feed-forward p backprop

21、agation network backpropagation networkpSyntaxSyntaxp net=newff net=newff p net=newff( net=newff(p PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) pDescriptionDescriptionp net = newff creates a new network with a net = newff creates a new network with a p dialog box. dial

22、og box.p newff(PR,S1 S2.SNl,TF1 TF2.TFNl, newff(PR,S1 S2.SNl,TF1 TF2.TFNl, p BTF,BLF,PF) takes BTF,BLF,PF) takesp (1)PR-R x 2 matrix of min and max (1)PR-R x 2 matrix of min and max values for R input elements values for R input elements (2)Si-Size of ith layer, for Nl (2)Si-Size of ith layer, for N

23、l layers layers (3)TFi-Transfer function of ith layer, (3)TFi-Transfer function of ith layer, default = tansig default = tansig (4)BTF-Backpropagation network (4)BTF-Backpropagation network training function, default = traingdx training function, default = traingdx (5)BLF-Backpropagation weight/bias

24、 (5)BLF-Backpropagation weight/bias learning function, default = learngdm learning function, default = learngdm (6)PF-Performance function, default = (6)PF-Performance function, default = msemse3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)p3 3MATLABMATLAB中中BPBP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和根本功能神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和根本功能ptansig()tansi

25、g()p功能功能 正切正切sigmoidsigmoid激活函數(shù)激活函數(shù)p格式格式 a = tansig(n) a = tansig(n)p闡明闡明 雙曲正切雙曲正切SigmoidSigmoid函數(shù)把神經(jīng)元的輸入范圍從函數(shù)把神經(jīng)元的輸入范圍從(-(-，+)+)映射到映射到(-1(-1，1)1)。它是可導(dǎo)函數(shù)，適用于。它是可導(dǎo)函數(shù)，適用于BPBP訓(xùn)練的神訓(xùn)練的神經(jīng)元。經(jīng)元。plogsig()logsig()p功能功能 對數(shù)對數(shù)SigmoidSigmoid激活函數(shù)激活函數(shù)p格式格式 a = logsig(N) a = logsig(N)p闡明對數(shù)闡明對數(shù)SigmoidSigmoid函數(shù)把神經(jīng)元的輸入

26、范圍從函數(shù)把神經(jīng)元的輸入范圍從(-(-，+)+)映射到映射到(0(0，1)1)。它是可導(dǎo)函數(shù)，適用于。它是可導(dǎo)函數(shù)，適用于BPBP訓(xùn)練的神經(jīng)元。訓(xùn)練的神經(jīng)元。3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)p4 4例例2-32-3，下表為某藥品的銷售情況，現(xiàn)構(gòu)，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三層建一個(gè)如下的三層BPBP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)展預(yù)測：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為展預(yù)測：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5 5，隱含層的激活函數(shù)為隱含層的激活函數(shù)為tansigtansig；輸出層結(jié)點(diǎn)數(shù)為；輸出層結(jié)點(diǎn)數(shù)為1 1個(gè)，

27、輸出層的激活函數(shù)為個(gè)，輸出層的激活函數(shù)為logsiglogsig，并利用此網(wǎng)，并利用此網(wǎng)絡(luò)對藥品的銷售量進(jìn)展預(yù)測，預(yù)測方法采用滾絡(luò)對藥品的銷售量進(jìn)展預(yù)測，預(yù)測方法采用滾動預(yù)測方式，即用前三個(gè)月的銷售量來預(yù)測第動預(yù)測方式，即用前三個(gè)月的銷售量來預(yù)測第四個(gè)月的銷售量，如用四個(gè)月的銷售量，如用1 1、2 2、3 3月的銷售量為輸月的銷售量為輸入預(yù)測第入預(yù)測第4 4個(gè)月的銷售量，用個(gè)月的銷售量，用2 2、3 3、4 4月的銷售月的銷售量為輸入預(yù)測第量為輸入預(yù)測第5 5個(gè)月的銷售量個(gè)月的銷售量. .如此反復(fù)直至如此反復(fù)直至滿足預(yù)測精度要求為止。滿足預(yù)測精度要求為止。 月份月份123456銷量銷量2056

28、23952600229816341600月份月份789101112銷量銷量187314781900150020461556數(shù)據(jù)規(guī)范化：X=(x-min)/(max-min)3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)%以每三個(gè)月的銷售量經(jīng)歸一化處置后作為輸入P=0.51520.81731.0000 ; 0.8173 1.00000.7308; 1.0000 0.73080.0; 0.7308 0.00.1087; 0.00.10870.3520; 0.1087 0.35200.0000;%以第四個(gè)月的銷售量歸一化處置后作為目的向量T=0.7308 0.0

29、 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)，每一個(gè)輸入向量的取值范圍為0 ,1，隱含層有5個(gè)神經(jīng)元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描畫的規(guī)范學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T); 3 BP3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)pBPBP網(wǎng)絡(luò)運(yùn)用于藥品預(yù)測對比圖網(wǎng)絡(luò)運(yùn)用于藥品預(yù)測對比圖p由對比圖可以看出預(yù)測效果與由對比圖可以看出預(yù)測效果與實(shí)踐存在一定誤差，此誤差可實(shí)踐存在一定誤差，此誤差可以經(jīng)過添加運(yùn)轉(zhuǎn)步數(shù)和提高預(yù)以經(jīng)過添加運(yùn)轉(zhuǎn)步數(shù)和提高預(yù)設(shè)誤差精度也進(jìn)一步減少設(shè)誤差精度也進(jìn)一步減少4 BP4 BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)