線性判別函數(shù)人工神經(jīng)元網(wǎng)絡(luò)模型PPT學(xué)習(xí)教案

1、會計學(xué)1第1頁/共42頁第2頁/共42頁第3頁/共42頁第4頁/共42頁 2. 人工神經(jīng)元的工作過程人工神經(jīng)元的工作過程 對于某個處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi, i=0,1,n-1,處理單元的內(nèi)部閾值為。第5頁/共42頁10niiixw而處理單元的輸出為)xw(fy1n0iii那么本處理單元（神經(jīng)元）的輸入為第6頁/共42頁J. McClelland David Rumelhart 第7頁/共42頁1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隱含層輸出層輸入層3NT第8頁

2、/共42頁1122.nnnetx wx wx w1f()1enetynet第9頁/共42頁211f ()(1)1e(1e)-netnetnetyy根據(jù)根據(jù)S S型激活函數(shù)的圖型激活函數(shù)的圖形可知形可知, ,對神經(jīng)網(wǎng)絡(luò)進(jìn)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將行訓(xùn)練，應(yīng)該將netnet的的值盡量控制在收斂比值盡量控制在收斂比較快的范圍內(nèi)較快的范圍內(nèi) 第10頁/共42頁第11頁/共42頁將誤差分?jǐn)偨o各層的所有將誤差分?jǐn)偨o各層的所有單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值第12頁/共42頁第13頁/共42頁12,nxxxx12,phihihihi12,pho hohoho12,qy

3、iyiyiyi12,qyoyoyoyo12,qdddod第14頁/共42頁ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k第15頁/共42頁k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod第16頁/共42頁1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq第17頁/共42頁ohoohoeeyiwyiw( )( )( )phohoohhh

4、ohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok第18頁/共42頁( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehi kwhi kww x kbhi kx kwwp第五步，利用隱含層到輸出層的連接權(quán)第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的值、輸出層的 和隱含層的輸出計算和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)誤差函數(shù)對隱含

5、層各神經(jīng)元的偏導(dǎo)數(shù) 。 ( )hk( )ok第19頁/共42頁21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi kk whi kk 第20頁/共42頁1( )( )( )( )( )hoohhoNN

6、hohoohewkk ho kwwwk ho k ( )ok( )howk第21頁/共42頁( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k第22頁/共42頁2111( )( )2qmookoEd ky km第23頁/共42頁whohoewe0，此時，此時who0第24頁/共42頁hoewe0who第25頁/共42頁1n0iiixw(a)(a)閾值型閾值型 (b)(b)分段線性型分段線性型 (c) Sigmoid(c) Sigmoid函數(shù)型函數(shù)型 (d)(d)雙曲正切雙曲正切、 常用的激發(fā)函數(shù)常用的激發(fā)函數(shù) 第26頁/共42頁函函 數(shù)數(shù) 名名功功 能能newff()生成一個前饋生成一個前饋BP網(wǎng)絡(luò)網(wǎng)絡(luò)tansig()雙曲正切雙曲正切S型型(Tan-Sigmoid)傳輸函數(shù)傳輸函數(shù)logsig()對數(shù)對數(shù)S型型(Log-Sigmoid)傳輸函數(shù)傳輸函數(shù)traingd()梯度下降梯度下降BP訓(xùn)練函數(shù)訓(xùn)練函數(shù)第27頁/共42頁第28頁/共42頁第29頁/共42頁第30頁/共42頁第31頁/共42頁第32頁/共42頁第33頁/共42頁第34頁/共42頁月份月份123456銷量銷量205623952600229816341600月份月份789101112銷量銷量187