計算智能人工神經(jīng)網(wǎng)絡

1、會計學1計算智能人工神經(jīng)網(wǎng)絡計算智能人工神經(jīng)網(wǎng)絡第1頁/共60頁第2頁/共60頁第3頁/共60頁第4頁/共60頁第5頁/共60頁第6頁/共60頁第7頁/共60頁第8頁/共60頁第9頁/共60頁CNNCPRCIANNAPRAIBNNBPRBI人類知識人類知識(+)傳感輸入傳感輸入知識知識(+)傳感數(shù)據(jù)傳感數(shù)據(jù)計算計算(+)傳感器傳感器B生物的生物的A符號的符號的C數(shù)值的數(shù)值的復復雜雜性性復雜性復雜性輸入輸入層次層次 貝慈德克的智能的貝慈德克的智能的3個層次個層次第10頁/共60頁第11頁/共60頁第12頁/共60頁第13頁/共60頁第14頁/共60頁第15頁/共60頁第16頁/共60頁x1xnx

2、iF( )yi=f(uj) =f（wixi-）ujw1wnwi激勵函數(shù)(或傳播函數(shù))第17頁/共60頁1-1a 階躍函數(shù)1-1b 斜坡函數(shù)f(x)= 1 x1 kx -1 x 1 -1 x-1f(x)= 1 x0 -1 x 0第18頁/共60頁1-1Sigmoid函數(shù)f(x) = 1 / ( 1+exp(-x) )第19頁/共60頁輸入層隱層1x1xny1yn隱層2輸出層Hj = f( (wijxi) -j)hj = f( (wijhi) -j)第20頁/共60頁第21頁/共60頁第22頁/共60頁第23頁/共60頁輸入部分輸出層x1xny1ymwij可解決的問題 兩類線性可分模式的分類問題不

3、能解決的問題復雜的模式分類問題第24頁/共60頁 使用感知機的主要目的是為了對外部輸入進行分類。羅森勃拉特已經(jīng)證明，使用感知機的主要目的是為了對外部輸入進行分類。羅森勃拉特已經(jīng)證明，如果外部輸入是線性可分的（指存在一個如果外部輸入是線性可分的（指存在一個超平面超平面可以將它們分開），則單層感可以將它們分開），則單層感知器一定能夠把它劃分為兩類。其判別超平面由如下判別式確定：知器一定能夠把它劃分為兩類。其判別超平面由如下判別式確定： 作為例子，下面討論用單個感知器實現(xiàn)邏輯運算的問題。事實上，單層感知作為例子，下面討論用單個感知器實現(xiàn)邏輯運算的問題。事實上，單層感知器可以很好地實現(xiàn)器可以很好地實現(xiàn)

4、“與與”、“或或”、“非非”運算，但卻不能解決運算，但卻不能解決“異或異或”問題問題。 m,.,2 , 1j0 xn1ijiijw第25頁/共60頁輸入部分輸出層x1x2yw2w1第26頁/共60頁例例1 “與與”運算（運算（x1x2）(0,0)(1,1)(0,1)(1,0)與運算問題圖示與運算問題圖示輸入輸入輸出輸出超平面超平面閾值條件閾值條件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 010w1*0+ w2*1 -0 w2 100w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 可以證明此表有解，例如取可以證明此表有

5、解，例如取w1=1，w2=1，=1.5，其分類結果如右圖所示。，其分類結果如右圖所示。 其中，輸出為其中，輸出為1的用實心圓，輸出為的用實心圓，輸出為0的的用空心圓。后面約定相同。用空心圓。后面約定相同。第27頁/共60頁例例2 “或或”運算（運算（x1x2）輸入輸入輸出輸出超平面超平面閾值條件閾值條件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 此表也有解，例如取此表也有解，例如取w1=1，w2=1，=0.5，其分類結果如右圖

6、所示。，其分類結果如右圖所示。(0,1)(0,0)(1,0)與運算問題圖示與運算問題圖示(1,1)第28頁/共60頁例例3 “非非”運算（運算（x1）輸入輸入輸出輸出超平面超平面閾值條件閾值條件x1x1w1*x1-=0 01w1*0 - 0 0 10w1*1 w1 此表也有解，例如取此表也有解，例如取w1=-1，=-0.5，其分類結果如右圖所示。，其分類結果如右圖所示。 非運算問題圖示非運算問題圖示01第29頁/共60頁例例4 “異或異或”運算（運算（x1 XOR x2）輸入輸入輸出輸出超平面超平面閾值條件閾值條件x1x2X1 XOR x2w1*x1+ w2* x2-=0 000w1*0+ w

7、2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 110w1*1+ w2*1-w1+ w2 此表無解，即無法找到滿足條件的此表無解，即無法找到滿足條件的w1、w2和和，如右圖所示。因為異或，如右圖所示。因為異或問題是一個非線性可分問題，需要用問題是一個非線性可分問題，需要用多層感知器來解決。多層感知器來解決。(0,1)(0,0)(1,0) 異或運算問題圖示異或運算問題圖示(1,1)第30頁/共60頁A2 (1,1)A1 (0,0)B1 (1,0)B2 (0,1)無法用一條直線把節(jié)點正確分開-非線性問題第31頁/共60頁A2 (1,1)A1 (0,

8、0)B1 (1,0)B2 (0,1)可以用二條直線把節(jié)點正確分開-多層網(wǎng)絡第32頁/共60頁第33頁/共60頁輸入層隱層1x1xny1yn隱層2輸出層Hj = f( (wijxi) -j)hj = f( (wijhi) -j)第34頁/共60頁x11y=x1 XOR x2x1X2x121-1111-1輸入層隱層輸出層權值權值圖5.14 “異或”問題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)圖5.15異或問題的解決(1,1) 隱層神經(jīng)元隱層神經(jīng)元x11所確所確定的直線方程為定的直線方程為 它可以識別一個半它可以識別一個半平面。隱層神經(jīng)元平面。隱層神經(jīng)元x12所所確

9、定的直線方程為確定的直線方程為它也可以識別一個半平它也可以識別一個半平面。面。05 . 01121xx05 . 11121xx輸出層神經(jīng)元所確定的直線方程為輸出層神經(jīng)元所確定的直線方程為 它相當于對隱層神經(jīng)元它相當于對隱層神經(jīng)元x11和和x12的輸出的輸出作作“邏輯與邏輯與”運算，因此可識別由隱層運算，因此可識別由隱層已識別的兩個半平面的交集所構成的一已識別的兩個半平面的交集所構成的一個凸多邊形，如圖所示。個凸多邊形，如圖所示。 05 .1111211xxy=x1 XOR x2 = (x1Vx2) AND (-x1V-x2)第35頁/共60頁輸出層: i=yi(1-yi)(di-yi)中間層:

10、i=xi(1-xi)kwik第36頁/共60頁第37頁/共60頁第38頁/共60頁第39頁/共60頁第40頁/共60頁第41頁/共60頁第42頁/共60頁第43頁/共60頁第44頁/共60頁節(jié)點間的權值：wij 每個節(jié)點的狀態(tài)：si si = 1 如果 WS(t) + I 0 0 其他情況wij第45頁/共60頁第46頁/共60頁ijiiijjj第47頁/共60頁第48頁/共60頁第49頁/共60頁第50頁/共60頁xi第51頁/共60頁第52頁/共60頁第53頁/共60頁CNNCPRCIANNAPRAIBNNBPRBI人類知識人類知識(+)傳感輸入傳感輸入知識知識(+)傳感數(shù)據(jù)傳感數(shù)據(jù)計算計算(+)傳感器傳感器B生物的生物的A符號的符號的C數(shù)值的數(shù)值的復復雜雜性性復雜性復雜性輸入輸入層次層次 貝慈德克的智能的貝慈德克的智能的3個層次個層次第54頁/共60頁例例2 “或或”運算（運算（x1x2）輸入輸入輸出輸出超平面超平面閾值條件閾值條件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 1