神經網絡的介紹

1、神經網絡的介紹一、歷史回顧二、單層感知機與多層感知機三、BP網絡四、卷積神經網絡五、內容小結內容安排內容安排2 歷史回顧歷史回顧 (1)第一次熱潮(40-60年代未) 1943年,美國心理學家W.McCulloch和數學家W.Pitts在提出了一個簡單的神經元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初) 20世紀60年代以后，數字計算機的發(fā)展達到全盛時期，人們誤以為數字計算機可以解決人工智能、專家系統(tǒng)、模式識別問題，而放松了對“感知器”的研究。人工神經網絡進入低潮期。3(3)第二次熱潮 1982年，美國物理學家J

2、.J.Hopfield提出Hopfield網絡.1986年Rumelhart等提出的誤差反向傳播法，即BP法影響最為廣泛。直到今天，BP算法仍然是自動控制上最重要、應用最多的有效算法。(4)低潮(90年代初-2000年初) SVM算法誕生，與神經網絡相比：無需調參；高效；全局最優(yōu)解?；谝陨戏N種理由，SVM成為主流，人工神經網絡再次陷入冰河期。(5)第三次熱潮（2006年開始） 在被人摒棄的10年中，有幾個學者仍然在堅持研究。這其中的棋手就是加拿大多倫多大學的GeofferyHinton教授。2006年，Hinton在Science和相關期刊上發(fā)表了論文，首次提出了“深度學習”的概念。很快，深

3、度學習在語音識別領域暫露頭角。接著，2012年，深度學習技術又在圖像識別領域大展拳腳。Hinton與他的學生在ImageNet競賽中，用多層的卷積神經網絡成功地對包含一千類別的一百萬張圖片進行了訓練，取得了分類錯誤率15%的好成績，這個成績比第二名高了近11個百分點，充分證明了多層神經網絡識別效果的優(yōu)越性。 單層感知機的介紹單層感知機的介紹 單層感知器是用于線性可分模式分類的最簡單的神經網絡模型。用來調整這個神經網絡中自由參數的算法最早出現F.Roseblatt（1958,1962）提出的用于腦感知模型的一個學習過程中。6網絡模型結構網絡模型結構其中x（x1，xm）T 輸入向量，y為輸出，wi

4、是權系數；輸入與輸出具有如下關系：miiibxwfy1)(b為閾值，f（X）是激發(fā)函數；它可以是線性函數，也可以是非線性函數 單位階躍函數 ：0,00, 1)(xxxfS型激發(fā)函數型激發(fā)函數： ,11)(xexf; 1)(0 xf,)(xxxxeeeexf. 1)(1xftanh型激發(fā)函數：型激發(fā)函數： 常見的三類激發(fā)函數常見的三類激發(fā)函數單層感知器工作原理單層感知器工作原理 對于只有兩個輸入的判別邊界是直線（如下式所示）對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇選擇合適的學習算法合適的學習算法可訓練出滿意的結果，當它用于兩類模式的可訓練出滿意的結果，當它用于兩類模式的分類時，相當于

5、在高維樣本空間中，用一個超平面將兩類樣分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。本分開。1 12 20wxwxb 感知機的學習策略：感知機的學習策略：Mxiiibxwy).(b)L(w,minbw,).sgn()( fbxwx感知機的算法是基于梯度下降法的對損失函感知機的算法是基于梯度下降法的對損失函數的最優(yōu)化算法。數的最優(yōu)化算法。l單層感知器是線性可分模型單層感知器是線性可分模型l感知器的輸出只能取感知器的輸出只能取-1或或1（0或或1）.只能用來解只能用來解決簡單的分類問題。決簡單的分類問題。l當感知器輸入矢量中有一個數比其他數都大或當感知器輸入矢量中有一個數比其他數都大

6、或小得很多時，可能導致較慢的收斂速度小得很多時，可能導致較慢的收斂速度。單層感知機的缺點單層感知機的缺點 多層感知機的介紹多層感知機的介紹 n多層感知器相對于單層感知器，輸出端從一個變到了多個；輸入端和輸出端之間也不光只有一層，可以有多層:輸出層和隱藏層。網絡模型結構網絡模型結構例：如圖是一個含有兩個輸入，三個感知機隱層神經元和一例：如圖是一個含有兩個輸入，三個感知機隱層神經元和一個輸出神經元的三層感知機網絡，若取個輸出神經元的三層感知機網絡，若取y1y2zx1x2y3y1=sgn(2x1+2x2+1)y2=sgn(- -x1+0.25x2+0.8)y3=sgn(0.75x1- -2x2+1.

7、4)z = sgn(y1+y2+y3- -2.5)實現了非線性分類實現了非線性分類y1y2y3隱藏神經元的功能隱藏神經元的功能 隱藏神經元扮演者著特征檢測算子的角色。隨著學隱藏神經元扮演者著特征檢測算子的角色。隨著學習過程通過多層感知器不斷進行，隱藏神經元開始逐習過程通過多層感知器不斷進行，隱藏神經元開始逐步步“發(fā)現發(fā)現”刻畫訓練數據的突出特征。它們是通過輸入刻畫訓練數據的突出特征。它們是通過輸入數據非線性變換到新的稱為特征空間的空間而實現的。數據非線性變換到新的稱為特征空間的空間而實現的。BP網絡與多層感知機的差別網絡與多層感知機的差別n感知機和BP網絡都可具有一層或多層隱含層，其主要差別也

8、表現在激活函數上。nBP網絡的激活函數必須是處處可微的，因此它不能采用二值型的閥值函數0，1或符號函數1，1nBP網絡經常使用的是S型的對數或正切激活函數和線性函數nBP網絡的尋找最優(yōu)參數w和b,采用的是實際輸出和期望輸出的誤差的最佳平方逼近的思路17BP神經網絡模型n三層BP網絡1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隱含層輸出層輸入層3NTn激活函數必須處處可導n一般都使用S型函數 n使用S型激活函數時BP網絡輸入與輸出關系輸入輸出1122.nnnetx wx wx w1f()1enetynetBP網絡的標準學習算法n學習的過程：神經網絡在外界輸入樣

9、本的刺激下不斷改變網絡的連接權值,以使網絡的輸出不斷地接近期望的輸出。n學習的本質：對各連接權值的動態(tài)調整n學習規(guī)則：權值調整規(guī)則，即在學習過程中網絡中各神經元的連接權變化所依據的一定的調整規(guī)則。BP網絡的標準學習算法-算法思想n學習的類型：有導師學習n核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳n學習的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有將誤差分攤給各層的所有單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權修正各單元權值值BP網絡的標準學習算法-學習過程n正向傳播：輸入樣本輸入層各隱層輸出層n判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出（教

10、師信號）不符n誤差反傳誤差以某種形式在各層表示修正各層單元的權值n網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止 BP網絡的標準學習算法 n網絡結構輸入層有n個神經元，隱含層有p個神經元, 輸出層有q個神經元n變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經元的閾值:輸出層各神經元的閾值:樣本數據個數:激活函數: 誤差函數：ihwf( )

11、 howhb1,2,kmobqokyokdoe1)()(221n第一步，網絡初始化 給各連接權值分別賦一個區(qū)間（-1，1）內的隨機數，設定誤差函數e，給定計算精度值 和最大學習次數M。n第二步,隨機選取第 個輸入樣本及對應期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkodn第三步，計算隱含層各神經元的輸入和輸出1()()1, 2,nhihihihikwxkbhp()f()1, 2 ,hhh okh ikhp1()()1, 2,pohohohyikwhokboq()f()1, 2 ,ooy oky ikoqn第四步，利用網絡

12、期望輸出和實際輸出，計算誤差函數對輸出層的各神經元的偏導數 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok( )( )oohhoohoeeyik hokwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww xkbhikxkwwp第五步，利用隱含層到輸出層的連接權第五步，利用隱含層到輸出層的連接權值、輸出層

13、的值、輸出層的 和隱含層的輸出計算誤和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數差函數對隱含層各神經元的偏導數 。 ( )hk( )ok21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhdkyokehokhikhokhikdkyikhokhokhikdkwhokbhokhokhik11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhohokdkyokyikwhikk whikk n第六步，利用輸出層各神經元的

14、和隱含層各神經元的輸出來修正連接權值 。 1( )( )( )( )( )hoohhoNNhohoohew kk ho kwwwk ho k( )ok( )howk第七步，利用隱含層各神經元的 和輸入層各神經元的輸入修正連接權。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieeh i kw kkxkwh i kwwwkxk n第八步，計算全局誤差n第九步，判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 2111( )( )2qmook

15、oEdky km應用之例：蚊子的分類應用之例：蚊子的分類 已知的兩類蚊子的數據如表1： v翼長 觸角長 類別v1.78 1.14 Apfv1.96 1.18 Apfv1.86 1.20 Apfv1.72 1.24 Afv2.00 1.26 Apfv2.00 1.28 Apfv1.96 1.30 Apfv1.74 1.36 Af目標值目標值0.90.1 v翼長 觸角長 類別v 1.64 1.38 Afv 1.82 1.38 Afv 1.90 1.38 Afv 1.70 1.40 Afv 1.82 1.48 Afv 1.82 1.54 Afv 2.08 1.56

16、 Af目標t0.1 n輸入數據有15個，即p=1,15; j=1, 2; 對應15個輸出。n建模：（輸入層，中間層，輸出層，每層的元素應取多少個？）n建立神經網絡n規(guī)定目標為： 當t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。n設兩個權重系數矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中分析如下： 為第一層的輸出，同時作為第二層的輸入。)2()2()2 , 2() 1 () 1 ,

17、 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為激勵函數if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經元相應的權系數） jjw)3,(12,1j3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xex

18、f11)(取激勵函數為)()(11iufia= )(exp(111iu2 , 1i則同樣，取 , 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj（1）隨機給出兩個權矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據輸入數據利用公式算出網絡的輸出 3101010101131010101011)(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 () 3(

19、) 3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取取（3）計算 xexf11)(因為 所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat（4）取 （或其他正數，可調整大?。?1 . 0)()1(1ip(5) 計算 和 :),()1(1jiWp)()1(1ip

20、222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),() 1(0) 1(1)(1) 1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 計算 j=1,2,3 ), 1()1(2jWP )() 1 (), 1 (), 1 () 1(1) 1(2)(2) 1(2jajWjWppppj=1,2,3n(6) p=p+1，轉（2） 注：僅計算一圈（p=1，2，15）是不夠的，直到當各權重變化很小時停止，本例中，共計算了147圈，迭代了2205次。 最后結果是：2764. 02875. 05787. 05765. 05976. 7

21、5921. 51W9829. 34838. 04075. 82Wn即網絡模型的解為： 2764. 0)2(2875. 0) 1 (5787. 0)2(5765. 0)2(5976. 7) 1 (5921. 5) 1 (001001aauaau)()(11iufia)(exp(111iu2 , 1i=)1 (exp(11) 1 (9829. 3)2(4838. 0) 1 (4075. 8) 1 (22112uaaaunBP網絡特點輸入和輸出是并行的模擬量網絡的輸入輸出關系是各層連接的權因子決定，沒有固定的算法權因子通過學習信號調節(jié)。學習越多，網絡越聰明隱含層越多，網絡輸出精度越高，且個別權因子的損壞不會對網絡輸出產生大的影響只有當希望對網絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含S型激活函數在一般情況下，均是在隱含層采用S型激活函數，而輸出層采用線性激活函數43 網絡訓練n訓練BP網絡，需要計算網絡加權輸入矢量以及網絡輸出和誤差矢量，然后求誤差平方和n當所訓練矢量的誤差平方和小于誤差目標，訓練停止；否則在輸出層計算誤差變化，且采用反向傳播學習規(guī)則來調整權值，然后重復此過程n網絡完成訓練后，對網絡輸入一個不是訓練集合中的矢量，網絡將以泛化方式給出輸出結果44 網絡設計3.1 網絡的層數3.2 隱含層神經元數3.3 初始權值的選取3.4 學習速率3.5 期