湘潭大學 人工智能 機器學習PPT學習教案_第1頁
湘潭大學 人工智能 機器學習PPT學習教案_第2頁
湘潭大學 人工智能 機器學習PPT學習教案_第3頁
湘潭大學 人工智能 機器學習PPT學習教案_第4頁
湘潭大學 人工智能 機器學習PPT學習教案_第5頁
已閱讀5頁,還剩70頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

1、會計學1第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第1頁/共75頁 阿法狗通過神經(jīng)網(wǎng)絡學習所有高水平圍棋棋譜,大概是歷史上有的20萬個左右職業(yè)棋譜,從而獲得了在盤面上如何落子的直覺。第2頁/共75頁 類似的深度學習深度學習是在近幾年出現(xiàn)的,目前,這項科技也有了一些應用,最簡單的例子就是通過深度學習識別貓。通過這項識別驗證,已經(jīng)引申出了更多具有實際意義的應應用用

2、,比如識別某一個圖片中是否有癌細胞識別某一個圖片中是否有癌細胞,某一個鐵路沿線上的軌道是否存在磨損某一個鐵路沿線上的軌道是否存在磨損,甚至軍事作戰(zhàn)中,對方的視線中是否有對方的視線中是否有坦克坦克,都可以通過深度學習實現(xiàn)。谷歌的自谷歌的自動駕駛,其中很重要的就是識別道路、交動駕駛,其中很重要的就是識別道路、交通信號燈、路標等,這都是通過深度學習通信號燈、路標等,這都是通過深度學習獲得獲得。第3頁/共75頁 阿法狗走的是通用學習的道路。它的估值函數(shù),不是專家攻關搗哧出來的。它的作者只是搭了一個基本的框架(一個多層的神經(jīng)網(wǎng)絡),除了圍棋最基本的規(guī)則外,沒有任何先驗知識沒有任何先驗知識。你可以把它想象

3、成一個新生兒的大腦,一張白紙。然后,直接用人類高手對局的3000萬個局面訓練訓練它,自動自動調(diào)節(jié)調(diào)節(jié)它的神經(jīng)網(wǎng)絡參數(shù)神經(jīng)網(wǎng)絡參數(shù),讓它的行為和人類高手接近。這樣,阿法狗就具有了基本的棋感,看到一個局面大致就能知道好還是不好。 阿法狗的核心技術核心技術還包括策略網(wǎng)絡的訓練策略網(wǎng)絡的訓練和蒙特卡洛樹搜索蒙特卡洛樹搜索。第4頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識

4、發(fā)現(xiàn)知識發(fā)現(xiàn)第5頁/共75頁 機器學習是人工智能的核心,通過使機器模擬人類學習行為,智能化地從過去的經(jīng)歷中獲得經(jīng)驗,從而改善其整體性能,重組內(nèi)在知識結構,并對未知事件進行準確的推斷。機器學習在科學和工程諸多領域都有著非常廣泛的應用,例如金融分析、數(shù)據(jù)挖掘、生物信息學、醫(yī)學診斷等。生活中常見的一些智能系統(tǒng)也廣泛使用機器學習算法,例如電子商務、手寫輸入、郵件過濾等。第6頁/共75頁 人類的未來生活和工作,還將有機器人參與。機器人的自主學習,更離不開人臉識別技術。人類的未來生活和工作,還將有機器人參與。機器人的自主學習,更離不開人臉識別技術。 2015年年3月月16日,馬云在德國參加活動時,為嘉賓演

5、示了一項日,馬云在德國參加活動時,為嘉賓演示了一項“SmiletoPay”的掃臉技術。在網(wǎng)購后的支付認證階段,通過掃臉取代傳統(tǒng)的密碼,實現(xiàn)的掃臉技術。在網(wǎng)購后的支付認證階段,通過掃臉取代傳統(tǒng)的密碼,實現(xiàn)“刷臉支付刷臉支付”。第7頁/共75頁第8頁/共75頁第9頁/共75頁第10頁/共75頁第11頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第12頁/共

6、75頁第13頁/共75頁環(huán)環(huán) 境境學學 習習知識庫知識庫執(zhí)執(zhí) 行行第14頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第15頁/共75頁 解釋過程 實例空間 規(guī)則空間 規(guī)劃過程 實驗規(guī)劃過程通過對實例空間的搜索完成實例選擇,并將這些選中實驗規(guī)劃過程通過對實例空間的搜索完成實例選擇,并將這些選中拿到的活躍實例提交給解釋過程。解釋過程對實例加以適當轉(zhuǎn)換,把

7、活拿到的活躍實例提交給解釋過程。解釋過程對實例加以適當轉(zhuǎn)換,把活躍實例變換為規(guī)則空間中的特定概念,以引導規(guī)則空間的搜索。躍實例變換為規(guī)則空間中的特定概念,以引導規(guī)則空間的搜索。第16頁/共75頁第17頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第18頁/共75頁第19頁/共75頁第20頁/共75頁第21頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習

8、系統(tǒng)1.1.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第22頁/共75頁第23頁/共75頁目標概念目標概念新規(guī)則新規(guī)則操作準則操作準則訓練例子訓練例子知識庫知識庫第24頁/共75頁第25頁/共75頁第26頁/共75頁Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,

9、table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)第27頁/共75頁第28頁/共75頁Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)以后求解類似問題時,就可以直接利用這個知識進行求解,提到了系統(tǒng)求解問題的效率。以后求解類似問題時,就可以直接利用這個知識進行求解,提到了系統(tǒng)求解問題的效率。第29頁/共75頁第七章:機器學習系統(tǒng)第七章:機器學習系統(tǒng)1.1

10、.機器學習的基本概念機器學習的基本概念2.2.機器學習策略與基本結構機器學習策略與基本結構3.3.歸納學習歸納學習4.4.類比學習類比學習5.5.解釋學習解釋學習6.6.神經(jīng)網(wǎng)絡學習神經(jīng)網(wǎng)絡學習8.8.其他其他7.7.知識發(fā)現(xiàn)知識發(fā)現(xiàn)第30頁/共75頁第31頁/共75頁過程就是一個不斷調(diào)整網(wǎng)絡連接權值的過過程就是一個不斷調(diào)整網(wǎng)絡連接權值的過程。程。n按照學習規(guī)則,神經(jīng)學習可分為:按照學習規(guī)則,神經(jīng)學習可分為:Hebb學學習、糾錯學習、競爭學習及隨機學習等。習、糾錯學習、競爭學習及隨機學習等。第32頁/共75頁)()()() 1(txtxtwtwjiijij第33頁/共75頁)()()()()

11、1(txtytdtwtwijjijij第34頁/共75頁第35頁/共75頁第36頁/共75頁 單層感知器學習實際上是一種基于糾錯學習規(guī)則單層感知器學習實際上是一種基于糾錯學習規(guī)則,采用迭代的,采用迭代的思想對連接權值和閾值進行不斷調(diào)整,直到滿足結束條件為止的學習算法。思想對連接權值和閾值進行不斷調(diào)整,直到滿足結束條件為止的學習算法。 假設假設X(k)和和W(k)分別表示學習算法在第分別表示學習算法在第k次迭代時輸入向量和權值向量,次迭代時輸入向量和權值向量,為方便,把閾值為方便,把閾值作為權值向量作為權值向量W(k)中的第一個分量,對應地把中的第一個分量,對應地把“-1”固定固定地作為輸入向量

12、地作為輸入向量X(k)中的第一個分量。即中的第一個分量。即W(k)和和X(k)可分別表示如下:可分別表示如下: X(k)=-1, x1(k), x2(k), , xn(k) W(k)=(k),w1(k), w2(k), ,wn(k)即即x0(k)=-1,w0(k)=(k)。 單層感知器學習是一種有導師學習,它需要給出輸入樣本的期望輸出。單層感知器學習是一種有導師學習,它需要給出輸入樣本的期望輸出。 假設一個樣本空間可以被劃分為假設一個樣本空間可以被劃分為A、B兩類,定義兩類,定義: 功能函數(shù):功能函數(shù):若輸入樣本屬于若輸入樣本屬于A類,輸出為類,輸出為+1,否則其輸出為,否則其輸出為-1。 期

13、望輸出:期望輸出:若輸入樣本屬于若輸入樣本屬于A類,期望輸出為類,期望輸出為+1,否則為,否則為-1。 單層感知器學習算法單層感知器學習算法算法思想算法思想第37頁/共75頁 單層感知器學習算法可描述如下:單層感知器學習算法可描述如下: (1) (1) 設設t=0t=0,初始化連接權和閾值。即給,初始化連接權和閾值。即給w wi i(0)(0)(i i=1, =1, 2, ,n)2, ,n)及及(0)(0)分別賦予一個較小的非零隨機數(shù),作為初值。分別賦予一個較小的非零隨機數(shù),作為初值。其中,其中,w wi i(0)(0)是第是第0 0次迭代時輸入向量中第次迭代時輸入向量中第i i個輸入的連接權

14、值;個輸入的連接權值;(0)(0)是第是第0 0次迭代時輸出節(jié)點的閾值;次迭代時輸出節(jié)點的閾值; (2) (2) 提供新的樣本輸入提供新的樣本輸入x xi i(t)(t)(i i=1, 2, , n)=1, 2, , n)和期望輸和期望輸出出d(t)d(t); (3) (3) 計算網(wǎng)絡的實際輸出:計算網(wǎng)絡的實際輸出: nittxtwftyniii,.,2 , 1)()()()(1單層感知器學習算法單層感知器學習算法算法描述算法描述第38頁/共75頁 (4) (4) 若若y(t)=d(t)y(t)=d(t),不需要調(diào)整連接權值,轉(zhuǎn),不需要調(diào)整連接權值,轉(zhuǎn)(6)(6)。否則,。否則,需要調(diào)整權值需

15、要調(diào)整權值 (5) (5) 調(diào)整連接權值調(diào)整連接權值其中,其中,是一個增益因子,用于控制修改速度,其值如果太大是一個增益因子,用于控制修改速度,其值如果太大,會影響,會影響w wi i(t)(t)的收斂性;如果太小,又會使的收斂性;如果太小,又會使w wi i(t)(t)的收斂速度的收斂速度太慢太慢; ; (6) (6) 判斷是否滿足結束條件,若滿足,算法結束;否則,將判斷是否滿足結束條件,若滿足,算法結束;否則,將t t值加值加1 1,轉(zhuǎn),轉(zhuǎn)(2)(2)重新執(zhí)行。這里的結束條件一般是指重新執(zhí)行。這里的結束條件一般是指w wi i(t)(t)對一對一切樣本均穩(wěn)定不變。切樣本均穩(wěn)定不變。 若輸入

16、的兩類樣本是線性可分的,則該算法就一定會收斂若輸入的兩類樣本是線性可分的,則該算法就一定會收斂。否則,不收斂。否則,不收斂。nitxtytdtwtwiii,.,2 , 1)()()()() 1(單層感知器學習算法單層感知器學習算法算法描述算法描述第39頁/共75頁 例例 用單層感知器實現(xiàn)邏輯用單層感知器實現(xiàn)邏輯“與與”運算。運算。 解:解:根據(jù)根據(jù)“與與”運算的邏輯關系,可將問題轉(zhuǎn)換為:輸入向量:運算的邏輯關系,可將問題轉(zhuǎn)換為:輸入向量: X1=0, 0, 1, 1 X2=0, 1, 0, 1輸出向量:輸出向量: Y=0, 0, 0, 1 為減少算法的迭代次數(shù),設初始連接權值和閾值取值如下:為

17、減少算法的迭代次數(shù),設初始連接權值和閾值取值如下: w1(0)=0.5, w2(0)=0.7, (0)=0.6并取增益因子并取增益因子=0.4。 算法的學習過程如下:算法的學習過程如下: 設兩個輸入為設兩個輸入為x1(0)=0和和x2(0)=0,其期望輸出為,其期望輸出為d(0)=0,實際輸出為:,實際輸出為: y(0)=f(w1(0)x1(0)+ w2(0)x2(0)-(0) =f(0.5*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望輸出相同,不需要調(diào)節(jié)權值。實際輸出與期望輸出相同,不需要調(diào)節(jié)權值。單層感知器學習的例子單層感知器學習的例子學習例子學習例子(1/4)第40頁/共7

18、5頁 再取下一組輸入:再取下一組輸入:x1(0)=0和和x2(0)=1, 期望輸出期望輸出d(0)=0,實際輸出:,實際輸出: y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.5*0+0.7*1-0.6)=f(0.1)=1實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下:實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下: (1)=(0)+(d(0)- y(0)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(1)=w1(0)+(d(0)- y(0)x1(0)=0.5+0.4*(0-1)*0=0.5 w2(1)=w2(0)+(d(0)- y(0)x2(

19、0)=0.7+0.4*(0-1)*1=0.3取下一組輸入:取下一組輸入:x1(1)=1和和x2(1)=0,其期望輸出為,其期望輸出為d(1)=0,實際輸出為:,實際輸出為: y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*0-1)=f(-0.51)=0實際輸出與期望輸出相同,不需要調(diào)節(jié)權值。實際輸出與期望輸出相同,不需要調(diào)節(jié)權值。 單層感知器學習的例子單層感知器學習的例子學習例子學習例子(2/4)第41頁/共75頁 再取下一組輸入:再取下一組輸入:x1(1)=1和和x2(1)=1,其期望輸出為,其期望輸出為d(1)=1,實際輸出為:,實際輸出為

20、: y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*1-1)=f(-0.2)=0 實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下:實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下: (2)=(1)+(d(1)- y(1)*(-1)=1+0.4*(1-0)*(-1)=0.6 w1(2)=w1(1)+(d(1)- y(1)x1(1)=0.5+0.4*(1-0)*1=0.9 w2(2)=w2(1)+(d(1)- y(1)x2(1)=0.3+0.4*(1-0)*1=0.7 取下一組輸入:取下一組輸入:x1(2)=0和和x2(2)=0,其期望輸出為,其

21、期望輸出為d(2)=0,實際輸出為:,實際輸出為: y(2)=f(0.9*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望輸出相同,不需要調(diào)節(jié)權值實際輸出與期望輸出相同,不需要調(diào)節(jié)權值. 單層感知器學習的例子單層感知器學習的例子學習例子學習例子(3/4)第42頁/共75頁 再取下一組輸入:再取下一組輸入:x1(2)=0和和x2(2)=1,期望輸出為,期望輸出為d(2)=0,實際輸出為:,實際輸出為: y(2)=f(0.9*0+0.7*1-0.6)=f(0.1)=1 實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下:實際輸出與期望輸出不同,需要調(diào)節(jié)權值,其調(diào)整如下: (3)=(2)+(

22、d(2)- y(2)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(3)=w1(2)+(d(2)- y(2)x1(2)=0.9+0.4*(0-1)*0=0.9 w2(3)=w2(2)+(d(2)- y(2)x2(2)=0.7+0.4*(0-1)*1=0.3 實際上,實際上,由由與運算的閾值條件可知,此時的閾值和連接權值以滿足結束與運算的閾值條件可知,此時的閾值和連接權值以滿足結束條件,算法可以結束。條件,算法可以結束。 對此,可檢驗如下:對此,可檢驗如下: 對輸入:對輸入:“0 0”有有y=f(0.9*0+0.3*0-1)=f(-1)=0 對輸入:對輸入:“0 1”有有y=f(0.

23、9*0+0.3*0.1-1)=f(-0.7)=0 對輸入:對輸入:“1 0”有有y=f(0.9*1+0.3*0-1)=f(-0.1)=0 對輸入:對輸入:“1 1”有有y=f(0.9*1+0.3*1-1)=f(0.2)=1單層感知器學習的例子單層感知器學習的例子學習例子學習例子(4/4)第43頁/共75頁 多層感知器可以解決非線性可分問題,但其隱層多層感知器可以解決非線性可分問題,但其隱層神經(jīng)元的期望輸出卻不易給出。神經(jīng)元的期望輸出卻不易給出。 而單層感知器學習是一種有導師指導的學習過程,而單層感知器學習是一種有導師指導的學習過程,因此其學習算法無法直接用于多層感知器。因此其學習算法無法直接用

24、于多層感知器。 由于多層感知器和由于多層感知器和BP網(wǎng)絡都屬于前向網(wǎng)絡,并能網(wǎng)絡都屬于前向網(wǎng)絡,并能較好解決多層前饋網(wǎng)絡的學習問題較好解決多層前饋網(wǎng)絡的學習問題. 因此,可用因此,可用BP學習來解決多層感知器學習問題。學習來解決多層感知器學習問題。多層感知器學習問題多層感知器學習問題第44頁/共75頁 BP網(wǎng)絡學習的網(wǎng)絡基礎是具有多層網(wǎng)絡學習的網(wǎng)絡基礎是具有多層前饋前饋結構的結構的BP網(wǎng)絡。為網(wǎng)絡。為討論方便,采用如下圖所示的三層討論方便,采用如下圖所示的三層BP網(wǎng)絡。網(wǎng)絡。BP網(wǎng)絡學習的基礎網(wǎng)絡學習的基礎1. 三層三層BP網(wǎng)絡網(wǎng)絡x1xny1yl12mwijwjkijk1nl1三層三層BP網(wǎng)

25、絡網(wǎng)絡工作信號工作信號的的正向傳播正向傳播誤差誤差的的反向反向傳播傳播第45頁/共75頁 對上述三層對上述三層BPBP網(wǎng)絡,分別用網(wǎng)絡,分別用I,j,kI,j,k表示輸入層、隱含層、輸表示輸入層、隱含層、輸出層節(jié)點,且以以下符號表示:出層節(jié)點,且以以下符號表示: O Oi i, , O Oj j, O, Ok k分別表示輸入層節(jié)點分別表示輸入層節(jié)點i i、隱含層節(jié)點、隱含層節(jié)點j j,輸出層,輸出層節(jié)點節(jié)點k k的的輸出輸出; I Ii i , , I Ij j , ,I Ik k, ,分別表示輸入層節(jié)點分別表示輸入層節(jié)點i i、隱含層節(jié)點、隱含層節(jié)點j j,輸出層,輸出層節(jié)點節(jié)點k k的的輸

26、入輸入; w wijij, , w wjkjk分別表示從輸入層節(jié)點分別表示從輸入層節(jié)點i i到隱含層節(jié)點到隱含層節(jié)點j j,從隱含層,從隱含層節(jié)點節(jié)點j j輸出層節(jié)點輸出層節(jié)點k k的輸入節(jié)點的輸入節(jié)點j j的連接的連接權值權值; j j 、 k k分別表示隱含層節(jié)點分別表示隱含層節(jié)點j j、輸出層節(jié)點、輸出層節(jié)點k k的的閾值閾值; 對輸入層節(jié)點對輸入層節(jié)點i i有:有: BP網(wǎng)絡學習的基礎網(wǎng)絡學習的基礎2. 網(wǎng)絡節(jié)點的輸入網(wǎng)絡節(jié)點的輸入/輸出關系輸出關系(1/2),.,2 , 1(nixOIiii(7.1)第46頁/共75頁 對輸出層節(jié)點有:對輸出層節(jié)點有:BP網(wǎng)絡學習的基礎網(wǎng)絡學習的基礎

27、2. 網(wǎng)絡節(jié)點的輸入網(wǎng)絡節(jié)點的輸入/輸出關系輸出關系(2/2)mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)((7.5)(7.4)mjxwOwIjniiijjiniijj,.,2 , 111()1,2,.,jjOf Ijm 對隱含層節(jié)點有:對隱含層節(jié)點有:(7.2)(7.3)第47頁/共75頁BP網(wǎng)絡學習的方式網(wǎng)絡學習的方式BP網(wǎng)絡學習的基礎網(wǎng)絡學習的基礎BP網(wǎng)絡的激發(fā)函數(shù)和學習方式網(wǎng)絡的激發(fā)函數(shù)和學習方式mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)((7.5)(7.4)mjxwOwIjniiijjiniijj,.,2 , 111()1

28、,2,.,jjOf IjmBP網(wǎng)絡的激發(fā)函數(shù)網(wǎng)絡的激發(fā)函數(shù)(7.3) 通常采用連續(xù)可微的通常采用連續(xù)可微的S函數(shù),包括單極函數(shù),包括單極第48頁/共75頁 BP網(wǎng)絡學習過程是一個對給定訓練模式,利用傳播公式,沿著減小誤差網(wǎng)絡學習過程是一個對給定訓練模式,利用傳播公式,沿著減小誤差的方向不斷調(diào)整網(wǎng)絡聯(lián)結權值和閾值的過程。的方向不斷調(diào)整網(wǎng)絡聯(lián)結權值和閾值的過程。 設樣本集中的第設樣本集中的第r個樣本,其輸出層結點個樣本,其輸出層結點k的期望輸出用的期望輸出用drk表示,實際輸表示,實際輸出用出用yrk表示。其中,表示。其中,drk由訓練模式給出,由訓練模式給出,yrk由由7.5式計算得出。即有式計

29、算得出。即有 yrk = Ork 如果僅針對單個輸入樣本,其實際輸出與期望輸出的誤差為如果僅針對單個輸入樣本,其實際輸出與期望輸出的誤差為 BP算法的傳播公式算法的傳播公式誤差誤差 上述誤差定義是針對單個訓練樣本的誤差計算公式,它適用于網(wǎng)絡的順上述誤差定義是針對單個訓練樣本的誤差計算公式,它適用于網(wǎng)絡的順序?qū)W習方式。若采用批處理學習方式,需要定義其序?qū)W習方式。若采用批處理學習方式,需要定義其總體誤差總體誤差。假設樣本集中。假設樣本集中有有R個樣本,則對整個樣本集的個樣本,則對整個樣本集的總體誤差定義為總體誤差定義為lkkkydE12)(21RrlkrkrkRrrRydEE1121)(21(7.

30、6)(7.7)第49頁/共75頁針對順序?qū)W習方式,其聯(lián)結權值的調(diào)整公式為針對順序?qū)W習方式,其聯(lián)結權值的調(diào)整公式為 BP算法的傳播公式算法的傳播公式權值變化量權值變化量(1/2)(7.8)(7.9)式中,式中, 為增益因子,取為增益因子,取0, 1區(qū)間的一個正數(shù),其取值與算法的收斂速度有區(qū)間的一個正數(shù),其取值與算法的收斂速度有關;關; 由下式計算由下式計算jkjkjkwtwtw)() 1(式中,式中,wjk (t)和和wjk(t+1)分別是第分別是第t次迭代和次迭代和t+1次迭代時,從結點次迭代時,從結點j到結點到結點k的的聯(lián)結權值;聯(lián)結權值; wjk是聯(lián)結權值的變化量。是聯(lián)結權值的變化量。 為

31、了使聯(lián)結權值能沿著為了使聯(lián)結權值能沿著E的梯度下降的方向逐漸改善,網(wǎng)絡逐漸收斂,權的梯度下降的方向逐漸改善,網(wǎng)絡逐漸收斂,權值變化量值變化量 wjk的計算公式如下:的計算公式如下:jkjkwEwjkwEjkkkjkwIIEwE(7.10)第50頁/共75頁根據(jù)根據(jù)7.2式,可得到輸出層節(jié)點式,可得到輸出層節(jié)點k的的Ik為為 BP算法的傳播公式算法的傳播公式權值變化量權值變化量(1/2)(7.11)(7.12)令局部梯度令局部梯度(7.13)jmjjkkOwI1jjmjjkjkjkkOOwwwI1對該式求偏導數(shù)有對該式求偏導數(shù)有kkIE將將7.10式、式、7.11式和式和7.12式代入式代入7.

32、9式有式有jkjkkkjkjkOwIIEwEw 對對k的計算,須區(qū)分的計算,須區(qū)分k是輸出層上還是隱含層上的結點。下面分別討論。是輸出層上還是隱含層上的結點。下面分別討論。第51頁/共75頁如果結點如果結點k是是輸出層上輸出層上的結點,則有的結點,則有Ok=yk,因此,因此 BP算法的傳播公式算法的傳播公式節(jié)點節(jié)點k是輸出層節(jié)點是輸出層節(jié)點(1/3)(7.14)(7.15)由由7.6式,有式,有即即而而kkkkkIyyEIE)()()(221)(21(12kkkkkkklkkkkydyyydyydyE)(kkkydyEkkkyfII(7.16)第52頁/共75頁將將7.15式和式和7.16式代

33、入式代入7.14式,有式,有BP算法的傳播公式算法的傳播公式節(jié)點節(jié)點k是輸出層節(jié)點是輸出層節(jié)點(2/3)(7.17)(7.15)由于由于f(Ik) = f(Ik)1-f(Ik),且,且f(Ik)=yk,因此有,因此有再將再將7.18式代入式代入7.13式,有式,有根據(jù)根據(jù)7.8,對輸出層有,對輸出層有(7.20))()(kkkkIfyd )1 ()(kkkkkyyyd(7.18)jkkkkjkOyyydw)1)(1)( )( )()(1)jkjkjkjkkkkkjwtwtwwtdyyy O第53頁/共75頁 如果如果k不是輸出層結點它表示聯(lián)結權值是作用于不是輸出層結點它表示聯(lián)結權值是作用于隱含

34、層上隱含層上的結點,此時,的結點,此時,有有 k= j , j按下式計算按下式計算 BP算法的傳播公式算法的傳播公式節(jié)點節(jié)點k是隱含層節(jié)點是隱含層節(jié)點(1/3)(7.22)由由7.3式,式,Oj=f (Ij-j),因此有,因此有式中,式中,(7.21)jjjjjIOOEIE)(jjjIfOE是一個隱函數(shù)求導問題,其推導過程為是一個隱函數(shù)求導問題,其推導過程為jOEmjjjkjlkkjklkkjOwOIEOIIEOE111)(jklkkwIE)(1第54頁/共75頁由由7.12式有式有 BP算法的傳播公式算法的傳播公式節(jié)點節(jié)點k是隱含層節(jié)點是隱含層節(jié)點(2/3)(7.24)將將7.23式代入式代

35、入7.22式,有式,有 它說明,低層結點的它說明,低層結點的 值是通過上一層結點的值是通過上一層結點的 值來計算的。這樣,我們就值來計算的。這樣,我們就可以先計算出輸出層上的可以先計算出輸出層上的 值,然后把它返回到較低層上,并計算出各較低值,然后把它返回到較低層上,并計算出各較低層上結點的層上結點的 值。值。 由于由于f (Ij) = f(Ij) 1-f (Ij) ,故由,故由7.24可得可得(7.23)lkjkkjwOE1lkjkkjjwIf1)(lkjkkjjjwIfIf1)(1)((7.25)第55頁/共75頁再將再將7.25式代入式代入7.13式,并將其轉(zhuǎn)化為隱函數(shù)的變化量,有式,并

36、將其轉(zhuǎn)化為隱函數(shù)的變化量,有7.3.2 BP算法的傳播公式算法的傳播公式節(jié)點節(jié)點k是隱含層節(jié)點是隱含層節(jié)點(3/3)再由再由7.1式和式和7.3式,有式,有根據(jù)根據(jù)7.8,對隱含層有,對隱含層有(7.26)(7.28)ilkjkkjjijOwIfIfw)(1)(1ilkjkkjjijxwOOw)(1 (1ilkjkkjjijijijijxwOOtwwtwtw)(1 ()()() 1(1(7.27)第56頁/共75頁 對三層對三層BP網(wǎng)絡,設網(wǎng)絡,設wij是輸入層到隱層,是輸入層到隱層,wjk是隱層是隱層到輸出層的聯(lián)結權值;到輸出層的聯(lián)結權值;R是樣本個數(shù),其計數(shù)器為是樣本個數(shù),其計數(shù)器為r;T

37、是訓練過程的最大迭代數(shù),其計數(shù)器為是訓練過程的最大迭代數(shù),其計數(shù)器為t。 (1) 初始化網(wǎng)絡及學習參數(shù):將初始化網(wǎng)絡及學習參數(shù):將wij、wjk、j、k均賦以較小的均賦以較小的隨機數(shù);設置隨機數(shù);設置為為0,1區(qū)間的數(shù);置訓練樣本計數(shù)器區(qū)間的數(shù);置訓練樣本計數(shù)器r=0,誤差,誤差E=0、誤差閾值、誤差閾值為很小的正數(shù)。為很小的正數(shù)。 (2) 隨機輸入一個訓練樣本,隨機輸入一個訓練樣本,r=r+1,t=0。 (3) 按按7.1-7.5式計算隱層神經(jīng)元的狀態(tài)和輸出層每個節(jié)點的實式計算隱層神經(jīng)元的狀態(tài)和輸出層每個節(jié)點的實際輸出際輸出yk,按,按7.6式計算該樣本的誤差式計算該樣本的誤差E。 BP網(wǎng)絡

38、學習算法網(wǎng)絡學習算法算法描述算法描述第57頁/共75頁 (4) 檢查檢查E ? 若是,執(zhí)行下一步;否則,轉(zhuǎn)(若是,執(zhí)行下一步;否則,轉(zhuǎn)(8)。)。 (5) t=t+1。 (6) 檢查檢查t T ?若是,執(zhí)行下一步;否則,轉(zhuǎn)(?若是,執(zhí)行下一步;否則,轉(zhuǎn)(8)。)。 (7) 按按7.18式計算輸出層結點式計算輸出層結點k的的k,按,按7.25式計算隱層結式計算隱層結點點j的的j,按,按 7.20式計算式計算wjk(t+1),按,按 7.28式計算式計算wij(t+1),返回返回(3)。其中,對閾值按聯(lián)結權值的學習方式修正,即把。其中,對閾值按聯(lián)結權值的學習方式修正,即把閾值設想為神經(jīng)元的聯(lián)結權值

39、,并假定其輸入信號值總是為閾值設想為神經(jīng)元的聯(lián)結權值,并假定其輸入信號值總是為1。 (8) 檢查檢查r = R ? 若是,執(zhí)行下一步;否則,轉(zhuǎn)若是,執(zhí)行下一步;否則,轉(zhuǎn)(2)。 (9) 結束。結束。BP網(wǎng)絡學習算法網(wǎng)絡學習算法算法描述算法描述第58頁/共75頁 BP網(wǎng)絡學習算法網(wǎng)絡學習算法算法流程算法流程隨機輸入一個訓練樣本,置隨機輸入一個訓練樣本,置r=r+1,t=0初始化網(wǎng)絡及學習參數(shù)初始化網(wǎng)絡及學習參數(shù)wij,wjk,j,k,R,T,置置E=0,r=0 對輸入樣本,計算該樣本的每一個對輸入樣本,計算該樣本的每一個yk,計算該樣本的誤差計算該樣本的誤差EE? t=t+1tT ?計算輸出層結

40、點計算輸出層結點k的的k修正各層的修正各層的wjk(t),wij(t)E? 結束結束是是否否是是否否否否是是第59頁/共75頁 BP網(wǎng)絡模型是目前使用較多的一種神經(jīng)網(wǎng)絡,其主要優(yōu)、缺點如下。網(wǎng)絡模型是目前使用較多的一種神經(jīng)網(wǎng)絡,其主要優(yōu)、缺點如下。 優(yōu)點優(yōu)點 (1)算法的優(yōu)點是算法推導清楚,學習精度較高;)算法的優(yōu)點是算法推導清楚,學習精度較高; (2)從理論上說,多層前饋網(wǎng)絡可學會任何可學習的東西;)從理論上說,多層前饋網(wǎng)絡可學會任何可學習的東西; (3)經(jīng)過訓練后的)經(jīng)過訓練后的BP網(wǎng)絡,運行速度極快,可用于實時處理。網(wǎng)絡,運行速度極快,可用于實時處理。 缺點缺點 (1)由于其數(shù)學基礎是非

41、線性優(yōu)化問題,因此可能陷入局部最小區(qū)域;)由于其數(shù)學基礎是非線性優(yōu)化問題,因此可能陷入局部最小區(qū)域; (2)算法收斂速度很慢,通常需要數(shù)千步或更長,甚至還可能不收斂;)算法收斂速度很慢,通常需要數(shù)千步或更長,甚至還可能不收斂; (3)網(wǎng)絡中隱含結點的設置無理論指導。)網(wǎng)絡中隱含結點的設置無理論指導。 上述缺點的解決辦法上述缺點的解決辦法 對于局部最小區(qū)域問題,對于局部最小區(qū)域問題,通常需要采用模擬退火算法或遺傳算法。通常需要采用模擬退火算法或遺傳算法。 對于算法收斂慢的問題,對于算法收斂慢的問題,其主要原因在于誤差是時間的復雜非線性函數(shù)。其主要原因在于誤差是時間的復雜非線性函數(shù)。為提高算法收斂

42、速度,可采用逐次自動調(diào)整增益因子為提高算法收斂速度,可采用逐次自動調(diào)整增益因子 ,或修改激活函數(shù),或修改激活函數(shù)f(x)的方法來解決。的方法來解決。BP網(wǎng)絡學習的討論網(wǎng)絡學習的討論第60頁/共75頁Hopfield網(wǎng)絡學習網(wǎng)絡學習 Hopfield網(wǎng)絡學習的過程實際上是一個從網(wǎng)絡初始狀態(tài)網(wǎng)絡學習的過程實際上是一個從網(wǎng)絡初始狀態(tài)向其穩(wěn)定狀態(tài)過渡的過程。而網(wǎng)絡的穩(wěn)定性又是通過能量向其穩(wěn)定狀態(tài)過渡的過程。而網(wǎng)絡的穩(wěn)定性又是通過能量函數(shù)來描述的。這里主要針對離散函數(shù)來描述的。這里主要針對離散Hopfield網(wǎng)絡討論其能網(wǎng)絡討論其能量函數(shù)和學習算法。量函數(shù)和學習算法。u Hopfield網(wǎng)絡的能量函數(shù)網(wǎng)

43、絡的能量函數(shù)u Hopfield網(wǎng)絡學習算法網(wǎng)絡學習算法第61頁/共75頁式中,式中,n是網(wǎng)絡中的神經(jīng)元個數(shù),是網(wǎng)絡中的神經(jīng)元個數(shù),wij是神經(jīng)元是神經(jīng)元i和神經(jīng)元和神經(jīng)元j之間的連接權值,之間的連接權值,且有且有wij=wji; vi和和vj分別是神經(jīng)元分別是神經(jīng)元i和神經(jīng)元和神經(jīng)元j的輸出;的輸出;i是神經(jīng)元是神經(jīng)元i的閾值。的閾值。 可以證明,對可以證明,對Hopfield網(wǎng)絡,無論其神經(jīng)元的狀態(tài)由網(wǎng)絡,無論其神經(jīng)元的狀態(tài)由“0”變?yōu)樽優(yōu)椤?”,還,還是由是由“1”變?yōu)樽優(yōu)椤?”,始終有其網(wǎng)絡能量的變化:,始終有其網(wǎng)絡能量的變化: E 0因此:因此:nkjjkkjkkjnkjjkkjkkjktvvtvwtvvtvwE11)()() 1() 1()(011nkjjkjkjnkjjkjkjvwvw0kE第66頁/共75頁 Hopfield的能量函數(shù)的能量函數(shù)能量函數(shù)定義及性質(zhì)能量函數(shù)定義及性質(zhì)(6/7)當神經(jīng)元當神經(jīng)元k的輸出的輸出vk由由0變變1時,有時,有此時,由于神經(jīng)元此時,由于

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論