《神經網絡配套Ch》

1、4 1 感知機學習規(guī)則 4 2 學習的分類 p1t1, p2t2, pQtQ, 有監(jiān)督學習（有導師學習） 提供網絡一組能代表網絡行為的實例集合 (訓練集)： 增強學習（半監(jiān)督學習） 僅提供一個級別(或評分)，作為網絡在某些輸 入序列上的性能測度。 無監(jiān)督學習（無導師學習） 學習僅根據網絡的輸入來學會將輸入模式分類 （聚類）。 (輸入,目標輸出)。 4 3 感知機的結構 W w1 1 w1 2 w1 R w2 1 w2 2 w2 R wS 1 wS 2 wS R = w i wi 1 wi 2 wi R =W wT 1 wT 2 wT S = aihardlim nihardlimwT i pb

2、i+= 4 4 單個神經元感知機工作原理 ahardlimw T 1 pb+hardlim w 1 1 p1w 1 2 p2b+= 判定邊界：n=w1,1p1 +w1,2p2 +b =0 4 5 單個神經元感知機工作原理 w1 1 1=w1 2 1= b1= p1 + p2 1 = 0 4 6 判定邊界 w T 1 pb+0= w T 1 pb= 所有在判定邊界上的點與權向量的內積相同。 這些點一定是在一條與權向量垂直的線上。 4 7 例子 “或(OR)” p1 0 0 =t10= p2 0 1 =t21= p3 1 0 =t31= p4 1 1 =t41= 4 8 “或”的解答（圖解法） w

3、 1 0.5 0.5 = wT 1 pb+ 0.5 0.5 0 0.5 b+0.25b+0=b0.25= 選擇一個判定邊界，把兩類模式向量分割在兩個區(qū)。能夠實 現這種劃分的邊界有無窮多個。合理的選擇是判定邊界易于確 定，且處于這兩類模式向量的間隔正中。 在判定邊界上取一點(0, 0.5)來定偏值： 選擇與判定邊界垂直的權向量，該權向量可以是任意長度向 量，它同樣有無窮多個。這里選擇： 4 9 “或”的解答（圖解法） w 1 0.5 0.5 =方程的法向量是權向量 (與判定邊界垂直)： 方程的常數項是判定邊界的偏置值： 兩點式直線方程： 例如點(x1 , y1)和(x2, y2)： 21 1 2

4、1 1 xx xx yy yy 025. 05 . 05 . 0 21 pp 選一個判定邊界及其上的兩點得其方程： 例如點(0.5, 0)和(0, 0.5) 25. 0b 4 10 多神經元感知機 每個神經元將有自己的判定邊界： w T i pbi+0= 單個神經元可以將輸入向量分為兩類。 一個有S個神經元的感知機可將輸入向 量分為多類，共有2S種可能的類別。 4 11 感知機學習規(guī)則 為滿足給定的訓練樣本： p1t1,p2t2, pQtQ, 設計一般性的方法來確定感知機的權和偏置值。 4 12 學習規(guī)則測試實例 p1 1 2 =t11= p2 1 2 =t20= p3 0 1 =t30= 測

5、試問題的網絡 4 13 初始化 w 1 1.0 0.8 = 將p1送入網絡： ahardlimwT 1 p1hardlim 1.00.8 1 2 = ahardlim0.60= 隨機初始化權： 錯誤分類 4 14 構造學習規(guī)則 令1w 為 p1 前后振蕩 將p1加到1w上上 1w的指向偏向p1 If t1 and a0, then w 1 new w 1 old p+= w 1 new w 1 old p1+ 1.0 0.8 1 2 + 2.0 1.2 = 規(guī)則： 4 15 第二個輸入向量 If t0 and a1, then w 1 new w 1 old p= ahardlimwT 1 p

6、2hardlim 2.0 1.2 1 2 = ahardlim 0.41=(錯誤分類，見前圖) 修正規(guī)則： w 1 new w 1 old p2 2.0 1.2 1 2 3.0 0.8 = 4 16 第三個輸入向量 三個模式現在都正確分類了 ahardlimwT 1 p3hardlim 3.00.8 0 1 = ahardlim 0.81=(錯誤分類，見前圖) w 1 new w 1 old p3 3.0 0.8 0 1 3.0 0.2 = If ta, then w 1 new w 1 o ld. = 4 17 統一的學習規(guī)則 If t1 and a0, then w 1 new w 1 o

7、ld p+= If t0 and a1, then w 1 n ew w 1 old p= If ta, then w 1 new w 1 old = eta= If e1, then w 1 new w 1 old p+= = If e1, then w 1 new w 1 old p= If e0, then w 1 new w 1 old = w 1 new w 1 old ep+w 1 old tap+= bnewbolde+= 偏置可視 為對應輸 入為1 的權 4 18 多神經元感知機 w i new w i old e ip += binewbioldei+= WnewWoldep

8、T+= b new b old e+= 權值矩陣的第i行修改為： 矩陣表示： 4 19 蘋果/香蕉例子 W 0.510.5 =b0.5= ahardlimWp1b+hardlim 0.510.5 1 1 1 0.5+ = 訓練集： 初始權值： 第一次迭代： p1 1 1 1 t1 1 = p2 1 1 1 t2 0 = ahardlim0.50= WnewWoldepT+ 0.510.5 1 111 + 0.501.5 = b new b old e+0.51 +1.5= et1a101= 4 20 第二次迭代 ahardlim Wp2b+()hardlim 0.501.5 1 1 1 1.5

9、+()= ahardlim 2.5()1= et2a011= WnewW old epT+ 0.501.5 1 1 11 + 1.510.5 = b new b old e+1.51+0.5= 4 21 檢查 ahardlim Wp1b+()hardlim 1.510.5 1 1 1 0.5+()= ahardlim 1.5()1t1= ahardlim Wp2b+()hardlim 1.510.5 1 1 1 0.5+()= ahardlim 1.5()0t2= 4 22 學習規(guī)則的能力 只要權值的解存在（問題線性可分）， 該學習規(guī)則總能收斂到實現期望分類的 權值上。 4 23 收斂性證明

10、證明見書中第45頁 證明是建立在下面三條假設基礎上的： 問題的解 存在，即有式(4.66)： ； 僅在輸入被錯分時才改變權值，即有式(4.72)： ； (3) 輸入向量的長度(模)的上界存在。 證明的思路： 若問題的解存在，則感知機學習規(guī)則必迭代有限次 就可收斂。 )(izx T 0) 1() 1(kzkx T x 4 24 收斂性證明 (4.66)和(4.72)式的證明： -(4.66)式的證明,即 。 證：由(4.61)有, , ,且 。 若 ,則 ,由(4.62)得: ; 若 ,則 ,由(4.63)得: ; 綜合和證得(4.66)式。 -(4.72)式的證明,即 。 證：由(4.61)有

11、, , ,且 。 若 ,由于錯誤分類,得: ; 若 ,由于錯誤分類,得: ; 綜合和證得(4.72)式. )(izx T mm zatiz)()(Qm1 0atm 1 m t mmm zzatiz)()( m TT zxizx)( 0 m t mmm zzatiz)() ( m TT zxizx)( 0) 1() 1(kzkx T mm zatkz)() 1(Qm10atm 0 m t 1 m t0) 1() 1() 1( m TT zkxkzkx 0) 1() 1() 1( m TT zkxkzkx 4 25 感知機的局限性 wT 1 pb+0= 線性判定邊界 解決不了線性不可分問題 4 26 習題 考慮下面定義的分類問題： 設計一個求解這個問題的單神經元感知機。 (1)用圖形方式求解網絡參數； (2)對下列初始參數用感知機學習規(guī)則求解網絡參數。 1, 1 1 11 tp 1, 2 1 12 tp 0, 3 0 03 tp 0, 4 1 04 tp ,00)0(W0)0(b 4 27 課外習題 按照感知機學習規(guī)則, 用C語言編程實現下列學習函數: void learning( n, i , f, p,t, W, b