人工神經(jīng)網(wǎng)絡3感知機網(wǎng)絡.ppt

1,人工神經(jīng)網(wǎng)絡 (Artifical Neural Network),張 凱 副教授,武漢科技大學 計算機學院,2,第三章 感知機網(wǎng)絡,1. 研究背景,2. 學習規(guī)則,3. 感知機結(jié)構(gòu),4. 感知機學習規(guī)則,學習規(guī)則,學習規(guī)則 所謂學習規(guī)則就是修改神經(jīng)網(wǎng)絡的權(quán)值和偏置值的方法和過程（也稱這種過程是訓練算法）。學習規(guī)則的目的是為了訓練網(wǎng)絡來完成某些工作。 大致可以將其分為三大類：,學習規(guī)則,有監(jiān)督學習（有導師學習） 提供一組能代表網(wǎng)絡行為的實例集合(訓練集)。 增強學習（半監(jiān)督學習） 僅提供一個級別(或評分)，作為網(wǎng)絡在某些輸入序列上的性能測度。 無監(jiān)督學習（無導師學習） 學習僅根據(jù)網(wǎng)絡的輸入來學會將輸入模式分類（聚類）。,(輸入,目標輸出),感知機的結(jié)構(gòu),感知機的結(jié)構(gòu),首先考慮如下權(quán)值矩陣,第i個行向量定義為,權(quán)值矩陣W重寫為,感知機的結(jié)構(gòu),傳輸函數(shù),由于hardlim傳輸函數(shù)的定義是,傳輸函數(shù),所以，如果權(quán)值矩陣的第i個行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否則輸出為0。因此網(wǎng)絡中的每個神經(jīng)元將輸入空間劃分為兩個區(qū)域。,單個神經(jīng)元感知機,該網(wǎng)絡的輸出由下式所決定,單個神經(jīng)元感知機,判定邊界由那些使得凈輸入n為零的輸入向量確定,為了使該實例更加具體，現(xiàn)將權(quán)值和偏置值設置為,那么判定邊界是,定義了一條直線。為了畫這條直線，必須找到該直線穿過軸p1和p2的點。,單個神經(jīng)元感知機工作原理,為了確定邊界的哪一邊對應的輸出為1，我們只需檢測輸入空間的一個點。對于輸入p=2 0T，網(wǎng)絡的輸出為,所以，對于判定邊界右上方的區(qū)域網(wǎng)絡輸出為1。在圖中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡相應的判定邊界。必須注意的是該邊界與1w垂直,判定邊界, 所有在判定邊界上的點與權(quán)向量的內(nèi)積相同。 這些點一定是在一條與權(quán)向量垂直的線上。,例子 “與(AND)”,下面將運用上述一些概念設計出能夠?qū)崿F(xiàn)“與門”邏輯功能的感知機網(wǎng)絡。與門的輸入/目標對為,該圖依據(jù)輸入向量的目標顯示輸入空間。目標值為1的輸入向量用黑色圓圈 表示，而目標值為0的輸入向量用空心圓圈 表示。,例子 “與(AND)”,“與”的解答（圖解法）,設計的第一步是選擇一個判定邊界。選擇一個判定邊界，把兩類模式向量分割在兩個區(qū)。能夠?qū)崿F(xiàn)這種劃分的邊界有無窮多個。合理的選擇是判定邊界易于確定，且處于這兩類模式向量的間隔正中。,“與”的解答（圖解法）, 選擇與判定邊界垂直的權(quán)向量，該權(quán)向量可以是任意長度向量，它同樣有無窮多個。這里選擇：,“與”的解答（圖解法）,最后，為了求解偏置值b，可以從判定邊界上選取一個滿足式子的點。,如果選p=1.5 0T代入，有：,“與”的解答（圖解法）,現(xiàn)在可以通過選擇上述的輸入/目標對來對網(wǎng)絡進行測試。如果選擇p2作為網(wǎng)絡的輸入，則輸出為,感知機學習規(guī)則,為滿足給定的訓練樣本：,設計一般性的方法來確定感知機的權(quán)和偏置值。,其中pq是網(wǎng)絡的輸入，tq是該輸出相應的目標輸出。,在該測試問題中，輸入/目標對為,學習規(guī)則測試實例,此問題可以用下圖說明，圖中目標輸出為0的兩個輸入向量用空心圓圈表示，目標輸出為1的輸入向量用黑色圓圈表示。,測試問題的網(wǎng)絡,為了簡化其學習規(guī)則的開發(fā)，這里首先采用一種沒有偏置值的網(wǎng)絡。于是網(wǎng)絡只需調(diào)整兩個參數(shù)w1,1和w1,2,由于在網(wǎng)絡中去掉了偏置值，所以網(wǎng)絡的判定邊界必定穿過坐標軸的原點，如圖所示。,上圖給出了這些判定邊界相應的權(quán)值向量（記住權(quán)值向量與判定邊界垂直,判定邊界,初始化,對應的初始判定邊界如圖,2.學習規(guī)則的構(gòu)造 在訓練開始時，為網(wǎng)絡的參數(shù)賦一些初始值。這里僅需對其兩個權(quán)值進行初始化。這里將1w的兩個元素設置為如下兩個隨機生成的數(shù):,構(gòu)造學習規(guī)則,將p1送入網(wǎng)絡：,錯誤分類,構(gòu)造學習規(guī)則,將p1加到1w上，如果t=1,且a=0,則1wnew= 1wold+p,將會得到新的1w值，新的 1w的指向偏向p1,構(gòu)造學習規(guī)則,錯誤分類,將p2送入網(wǎng)絡：,現(xiàn)在考慮另一個輸入向量，并繼續(xù)對權(quán)值進行調(diào)整。不斷重復這一過程，直到所有輸入向量被正確分類。,構(gòu)造學習規(guī)則,將p2送入網(wǎng)絡：,現(xiàn)在考慮另一個輸入向量，并繼續(xù)對權(quán)值進行調(diào)整。不斷重復這一過程，直到所有輸入向量被正確分類。,p2的目標值t2等于0，而該網(wǎng)絡的世紀輸出a是1。所以一個屬于類0的向量被錯誤劃分為類1了。 既然現(xiàn)在的目的是將1W從輸入向量所指的方向移開，因此可以將式中的加法變?yōu)闇p法 如果t=0且a=1,則1wnew=1wold-p,構(gòu)造學習規(guī)則,如果在測試問題中應用該規(guī)則，可求出,構(gòu)造學習規(guī)則,將p3送入網(wǎng)絡：,p2的目標值t2等于0，而該網(wǎng)絡的世紀輸出a是1。所以一個屬于類0的向量被錯誤劃分為類1了。,構(gòu)造學習規(guī)則,已有規(guī)則,構(gòu)造學習規(guī)則,該感知機最終可以對上述三個輸入向量進行正確的分類。,構(gòu)造學習規(guī)則,三個模式現(xiàn)在都正確分類了,第三條規(guī)則：如果感知機能夠正確工作，則不用改變權(quán)值向量：,下面是涵蓋了實際輸出值和目標輸出值所有可能組合的三條規(guī)則：,統(tǒng)一的學習規(guī)則,可以將上述三條規(guī)則統(tǒng)一成一個表達式,將上式中的p用偏置值的輸入1替換，得到感知機的偏置值學習規(guī)則：,多神經(jīng)元感知機,給出的感知機規(guī)則，修改單神經(jīng)元感知機的權(quán)值向量。我們能把這個規(guī)則按照如下方法推廣到多神經(jīng)元感知機。權(quán)值矩陣的第i行用下式進行修改：,多神經(jīng)元感知機,矩陣表示：,收斂性證明,證明是建立在下面三條假設基礎上的： (1)問題的解存在； (2)僅在輸入被錯分時才改變權(quán)值； (3)輸入向量的長度(模