人工神經(jīng)網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)第1頁，課件共40頁，創(chuàng)作于2023年2月2第三章感知機(jī)網(wǎng)絡(luò)1.研究背景2.學(xué)習(xí)規(guī)則3.感知機(jī)結(jié)構(gòu)4.感知機(jī)學(xué)習(xí)規(guī)則第2頁，課件共40頁，創(chuàng)作于2023年2月學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則所謂學(xué)習(xí)規(guī)則就是修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的方法和過程（也稱這種過程是訓(xùn)練算法）。學(xué)習(xí)規(guī)則的目的是為了訓(xùn)練網(wǎng)絡(luò)來完成某些工作。大致可以將其分為三大類：第3頁，課件共40頁，創(chuàng)作于2023年2月學(xué)習(xí)規(guī)則有監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）提供一組能代表網(wǎng)絡(luò)行為的實(shí)例集合(訓(xùn)練集)。增強(qiáng)學(xué)習(xí)（半監(jiān)督學(xué)習(xí)）僅提供一個(gè)級(jí)別(或評(píng)分)，作為網(wǎng)絡(luò)在某些輸入序列上的性能測度。無監(jiān)督學(xué)習(xí)（無導(dǎo)師學(xué)習(xí)）學(xué)習(xí)僅根據(jù)網(wǎng)絡(luò)的輸入來學(xué)會(huì)將輸入模式分類（聚類）。(輸入,目標(biāo)輸出)第4頁，課件共40頁，創(chuàng)作于2023年2月感知機(jī)的結(jié)構(gòu)第5頁，課件共40頁，創(chuàng)作于2023年2月感知機(jī)的結(jié)構(gòu)首先考慮如下權(quán)值矩陣第i個(gè)行向量定義為權(quán)值矩陣W重寫為第6頁，課件共40頁，創(chuàng)作于2023年2月感知機(jī)的結(jié)構(gòu)第7頁，課件共40頁，創(chuàng)作于2023年2月傳輸函數(shù)由于hardlim傳輸函數(shù)的定義是第8頁，課件共40頁，創(chuàng)作于2023年2月傳輸函數(shù)所以，如果權(quán)值矩陣的第i個(gè)行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否則輸出為0。因此網(wǎng)絡(luò)中的每個(gè)神經(jīng)元將輸入空間劃分為兩個(gè)區(qū)域。第9頁，課件共40頁，創(chuàng)作于2023年2月單個(gè)神經(jīng)元感知機(jī)該網(wǎng)絡(luò)的輸出由下式所決定第10頁，課件共40頁，創(chuàng)作于2023年2月單個(gè)神經(jīng)元感知機(jī)判定邊界由那些使得凈輸入n為零的輸入向量確定為了使該實(shí)例更加具體，現(xiàn)將權(quán)值和偏置值設(shè)置為那么判定邊界是

定義了一條直線。為了畫這條直線，必須找到該直線穿過軸p1和p2的點(diǎn)。第11頁，課件共40頁，創(chuàng)作于2023年2月單個(gè)神經(jīng)元感知機(jī)工作原理為了確定邊界的哪一邊對(duì)應(yīng)的輸出為1，我們只需檢測輸入空間的一個(gè)點(diǎn)。對(duì)于輸入p=[20]T，網(wǎng)絡(luò)的輸出為所以，對(duì)于判定邊界右上方的區(qū)域網(wǎng)絡(luò)輸出為1。在圖中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡(luò)相應(yīng)的判定邊界。必須注意的是該邊界與1w垂直第12頁，課件共40頁，創(chuàng)作于2023年2月判定邊界?所有在判定邊界上的點(diǎn)與權(quán)向量的內(nèi)積相同。?這些點(diǎn)一定是在一條與權(quán)向量垂直的線上。第13頁，課件共40頁，創(chuàng)作于2023年2月例子–“與(AND)”下面將運(yùn)用上述一些概念設(shè)計(jì)出能夠?qū)崿F(xiàn)“與門”邏輯功能的感知機(jī)網(wǎng)絡(luò)。與門的輸入/目標(biāo)對(duì)為該圖依據(jù)輸入向量的目標(biāo)顯示輸入空間。目標(biāo)值為1的輸入向量用黑色圓圈表示，而目標(biāo)值為0的輸入向量用空心圓圈表示?！瘛鸬?4頁，課件共40頁，創(chuàng)作于2023年2月例子–“與(AND)”第15頁，課件共40頁，創(chuàng)作于2023年2月“與”的解答（圖解法）?設(shè)計(jì)的第一步是選擇一個(gè)判定邊界。選擇一個(gè)判定邊界，把兩類模式向量分割在兩個(gè)區(qū)。能夠?qū)崿F(xiàn)這種劃分的邊界有無窮多個(gè)。合理的選擇是判定邊界易于確定，且處于這兩類模式向量的間隔正中。第16頁，課件共40頁，創(chuàng)作于2023年2月“與”的解答（圖解法）?選擇與判定邊界垂直的權(quán)向量，該權(quán)向量可以是任意長度向量，它同樣有無窮多個(gè)。這里選擇：第17頁，課件共40頁，創(chuàng)作于2023年2月“與”的解答（圖解法）?最后，為了求解偏置值b，可以從判定邊界上選取一個(gè)滿足式子的點(diǎn)。如果選p=[1.50]T代入，有：第18頁，課件共40頁，創(chuàng)作于2023年2月“與”的解答（圖解法）現(xiàn)在可以通過選擇上述的輸入/目標(biāo)對(duì)來對(duì)網(wǎng)絡(luò)進(jìn)行測試。如果選擇p2作為網(wǎng)絡(luò)的輸入，則輸出為第19頁，課件共40頁，創(chuàng)作于2023年2月感知機(jī)學(xué)習(xí)規(guī)則為滿足給定的訓(xùn)練樣本：設(shè)計(jì)一般性的方法來確定感知機(jī)的權(quán)和偏置值。其中pq是網(wǎng)絡(luò)的輸入，tq是該輸出相應(yīng)的目標(biāo)輸出。在該測試問題中，輸入/目標(biāo)對(duì)為第20頁，課件共40頁，創(chuàng)作于2023年2月學(xué)習(xí)規(guī)則測試實(shí)例此問題可以用下圖說明，圖中目標(biāo)輸出為0的兩個(gè)輸入向量用空心圓圈○表示，目標(biāo)輸出為1的輸入向量用黑色圓圈●表示。第21頁，課件共40頁，創(chuàng)作于2023年2月測試問題的網(wǎng)絡(luò)為了簡化其學(xué)習(xí)規(guī)則的開發(fā)，這里首先采用一種沒有偏置值的網(wǎng)絡(luò)。于是網(wǎng)絡(luò)只需調(diào)整兩個(gè)參數(shù)w1,1和w1,2

第22頁，課件共40頁，創(chuàng)作于2023年2月由于在網(wǎng)絡(luò)中去掉了偏置值，所以網(wǎng)絡(luò)的判定邊界必定穿過坐標(biāo)軸的原點(diǎn)，如圖所示。上圖給出了這些判定邊界相應(yīng)的權(quán)值向量（記住權(quán)值向量與判定邊界垂直判定邊界第23頁，課件共40頁，創(chuàng)作于2023年2月初始化對(duì)應(yīng)的初始判定邊界如圖2.學(xué)習(xí)規(guī)則的構(gòu)造在訓(xùn)練開始時(shí)，為網(wǎng)絡(luò)的參數(shù)賦一些初始值。這里僅需對(duì)其兩個(gè)權(quán)值進(jìn)行初始化。這里將1w的兩個(gè)元素設(shè)置為如下兩個(gè)隨機(jī)生成的數(shù):第24頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則將p1送入網(wǎng)絡(luò)：錯(cuò)誤分類第25頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則

將p1加到1w上，如果t=1,且a=0,則1wnew=1wold+p將會(huì)得到新的1w值，新的

1w的指向偏向p1

第26頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則錯(cuò)誤分類將p2送入網(wǎng)絡(luò)：現(xiàn)在考慮另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)行調(diào)整。不斷重復(fù)這一過程，直到所有輸入向量被正確分類。第27頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則將p2送入網(wǎng)絡(luò)：現(xiàn)在考慮另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)行調(diào)整。不斷重復(fù)這一過程，直到所有輸入向量被正確分類。p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類0的向量被錯(cuò)誤劃分為類1了。既然現(xiàn)在的目的是將1W從輸入向量所指的方向移開，因此可以將式中的加法變?yōu)闇p法如果t=0且a=1,則1wnew=1wold-p

第28頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則如果在測試問題中應(yīng)用該規(guī)則，可求出第29頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則將p3送入網(wǎng)絡(luò)：

p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類0的向量被錯(cuò)誤劃分為類1了。第30頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則已有規(guī)則第31頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則該感知機(jī)最終可以對(duì)上述三個(gè)輸入向量進(jìn)行正確的分類。第32頁，課件共40頁，創(chuàng)作于2023年2月構(gòu)造學(xué)習(xí)規(guī)則三個(gè)模式現(xiàn)在都正確分類了第三條規(guī)則：如果感知機(jī)能夠正確工作，則不用改變權(quán)值向量：下面是涵蓋了實(shí)際輸出值和目標(biāo)輸出值所有可能組合的三條規(guī)則：第33頁，課件共40頁，創(chuàng)作于2023年2月統(tǒng)一的學(xué)習(xí)規(guī)則可以將上述三條規(guī)則統(tǒng)一成一個(gè)表達(dá)式將上式中的p用偏置值的輸入1替換，得到感知機(jī)的偏置值學(xué)習(xí)規(guī)則：第34頁，課件共40頁，創(chuàng)作于2023年2月多神經(jīng)元感知機(jī)第35頁，課件共40頁，創(chuàng)作于2023年2月給出的感知機(jī)規(guī)則，修改單神經(jīng)元感知機(jī)的權(quán)值向量。我們能把這個(gè)規(guī)則按照如下方法推廣到多神經(jīng)元感知機(jī)。權(quán)值矩陣的第i行用下式進(jìn)行修改：多神經(jīng)元感知機(jī)矩陣表示：第36頁，課件共40頁，創(chuàng)作于2023年2月收斂性證明證明是建立在下面三條假設(shè)基礎(chǔ)上的：(1)問題的解存在；(2)僅在輸入被錯(cuò)分時(shí)才改變權(quán)值；(3)輸入向量的長度(模)的上界存在。證明的思路：若問題的解存在，則感知機(jī)學(xué)習(xí)規(guī)則必迭代有限次就