人工神經(jīng)網(wǎng)絡(luò)3感知機(jī)網(wǎng)絡(luò)ppt課件

1、武漢科技大學(xué)1人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network)張凱 副教授武漢科技大學(xué) 計(jì)算機(jī)學(xué)院2第三章第三章 感知機(jī)網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)1. 研討背景研討背景2. 學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么3. 感知機(jī)構(gòu)造感知機(jī)構(gòu)造4. 感知機(jī)學(xué)習(xí)規(guī)那么感知機(jī)學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么 所謂學(xué)習(xí)規(guī)那么就是修正神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的方法和過(guò)程也稱這種過(guò)程是訓(xùn)練算法。學(xué)習(xí)規(guī)那么的目的是為了訓(xùn)練網(wǎng)絡(luò)來(lái)完成某些任務(wù)。大致可以將其分為三大類：學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么有監(jiān)視學(xué)習(xí)有導(dǎo)師學(xué)習(xí)提供一組能代表網(wǎng)絡(luò)行為的實(shí)例集合(訓(xùn)練集)。加強(qiáng)學(xué)習(xí)半監(jiān)視學(xué)習(xí)僅提供一個(gè)級(jí)別(或評(píng)分)，作為網(wǎng)絡(luò)在某些輸入序列上的性

2、能測(cè)度。無(wú)監(jiān)視學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)學(xué)習(xí)僅根據(jù)網(wǎng)絡(luò)的輸入來(lái)學(xué)會(huì)將輸入方式分類聚類。p1t1, p2t2, pQtQ,(輸入,目的輸出)感知機(jī)的構(gòu)造感知機(jī)的構(gòu)造感知機(jī)的構(gòu)造感知機(jī)的構(gòu)造首先思索如下權(quán)值矩陣第i個(gè)行向量定義為權(quán)值矩陣W重寫(xiě)為感知機(jī)的構(gòu)造感知機(jī)的構(gòu)造傳輸函數(shù)傳輸函數(shù)1(0)( )hardlim( )0(0)naf nnn由于hardlim傳輸函數(shù)的定義是傳輸函數(shù)傳輸函數(shù)1(0)( )hardlim( )0(0)naf nnn所以，假設(shè)權(quán)值矩陣的第i個(gè)行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否那么輸出為0。因此網(wǎng)絡(luò)中的每個(gè)神經(jīng)元將輸入空間劃分為兩個(gè)區(qū)域。單個(gè)神經(jīng)元感知機(jī)單個(gè)神經(jīng)元感知

3、機(jī)該網(wǎng)絡(luò)的輸出由下式所決議單個(gè)神經(jīng)元感知機(jī)單個(gè)神經(jīng)元感知機(jī)斷定邊境由那些使得凈輸入n為零的輸入向量確定為了使該實(shí)例更加詳細(xì)，現(xiàn)將權(quán)值和偏置值設(shè)置為那么斷定邊境是 定義了一條直線。為了畫(huà)這條直線，必需找到該直線穿過(guò)軸p1和p2的點(diǎn)。單個(gè)神經(jīng)元感知機(jī)任務(wù)原理單個(gè)神經(jīng)元感知機(jī)任務(wù)原理為了確定邊境的哪一邊對(duì)應(yīng)的輸出為1，我們只需檢測(cè)輸入空間的一個(gè)點(diǎn)。對(duì)于輸入p=2 0T，網(wǎng)絡(luò)的輸出為所以，對(duì)于斷定邊境右上方的區(qū)域網(wǎng)絡(luò)輸出為1。在圖中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡(luò)相應(yīng)的斷定邊境。必需留意的是該邊境與1w垂直斷定邊境斷定邊境 一切在斷定邊境上的點(diǎn)與權(quán)向量的內(nèi)積一樣。 這些點(diǎn)一定是在一條

4、與權(quán)向量垂直的線上。 例子例子 “與與(AND)下面將運(yùn)用上述一些概念設(shè)計(jì)出可以實(shí)現(xiàn)“與門(mén)邏輯功能的感知機(jī)網(wǎng)絡(luò)。與門(mén)的輸入/目的對(duì)為該圖根據(jù)輸入向量的目的顯示輸入空間。目的值為1的輸入向量用黑色圓圈 表示，而目的值為0的輸入向量用空心圓圈 表示。例子例子 “與與(AND)“與的解答圖解法與的解答圖解法設(shè)計(jì)的第一步是選擇一個(gè)斷定邊境。選擇一個(gè)斷定邊境，把兩類方式向量分割在兩個(gè)區(qū)?？梢詫?shí)現(xiàn)這種劃分的邊境有無(wú)窮多個(gè)。合理的選擇是斷定邊境易于確定，且處于這兩類方式向量的間隔正中。 “與的解答圖解法與的解答圖解法 選擇與斷定邊境垂直的權(quán)向量，該權(quán)向量可以是恣意長(zhǎng)度向量，它同樣有無(wú)窮多個(gè)。這里選擇： “與

5、的解答圖解法與的解答圖解法最后，為了求解偏置值b，可以從斷定邊境上選取一個(gè)滿足式子的點(diǎn)。假設(shè)選p=1.5 0T代入，有：“與的解答圖解法與的解答圖解法如今可以經(jīng)過(guò)選擇上述的輸入/目的對(duì)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)展測(cè)試。假設(shè)選擇p2作為網(wǎng)絡(luò)的輸入，那么輸出為感知機(jī)學(xué)習(xí)規(guī)那么感知機(jī)學(xué)習(xí)規(guī)那么為滿足給定的訓(xùn)練樣本： 設(shè)計(jì)普通性的方法來(lái)確定感知機(jī)的權(quán)和偏置值。 其中pq是網(wǎng)絡(luò)的輸入，tq是該輸出相應(yīng)的目的輸出。在該測(cè)試問(wèn)題中，輸入/目的對(duì)為學(xué)習(xí)規(guī)那么測(cè)試實(shí)例學(xué)習(xí)規(guī)那么測(cè)試實(shí)例此問(wèn)題可以用以下圖闡明，圖中目的輸出為0的兩個(gè)輸入向量用空心圓圈表示，目的輸出為1的輸入向量用黑色圓圈表示。測(cè)試問(wèn)題的網(wǎng)絡(luò)測(cè)試問(wèn)題的網(wǎng)絡(luò)為了簡(jiǎn)化

6、其學(xué)習(xí)規(guī)那么的開(kāi)發(fā)，這里首先采用一種沒(méi)有偏置值的網(wǎng)絡(luò)。于是網(wǎng)絡(luò)只需調(diào)整兩個(gè)參數(shù)w1,1和w1,2 由于在網(wǎng)絡(luò)中去掉了偏置值，所以網(wǎng)絡(luò)的斷定邊境必定穿過(guò)坐標(biāo)軸的原點(diǎn)，如下圖。上圖給出了這些斷定邊境相應(yīng)的權(quán)值向量記住權(quán)值向量與斷定邊境垂直斷定邊境斷定邊境初始化初始化對(duì)應(yīng)的初始斷定邊境如圖2.學(xué)習(xí)規(guī)那么的構(gòu)造 在訓(xùn)練開(kāi)場(chǎng)時(shí)，為網(wǎng)絡(luò)的參數(shù)賦一些初始值。這里僅需對(duì)其兩個(gè)權(quán)值進(jìn)展初始化。這里將1w的兩個(gè)元素設(shè)置為如下兩個(gè)隨機(jī)生成的數(shù):構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么將p1送入網(wǎng)絡(luò)： 錯(cuò)誤分類 構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么 將p1加到1w上，假設(shè)t=1,且a=0,那么1wnew= 1wold+p將會(huì)得到新的1w

7、值，新的 1w的指向偏向p1 構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么錯(cuò)誤分類將p2送入網(wǎng)絡(luò)： 如今思索另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)展調(diào)整。不斷反復(fù)這一過(guò)程，直到一切輸入向量被正確分類。構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么將p2送入網(wǎng)絡(luò)： 如今思索另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)展調(diào)整。不斷反復(fù)這一過(guò)程，直到一切輸入向量被正確分類。 p2的目的值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類0的向量被錯(cuò)誤劃分為類1了。 既然如今的目的是將1W從輸入向量所指的方向移開(kāi)，因此可以將式中的加法變?yōu)闇p法 假設(shè)t=0且a=1,那么1wnew=1wold-p 構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么 假設(shè)在測(cè)試問(wèn)題中運(yùn)用該規(guī)那么，

8、可求出構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么將p3送入網(wǎng)絡(luò)： p2的目的值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類0的向量被錯(cuò)誤劃分為類1了。構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么已有規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么該感知機(jī)最終可以對(duì)上述三個(gè)輸入向量進(jìn)展正確的分類。構(gòu)造學(xué)習(xí)規(guī)那么構(gòu)造學(xué)習(xí)規(guī)那么三個(gè)方式如今都正確分類了 第三條規(guī)那么：假設(shè)感知機(jī)可以正確任務(wù)，那么不用改動(dòng)權(quán)值向量：下面是涵蓋了實(shí)踐輸出值和目的輸出值一切能夠組合的三條規(guī)那么：一致的學(xué)習(xí)規(guī)那么一致的學(xué)習(xí)規(guī)那么可以將上述三條規(guī)那么一致成一個(gè)表達(dá)式將上式中的p用偏置值的輸入1交換，得到感知機(jī)的偏置值學(xué)習(xí)規(guī)那么： 多神經(jīng)元感知機(jī)多神經(jīng)元感知機(jī)給出的感知機(jī)規(guī)那么，修正單神經(jīng)元感知機(jī)的權(quán)值向量。我們能把這個(gè)規(guī)那么按照如下方法推行到多神經(jīng)元感知機(jī)。權(quán)值矩陣的第i行用下式進(jìn)展修正：多神經(jīng)元感知機(jī)多神經(jīng)元感知機(jī)矩陣表示： 收斂性證明收斂性證明證明是建立在下面三條假設(shè)根底上的：(1)問(wèn)題的解存在； (2)僅在輸入被錯(cuò)分時(shí)才改動(dòng)權(quán)值；(3)輸入向