神經(jīng)網(wǎng)絡(luò)——感知機(jī)

1、1感知機(jī)感知機(jī)人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型 大腦是由生物神經(jīng)元構(gòu)成大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧想記憶、綜合等能力，并有巧妙的信息處理方法。妙的信息處理方法。 3人工神經(jīng)網(wǎng)絡(luò)是模擬人腦思維方式人工神經(jīng)網(wǎng)絡(luò)是模擬人腦思維方式的數(shù)學(xué)模型，從微觀結(jié)構(gòu)和功能上對(duì)的數(shù)學(xué)模型，從微觀結(jié)構(gòu)和功能上對(duì)人腦進(jìn)行抽象和簡(jiǎn)化，模擬人類智能。人腦進(jìn)行抽象和簡(jiǎn)化，模擬人類智能。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)( (簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)) )也是由也

2、是由大量的、功能比較簡(jiǎn)單的形式神經(jīng)元大量的、功能比較簡(jiǎn)單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡(jiǎn)它可以模擬大腦的許多基本功能和簡(jiǎn)單的思維方式。單的思維方式。4 我們不可能對(duì)生物學(xué)上的我們不可能對(duì)生物學(xué)上的神經(jīng)網(wǎng)絡(luò)作完全的了解，只可神經(jīng)網(wǎng)絡(luò)作完全的了解，只可能在某種成度上描述我們所了能在某種成度上描述我們所了解的情況。同樣，人工神經(jīng)網(wǎng)解的情況。同樣，人工神經(jīng)網(wǎng)絡(luò)也只可能是在某種程度上對(duì)絡(luò)也只可能是在某種程度上對(duì)真實(shí)的神經(jīng)網(wǎng)絡(luò)的一種模擬和真實(shí)的神經(jīng)網(wǎng)絡(luò)的一種模擬和逼近。逼近。5神經(jīng)元模型神經(jīng)元模型a)a)生物神經(jīng)元模型生物神經(jīng)元模

3、型 神經(jīng)元神經(jīng)元neuron,neural cellneuron,neural cell也就是神經(jīng)細(xì)也就是神經(jīng)細(xì)胞。人腦就是由大量神經(jīng)元組合而成的。胞。人腦就是由大量神經(jīng)元組合而成的。 神經(jīng)元由神經(jīng)元由 細(xì)胞體、樹突和軸突組成。細(xì)胞體、樹突和軸突組成。 中心中心 接受器接受器 傳導(dǎo)信息傳導(dǎo)信息人工神經(jīng)元模型，如圖所示人工神經(jīng)元模型，如圖所示感知機(jī)是最早被設(shè)計(jì)并被實(shí)現(xiàn)的人工神網(wǎng)絡(luò)。感知機(jī)是最早被設(shè)計(jì)并被實(shí)現(xiàn)的人工神網(wǎng)絡(luò)。感知感知器是一種非常特殊的神經(jīng)網(wǎng)絡(luò)，它在人工神經(jīng)網(wǎng)絡(luò)器是一種非常特殊的神經(jīng)網(wǎng)絡(luò)，它在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史上有著非常重要的地位，盡管它的能力的發(fā)展歷史上有著非常重要的地位，盡管它

4、的能力非常有限，主要用于線性分類。非常有限，主要用于線性分類。yj1nx1xn 或或yj某個(gè)神經(jīng)元某個(gè)神經(jīng)元 j 的輸入的輸入輸出關(guān)系為輸出關(guān)系為其中，其中， 為閥值，為閥值， 為連接權(quán)，為連接權(quán)，f()為變換為變換函數(shù)，也稱活化函數(shù)函數(shù)，也稱活化函數(shù)(activation function)。syjjf1,00jijniijixxjniijijxs1jji9感知機(jī)的結(jié)構(gòu)感知機(jī)的結(jié)構(gòu)10 我們以單層感知器來說明：我們以單層感知器來說明：兩個(gè)輸入兩個(gè)輸入 x x1 1 和和 x x2 2 。一個(gè)閥值一個(gè)閥值 兩個(gè)待調(diào)整的權(quán)值兩個(gè)待調(diào)整的權(quán)值w1w1和和w2w2決策函數(shù)為決策函數(shù)為樣本集分別屬于樣

5、本集分別屬于2 2類。類。 xxxd2211yx112x2x xd 1xd 1xd111 特點(diǎn)：特點(diǎn)：）多輸入，單輸出）多輸入，單輸出）激活函數(shù)傳遞函數(shù)為二值，一般為階躍函）激活函數(shù)傳遞函數(shù)為二值，一般為階躍函數(shù)或符號(hào)函數(shù)數(shù)或符號(hào)函數(shù)）輸出為二值：或）輸出為二值：或） niiiniiixfxfy01 uf1 u0-1 u 0或或1 u0 u 0122 感知機(jī)的工作方式：感知機(jī)的工作方式：學(xué)習(xí)階段學(xué)習(xí)階段修改權(quán)值修改權(quán)值（根據(jù)（根據(jù)“已知的樣本已知的樣本”對(duì)權(quán)值不斷修改；對(duì)權(quán)值不斷修改；有導(dǎo)師學(xué)習(xí)）有導(dǎo)師學(xué)習(xí)）工作階段工作階段 計(jì)算單元變化，由響應(yīng)函計(jì)算單元變化，由響應(yīng)函數(shù)給出新輸入下的輸出。數(shù)

6、給出新輸入下的輸出。13樣本：樣本：pp1， p2 ppyy1， y2 yppyw學(xué)習(xí)機(jī)w學(xué)習(xí)算法學(xué)習(xí)的過程，主要是修正權(quán)值，閾值學(xué)習(xí)的過程，主要是修正權(quán)值，閾值感知機(jī)的學(xué)習(xí)階段：14n設(shè)有設(shè)有n個(gè)訓(xùn)練樣本個(gè)訓(xùn)練樣本n當(dāng)給定某個(gè)樣本當(dāng)給定某個(gè)樣本p的輸入的輸入/輸出輸出模式對(duì)時(shí)，感知機(jī)輸出單元會(huì)模式對(duì)時(shí)，感知機(jī)輸出單元會(huì)產(chǎn)生一個(gè)實(shí)際輸出向量，用期產(chǎn)生一個(gè)實(shí)際輸出向量，用期望輸出（樣本輸出）與實(shí)際輸望輸出（樣本輸出）與實(shí)際輸出之差來修正網(wǎng)絡(luò)連接權(quán)值。出之差來修正網(wǎng)絡(luò)連接權(quán)值。15n權(quán)值修改采用簡(jiǎn)單的誤差學(xué)習(xí)規(guī)則權(quán)值修改采用簡(jiǎn)單的誤差學(xué)習(xí)規(guī)則n基本思想：基本思想： 利用某個(gè)神經(jīng)單元的期望輸出與實(shí)際

7、輸利用某個(gè)神經(jīng)單元的期望輸出與實(shí)際輸出之間的差來調(diào)整該神經(jīng)單元與上一層出之間的差來調(diào)整該神經(jīng)單元與上一層中相應(yīng)神經(jīng)單元的的連接權(quán)值，最終減中相應(yīng)神經(jīng)單元的的連接權(quán)值，最終減小這種偏差。小這種偏差。 即：神經(jīng)單元之間連接權(quán)的變化正比于即：神經(jīng)單元之間連接權(quán)的變化正比于輸出單元期望輸出與實(shí)際的輸出之差輸出單元期望輸出與實(shí)際的輸出之差16對(duì)于所有的i和j，il，2，s；j1，2，r，感知器修正權(quán)值公式為： 上述用來修正感知器權(quán)值的學(xué)習(xí)算法在上述用來修正感知器權(quán)值的學(xué)習(xí)算法在matlab神神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為1earnp.m的函數(shù)。只要

8、直接調(diào)用此函數(shù)，即可立即獲的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸入變量為：輸入、得權(quán)值的修正量。此函數(shù)所需要的輸入變量為：輸入、輸出矢量和目標(biāo)矢量：輸出矢量和目標(biāo)矢量：p、a和和t。調(diào)用命令為：調(diào)用命令為：dw，dblearnp(p，a，t)； (4-5)17輸入矢量輸入矢量p，輸出矢量，輸出矢量y，目標(biāo)矢量為，目標(biāo)矢量為t的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為：的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為：n如果第如果第i個(gè)神經(jīng)元的輸出是正確的，個(gè)神經(jīng)元的輸出是正確的，即有：即有：yiti，那么與第，那么與第i個(gè)神經(jīng)元個(gè)神經(jīng)元聯(lián)接的權(quán)值聯(lián)接的權(quán)值wij和偏差值和偏差值bi保持不變；保持不變

9、；18n如果第如果第i個(gè)神經(jīng)元的輸出是個(gè)神經(jīng)元的輸出是0，但，但期望輸出為期望輸出為1，即有，即有yi0，而，而ti1，此時(shí)權(quán)值修正算法為：新，此時(shí)權(quán)值修正算法為：新的權(quán)值的權(quán)值wij為舊的權(quán)值為舊的權(quán)值wij加上輸加上輸入矢量入矢量pj；類似的，新的偏差；類似的，新的偏差bi為舊偏差為舊偏差bi加上它的輸入加上它的輸入1； 19n如果第如果第i個(gè)神經(jīng)元的輸出為個(gè)神經(jīng)元的輸出為1，但期，但期望輸出為望輸出為0，即有，即有yi1，而，而ti0，此時(shí)權(quán)值修正算法為：新的權(quán)值此時(shí)權(quán)值修正算法為：新的權(quán)值wij等于舊的權(quán)值等于舊的權(quán)值wij減去輸入矢量減去輸入矢量pj；類似的，新的偏差類似的，新的偏差

10、bi為舊偏差為舊偏差bi減減去去1。 20n感知器學(xué)習(xí)規(guī)則的實(shí)質(zhì)為：感知器學(xué)習(xí)規(guī)則的實(shí)質(zhì)為：權(quán)值的變化量等于正負(fù)輸入權(quán)值的變化量等于正負(fù)輸入矢量。矢量。21舉例：用感知器實(shí)現(xiàn)舉例：用感知器實(shí)現(xiàn)“與與”的功能的功能1）設(shè)）設(shè)w1=0;w2=0; =0;2 ) 輸入輸入x=x1,x2 輸出輸出y樣本：樣本：x1=0 0 1 1 x2=0 1 0 1 y=0 0 0 1 要求：確定此感知器中的要求：確定此感知器中的3個(gè)參數(shù)個(gè)參數(shù)“w1,w2,”。 22 21xxu,114,013,102,001 uuuu即即， 時(shí)時(shí)y1=0, y2=0, y3=0, y4=1;23計(jì)算感知機(jī)在計(jì)算感知機(jī)在ui作用下

11、的輸出作用下的輸出yi由模型可描述為：由模型可描述為： njjjixs1j=1,2 n=2 i=1,2,3,4, 用矩陣表示為用矩陣表示為s1=(w1,w2)u1=（0，0） 0000；s3=(w1,w2)u3=（0，0） 0100；s2=(w1,w2)u2=（0，0） 1000；s4=(w1,w2)u4=（0，0） 1100；24由響應(yīng)函數(shù)由響應(yīng)函數(shù) 0,00,1)(sssfypy=1 1 1 1, 即即y1=y2=y3=y4=1;25n調(diào)整權(quán)值和閾值調(diào)整權(quán)值和閾值n由由ei(t)=|di-yi(t)|ne(t)=(1,1,1,0)n求求e(t)=3 ,設(shè)設(shè)0.5nw1(t+1)=w1(t)

12、+(|di-yi(t)|x1)n=0+0.5(1,1,1,0)(0,0,1,1)=0.5;nw2(t+1)=w2(t)+(|di-yi(t)|x2)n=0+0.5(1,1,1,0)(0,1,0,1)=0.5;n(t+1)= (t)+( e(t)2=0+9=9;n由此由此w1=0.5,w2=0.5, =9;n返回重新計(jì)算，直到返回重新計(jì)算，直到e滿足要求。滿足要求。 26nerr_goal=0.001;lr=0.9;nmax_expoch=10000;nx=0 0 1 1;0 1 0 1;t=0 0 0 1;nm,n=size(x);l,n=size(t);nwij=rand(l,m);y=0;

13、b=rand(l);nfor epoch=1:max_expochn neti=wij*x;n for j=1:nn for i=1:ln if(neti(i,j)=b(i)n y(i,j)=1;n else n y(i,j)=0;n endn endn endn ne=(t-y);ee=0;nfor j=1:nn ee=ee+abs(e(j);nendn if(eeerr_goal) n breakn endn wij=wij+lr*e*x; %調(diào)整權(quán)值調(diào)整權(quán)值n b=b+sqrt(ee); %調(diào)整閾值調(diào)整閾值nendn epoch,wij,bn 27算法步驟：算法步驟：）設(shè)輸入變量為）設(shè)輸

14、入變量為x1,x2,xm；(j=1 ,2,m)，設(shè)置，設(shè)置權(quán)系數(shù)初值權(quán)系數(shù)初值wj(wj一般取一般取-1,1之間的隨機(jī)小數(shù)之間的隨機(jī)小數(shù))；）確定學(xué)習(xí)樣本，即給定輸入輸出樣本對(duì)，）確定學(xué)習(xí)樣本，即給定輸入輸出樣本對(duì)，輸入：輸入：u=u1，u2un， ,(i=1,2,n) 輸出：輸出：d=d1，d2dn, (i=1,2,n) xmiixixui2128）分別計(jì)算感知機(jī)在）分別計(jì)算感知機(jī)在ui作用下的輸出作用下的輸出yi；t指第指第t次計(jì)算并調(diào)整權(quán)值。次計(jì)算并調(diào)整權(quán)值。 niiiniiiiutfutfty01)()()( iiniiuus,1,00設(shè)設(shè) 0,00,1)(sssfyp29n）調(diào)整權(quán)值

15、和閾值）調(diào)整權(quán)值和閾值n（1）求）求ei(t)=di-yi(t)n（2）求）求e(t)若若e(t) 0，調(diào)整權(quán)值，調(diào)整權(quán)值;nwj(t+1)=wj(t)+(di-yi(t)xji)，寫出矩，寫出矩陣為陣為w(t+1)=w(t)+ (di-yi(t)ui);n(t+1)= (t)+( e(t)2 返回返回3n若若e(t)滿足要求則結(jié)束。滿足要求則結(jié)束。n ：訓(xùn)練步長(zhǎng)，一般：訓(xùn)練步長(zhǎng)，一般0030*0.7+90*0.3-60=-12060*0.7+59*0.3-60=-0.30y1001in1jjijixnetnet32n%沿用例沿用例“求與求與”第二階段工作期，驗(yàn)證網(wǎng)第二階段工作期，驗(yàn)證網(wǎng)絡(luò)絡(luò)

16、n x1=x;n neti=wij*x1;m,n=size(x1);n for j=1:nn for i=1:ln if(neti(i,j)=b(i)n y(i,j)=1;n else n y(i,j)=0;n endn endn endn y33n初始化：初始化：initp n訓(xùn)練：訓(xùn)練：trainp n仿真：仿真： simup初始化：初始化：initp 可自動(dòng)產(chǎn)生可自動(dòng)產(chǎn)生-1,1區(qū)間中的隨機(jī)初始權(quán)值和閾值區(qū)間中的隨機(jī)初始權(quán)值和閾值, 例例:n w,b=initp(2,8) 或或 w,b=initp(p,t)34n訓(xùn)練：訓(xùn)練：ntrainp 感知器網(wǎng)絡(luò)學(xué)習(xí)和仿真的感知器網(wǎng)絡(luò)學(xué)習(xí)和仿真的過程

17、過程ntp=disp_freq max_epoch;n(顯示頻率和訓(xùn)練的最大步數(shù)顯示頻率和訓(xùn)練的最大步數(shù))nw,b,te=trainpw,b,p,t,tp;ntrain函數(shù)完成每一步訓(xùn)練后函數(shù)完成每一步訓(xùn)練后,返回返回新的網(wǎng)絡(luò)權(quán)值和閾值新的網(wǎng)絡(luò)權(quán)值和閾值,并顯示已完并顯示已完成的訓(xùn)練步數(shù)成的訓(xùn)練步數(shù)ep及誤差及誤差te35n仿真：仿真： simupn注意注意:使用使用trainp函數(shù)并不能保證感函數(shù)并不能保證感知器網(wǎng)絡(luò)在取訓(xùn)練所得到的權(quán)值和知器網(wǎng)絡(luò)在取訓(xùn)練所得到的權(quán)值和閾值時(shí)就可以順利達(dá)到要求閾值時(shí)就可以順利達(dá)到要求,因此因此,訓(xùn)訓(xùn)練完成后，最好要驗(yàn)證一下練完成后，最好要驗(yàn)證一下:n a=si

18、mupp,w,b;n if all(a=t);n disp(itworks!);n end36n%直接利用直接利用mat 工具箱（工具箱（initp trainp simup）nclear allnnntwarn offnp=0 0 1 1 ;n 0 1 0 1nt=0 0 0 1nw1,b1=initp(p,t) %初始化初始化nw1,b1,epoches,errors=trainp(w1,b1,p,t,-1)；%訓(xùn)練訓(xùn)練n%計(jì)算完畢計(jì)算完畢nfigure(2);nploterr(errors)na1=simup(p,w1,b1);%仿真仿真na1nif all(a=t),disp(it w

19、orks!)；ne=t-a1;nk=1:1:4;nfigure(3);nplot(k,e) 37感知器的圖形解釋感知器的圖形解釋 由感知器的網(wǎng)絡(luò)結(jié)構(gòu)，我們可以看出感由感知器的網(wǎng)絡(luò)結(jié)構(gòu)，我們可以看出感知器的基本功能是將輸入矢量轉(zhuǎn)化成知器的基本功能是將輸入矢量轉(zhuǎn)化成0或或1的輸出。這一功能可以通過在輸人矢量空的輸出。這一功能可以通過在輸人矢量空間里的作圖來加以解釋。間里的作圖來加以解釋。 感知器權(quán)值參數(shù)的設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法感知器權(quán)值參數(shù)的設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法則設(shè)計(jì)一條則設(shè)計(jì)一條w*p+b0的軌跡，使其對(duì)輸入矢量的軌跡，使其對(duì)輸入矢量能夠達(dá)到期望位置的劃分。能夠達(dá)到期望位置的劃分。 38

20、以輸入矢量以輸入矢量r2為例，對(duì)于選定的為例，對(duì)于選定的權(quán)值權(quán)值w1、w2和和b，可以在以可以在以p1和和p2分別分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出w*p+bw1 p1十十w2 p2十十b0的軌跡，的軌跡，它是一條直線，此直線上的及其線以上它是一條直線，此直線上的及其線以上部分的所有部分的所有p1、p2值均使值均使w1 p1十十w2 p2十十b0，這些點(diǎn)若通過由這些點(diǎn)若通過由w1、w2和和b構(gòu)構(gòu)成的感知器則使其輸出為成的感知器則使其輸出為1；該直線以；該直線以下部分的點(diǎn)則使感知器的輸出為下部分的點(diǎn)則使感知器的輸出為0。 39 所以當(dāng)采用感知器對(duì)不同的輸入矢所以當(dāng)采

21、用感知器對(duì)不同的輸入矢量進(jìn)行期望輸出為量進(jìn)行期望輸出為0或或1的分類時(shí)，其的分類時(shí)，其問題可轉(zhuǎn)化為：對(duì)于已知輸入矢量在輸問題可轉(zhuǎn)化為：對(duì)于已知輸入矢量在輸入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知器的權(quán)值器的權(quán)值w和和b，將由，將由w*p+b0的直的直線放置在適當(dāng)?shù)奈恢蒙鲜馆斎胧噶堪雌诰€放置在適當(dāng)?shù)奈恢蒙鲜馆斎胧噶堪雌谕敵鲋颠M(jìn)行上下分類。望輸出值進(jìn)行上下分類。 40輸入矢量平面圖輸入矢量平面圖w的解并不唯一，能把兩類分開即可的解并不唯一，能把兩類分開即可由于網(wǎng)絡(luò)是以由于網(wǎng)絡(luò)是以w1x1+w2x2+=0為分界線的，為分界線的，這可以看成一直線或一超平面。這可以看成一直

22、線或一超平面。所以，感知機(jī)具有線性分類能力，可用于兩類模所以，感知機(jī)具有線性分類能力，可用于兩類模式分類，得到的式分類，得到的w1，w2，不唯一，但只限于線不唯一，但只限于線性分類。性分類。舉例：用感知機(jī)實(shí)現(xiàn)舉例：用感知機(jī)實(shí)現(xiàn)“與與”的功能的功能感知機(jī)只能對(duì)線性可分離的模式進(jìn)行正確感知機(jī)只能對(duì)線性可分離的模式進(jìn)行正確的分類。當(dāng)輸入模式是線性不可分時(shí)，則的分類。當(dāng)輸入模式是線性不可分時(shí)，則無論怎樣調(diào)節(jié)突觸的結(jié)合強(qiáng)度和閾值的大無論怎樣調(diào)節(jié)突觸的結(jié)合強(qiáng)度和閾值的大小也不可能對(duì)輸入進(jìn)行正確的分類。小也不可能對(duì)輸入進(jìn)行正確的分類。 局限：局限：所以在所以在1969年，年，minsky和和papert發(fā)表發(fā)表了名為了名為perceptron的專著的專著, 書中指出書中指出,這這樣的簡(jiǎn)單的線性感知器的功能非常有限，樣的簡(jiǎn)單的線性感知器的功能非常有限，使得隨后的研究處于低潮。使得隨后的研究處于低潮?！盎蚧颉边\(yùn)運(yùn)算算“異或異或”運(yùn)運(yùn)算算可實(shí)現(xiàn)分類可實(shí)現(xiàn)分類無法用一條直線劃無法用一條直線劃分，對(duì)于異或，不分，對(duì)于異或，不能實(shí)現(xiàn)正確分類能實(shí)現(xiàn)正確分類16個(gè)布爾代數(shù)表個(gè)布爾代數(shù)表x1x2y0y1y2y3y4y5y6y