神經(jīng)網(wǎng)絡(luò)2005第8講

上次內(nèi)容：(1)什么是學(xué)習(xí)(2)單個(gè)神經(jīng)元的學(xué)習(xí)算法關(guān)于單層感知器學(xué)習(xí)的結(jié)論。定理：若訓(xùn)練樣本是線性可分的，則算法經(jīng)過(guò)有限步一定會(huì)收斂。*這個(gè)留著，現(xiàn)在不證明。下面是BP算法：先要有網(wǎng)絡(luò)結(jié)構(gòu)：(a) 講清楚網(wǎng)絡(luò)的連接權(quán)值是怎么標(biāo)記的(b) 門限值怎么標(biāo)記，(c) 給定樣本：(Xp, dp)，Xp=(xp1,xp2,xpn)T，dp=(dp1,dp2,dpm)T(d) 第t層第i個(gè)神經(jīng)元當(dāng)輸入為Xp時(shí)的輸出用表示，對(duì)應(yīng)的受到作用力總和：算法是怎樣來(lái)的：(1)構(gòu)造誤差函數(shù)：共N個(gè)樣本。E=分析：若E=0，則顯然w和q即為所求，若E0，則要修改w和q使E減小。怎樣修改？梯度下降法。(,)D=-hD=-h=最后一層的神經(jīng)元示意圖。=-=-=-=-=-=-=-=第t層神經(jīng)元示意圖。D=-hD和D的計(jì)算方法見(jiàn)課本p36。說(shuō)明：1. 沒(méi)法舉例子2. 算法程序容易實(shí)現(xiàn)，很多現(xiàn)成的程序，可以用VC或VB實(shí)現(xiàn)。3. 算法在神經(jīng)網(wǎng)絡(luò)規(guī)模較小時(shí)速度還行，規(guī)模大時(shí)速度太慢。4. 有很多改進(jìn)方法，但解決不了根本問(wèn)題。5. 說(shuō)算法壞是正常的，總是要改進(jìn)，算法的關(guān)鍵就是要求微分，6. 這個(gè)微分求了30年，實(shí)際上被人家求出來(lái)了，發(fā)現(xiàn)很簡(jiǎn)單。7. BP算法求解原理是什么？局部搜索算法，開(kāi)始選擇隨機(jī)初始點(diǎn)，計(jì)算到局部最優(yōu)解時(shí)若沒(méi)達(dá)到要求，則重新選擇開(kāi)始點(diǎn)。7改進(jìn)算法自己去看吧，什么原理呢，就是調(diào)整步長(zhǎng)，理局部最優(yōu)解遠(yuǎn)時(shí)步長(zhǎng)加長(zhǎng)，離局部最優(yōu)解近時(shí)步長(zhǎng)縮短。8有一次我真是認(rèn)真分析了一下時(shí)間復(fù)雜度，可以說(shuō)明是指數(shù)的?？臻g復(fù)雜度很小，所以算法很實(shí)用。3.3聯(lián)想存儲(chǔ)器學(xué)習(xí)算法英文：associate memory，簡(jiǎn)稱HAM1先說(shuō)問(wèn)題：給定樣本模式：X1=(x11,x12,x1n)T1,-1nX2=(x21,x22,x2n)T1,-1nXN=(xN1,xN2,xNn)T1,-1nN個(gè)n維二值向量，學(xué)習(xí)樣本。問(wèn)題：要構(gòu)造離散hopfield神經(jīng)網(wǎng)絡(luò)使給定樣本成為神經(jīng)網(wǎng)絡(luò)的吸引子。平衡態(tài)。*也可以說(shuō)這樣，輸入Xp時(shí)，網(wǎng)絡(luò)穩(wěn)定輸出Xp，p=1,2, N。*問(wèn)一個(gè)問(wèn)題：要想輸入Xp輸出Yp怎樣做，Xp是n維向量，Yp是m維向量?？梢圆捎萌缦陆Y(jié)構(gòu)：可以采用兩層學(xué)習(xí)：聯(lián)想學(xué)習(xí)，前饋學(xué)習(xí)。l 沒(méi)有十全十美的辦法。只能說(shuō)明越來(lái)越好。l hebb規(guī)則學(xué)習(xí)l 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)固定學(xué)習(xí)目的是計(jì)算wij和qi。規(guī)則：，1i,jnHebb規(guī)則解釋：當(dāng)兩者相同狀態(tài)時(shí)權(quán)值增加，表示同時(shí)興奮。用連接矩陣描述hopfield神經(jīng)網(wǎng)絡(luò)的權(quán)值計(jì)算方法：W=-NI。qi=0，i=1,2,n學(xué)習(xí)算法：訓(xùn)練樣本：X1,XNfor i=1 to nfor j=1 to n dowij=0;for p=1 to N dofor i=1 to nfor j=1 to n dowij=wij+xpixpj。問(wèn)題：是否所有樣本都會(huì)稱為網(wǎng)絡(luò)的吸引子。先舉一個(gè)例子：X1=(+1,+1,-1,-1)T，X2=(+1,-1,+1,-1)TW=X1X1T+X2X2T-2I=+-=(1)初態(tài)為：(1,1,-1,-1)T，下一個(gè)狀態(tài)仍然是(1,1,-1,-1)T。(2)初態(tài)為：(1,-1,1,-1)T，下一個(gè)狀態(tài)是：(1,-1,1,-1)T。并不是任意一個(gè)向量都能成為平衡態(tài)，按照這樣的規(guī)則。但是N能有多大呢？定理3.2設(shè)N個(gè)樣本模式滿足：(1)endH(Xi,Xj)(1-e)n, ij，0e1/2(2)N1+則，當(dāng)N足夠大時(shí)，X1,XN都會(huì)成為網(wǎng)絡(luò)的吸引子。證明：若Xk=f(WXk)，則Xk是網(wǎng)絡(luò)吸引子。WXk=(-NI)Xk=(n-N)Xk+ X1X1TXk+XNXNTXk限定后面一部分的絕對(duì)值，使其不超過(guò)前面就行。設(shè)Y=X1X1TXk+XNXNTXk=(y1,yn)，只需證明|yi|(n-N)，則Xk是神經(jīng)網(wǎng)絡(luò)平衡態(tài)。|yi|(1-2e)n(N-1)，解（1-2e）n(N-1)n-N并使n無(wú)窮大，就得到結(jié)論。N1+。注釋：當(dāng)神經(jīng)網(wǎng)絡(luò)選擇0,1狀態(tài)時(shí)怎么辦？神經(jīng)元作用函數(shù)，f(s)=此時(shí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法為：wij=3.3.2雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1問(wèn)題：識(shí)別張三，但是張三的照片缺損一點(diǎn)。可以用雙向聯(lián)想存儲(chǔ)器。給定向量組：(X1,Y1)，(X2,Y2)，(XN,YN)。Xp=(xp1,)T，Yp=(yp1,)T，當(dāng)初始狀態(tài)為(Xp,*)時(shí)，最終穩(wěn)定態(tài)為：(Xp, Yp)很多情況下只能記憶神經(jīng)網(wǎng)絡(luò)狀態(tài)的一半，另一半聯(lián)想出來(lái)。根據(jù)狀態(tài)的一部分可以聯(lián)想出全部狀態(tài)。1結(jié)構(gòu)神經(jīng)元是什么樣的。神經(jīng)元作用函數(shù)：f(s)=，兩邊的神經(jīng)元都是這樣。神經(jīng)網(wǎng)絡(luò)的工作是有節(jié)拍的。每個(gè)節(jié)拍神經(jīng)元同時(shí)改變狀態(tài)。工作狀態(tài)改變規(guī)則：*從本質(zhì)上理解，還是Hopfield神經(jīng)網(wǎng)絡(luò)，性質(zhì)不會(huì)大變。*關(guān)心的問(wèn)題，這個(gè)神經(jīng)網(wǎng)絡(luò)是否穩(wěn)定，從一個(gè)狀態(tài)開(kāi)始是否可以收斂到平衡態(tài)上去。干什么用。2學(xué)習(xí)算法給定學(xué)習(xí)樣本：(X1,Y1)，(X2,Y2)，(XN,YN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使每個(gè)樣本均為神經(jīng)網(wǎng)絡(luò)的平衡態(tài)。分析：樣本給定，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)定了。每層神經(jīng)元個(gè)數(shù)定了?，F(xiàn)在只要計(jì)算神經(jīng)網(wǎng)絡(luò)的連接權(quán)值就行了。Hebb規(guī)則學(xué)習(xí)：顯然：，仍然滿足作用力與反作用力相等。寫(xiě)成矩陣形式：，顯然：W1=(W2)T定理3.3：若BAM學(xué)習(xí)訓(xùn)練樣本滿足，X向量與Y向量各自相互正交，則所有訓(xùn)練樣本均為BAM的平衡態(tài)。證明：設(shè)(Xl, Yl)是一個(gè)訓(xùn)練樣本，t時(shí)刻的狀態(tài)為：(Xl, Yl)，yj(t+1)=f()=f()=f()=f(n1ylj)=ylj。同理可證：xi(t+1)=xli。舉個(gè)例子：三個(gè)樣本：(X1,Y1)，(X2,Y2)，(X3,Y3)X1=(1,-1,-1,1)T, X2=(-1,1,1,-1)T, X3=(1,-1,1,-1)T。Y1=(-1,1,1)T, Y2=(-1,-1,-1)T, Y3=(1,-1,1)T。根據(jù)hebb規(guī)則計(jì)算得：W1=(W2)T=3.3.3HAM與BAM網(wǎng)絡(luò)模式分類器一個(gè)聯(lián)想存儲(chǔ)器神經(jīng)網(wǎng)絡(luò)，一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，兩者合并起來(lái)，就是一個(gè)組合的分類器，有時(shí)需要輸入與輸出不同。3.4Hamming神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)算法3.4.3分類原理發(fā)生變化的概率為：規(guī)則分類誤差最小就是最佳，但是沒(méi)法說(shuō)哪種辦法是最好的。問(wèn)題：給定向量：X1,X2,XN，Xi1,-1n，選擇Xp通過(guò)信道，接受到X，接受到X時(shí)并不知道傳送的到底是哪一個(gè)向量，怎么判斷呢？按照如下規(guī)則：若，則認(rèn)為Xi就是信道輸入端輸入的向量。從某種意義上說(shuō)是最好的。計(jì)算概率：假設(shè)e=r，條件概率，PX|Xj=，n表示每個(gè)向量的維數(shù)。分析：可以認(rèn)為e0.5，所以1，所以dH(X,Xj)越小，PX|Xj越大，所以只需要通過(guò)海明距離衡量可能性。判斷準(zhǔn)則：哪一個(gè)向量與