我的人工神經(jīng)網(wǎng)絡(luò)多級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

我的人工神經(jīng)網(wǎng)絡(luò)多級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第1頁/共30頁上次課內(nèi)容回顧激活函數(shù)與M-P模型

線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)

S形函數(shù)

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w1第2頁/共30頁第3章多層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第3頁/共30頁主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦詥渭壘W(wǎng)簡單單級網(wǎng)單級橫向反饋網(wǎng)多級網(wǎng)第4頁/共30頁介紹求異或（XOR）操作是計(jì)算機(jī)中常用到的一種計(jì)算：

0XOR0=0

0XOR1=1

1XOR0=1

1XOR1=0

可以發(fā)現(xiàn)用原來的方法學(xué)習(xí)后的結(jié)果不能讓我們滿意，原因是單層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力有限，需要使用更加復(fù)雜的網(wǎng)絡(luò)來學(xué)習(xí)。

第5頁/共30頁該多層神經(jīng)網(wǎng)絡(luò)在單層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了一層“隱藏層”（Hidden）第6頁/共30頁人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?/p>

連接的拓?fù)浔硎?/p>

ANi wij ANj

第7頁/共30頁聯(lián)接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：

第8頁/共30頁聯(lián)接模式

1、層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭2、

循環(huán)聯(lián)接反饋信號。

第9頁/共30頁聯(lián)接模式3、層（級）間聯(lián)接

層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層間的信號傳遞前饋信號反饋信號

第10頁/共30頁網(wǎng)絡(luò)的分層結(jié)構(gòu)

單級網(wǎng)

簡單單級網(wǎng)

單級橫向反饋網(wǎng)第11頁/共30頁簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 第12頁/共30頁簡單單級網(wǎng)W=（wij）輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）第13頁/共30頁單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V第14頁/共30頁單級橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)——神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時(shí)加X的情況。

穩(wěn)定性判定第15頁/共30頁多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………第16頁/共30頁層次劃分

信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………第17頁/共30頁第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………第18頁/共30頁約定

:輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)第19頁/共30頁多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)第20頁/共30頁多級網(wǎng)非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))第21頁/共30頁循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………第22頁/共30頁網(wǎng)絡(luò)結(jié)構(gòu)與電子線路對應(yīng)：

放大器——神經(jīng)元電阻、電容—

—神經(jīng)元的時(shí)間常數(shù)電導(dǎo)——權(quán)系數(shù)第23頁/共30頁循環(huán)網(wǎng)

如果將輸出信號反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號被逐步地“加強(qiáng)”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。

第24頁/共30頁初始例子的實(shí)現(xiàn)基本的原理就是用實(shí)際網(wǎng)絡(luò)計(jì)算出來的值和期望的值進(jìn)行比較，然后來調(diào)整自己的權(quán)值。

第25頁/共30頁

///

<summary>

///

根據(jù)期望的輸出和實(shí)際的輸出來調(diào)整權(quán)值

///

</summary>

///

<paramname="targOut">期望的輸出</param>

private

voidtrain_network(double[]outputs)

{

//getmomentumvalues(deltavaluesfromlastpass)

double[]delta_hidden=new

double[_nn.NumberOfHidden+1];

double[]delta_outputs=new

double[_nn.NumberOfOutputs];

第26頁/共30頁

//Getthedeltavaluefortheoutputlayer

for(inti=0;i<_nn.NumberOfOutputs;i++)

{

delta_outputs[i]=

_nn.Outputs[i]*(1.0-_nn.Outputs[i])*(outputs[i]-_nn.Outputs[i]);

}

第27頁/共30頁

//Getthedeltavalueforthehiddenlayer

for(inti=0;i<_nn.NumberOfHidden+1;i++)

{

doubleerror=0.0;

for(intj=0;j<_nn.NumberOfOutputs;j++)

{

error+=_nn.HiddenToOutputWeights[i,j]*delta_outputs[j];

}

delta_hidden[i]=_nn.Hidden[i]*(1.0-_nn.Hidden[i])*error;

}第28頁/共30頁

//Nowupdatetheweightsbetweenhidden&outputlayer

for(inti=0;i<_nn.NumberOfOutputs;i++)

{

for(intj=0;j<_nn.NumberOfHidden+1;j++)

{

//usemomentum(deltavaluesfromlastpass),