《神經(jīng)網(wǎng)絡(luò)基礎(chǔ)》

2.2連接主義方法

ParallelDistributedProcessing(PDP)主張智能出現(xiàn)于簡單的通過相互連接作用的單元構(gòu)成的系統(tǒng)中，且系統(tǒng)通過學(xué)習(xí)可以調(diào)整神經(jīng)元之間的連接表達(dá)輸入?yún)?shù)的建立輸出結(jié)果的解釋實(shí)現(xiàn)訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)的過程輸入輸出單元連接編輯ppt

適用的任務(wù)

分類：判定輸入數(shù)值屬于哪一類

模式識別：辨識數(shù)據(jù)中的結(jié)構(gòu)或模式

聯(lián)想記憶：基于內(nèi)容的記憶喚醒

預(yù)測：根據(jù)輸入值，通過推理給出結(jié)果

優(yōu)化：約束下的“最佳”狀態(tài)編輯pptJohnVonNeuman(1903－1957)美籍匈牙利人數(shù)學(xué)家，對人工智能的貢獻(xiàn)：細(xì)胞自動機(jī)celluarautomata

神經(jīng)計(jì)算neurallyinspiredapproachestocomputationDonaldOldingHebb1904－1985,加拿大心理學(xué)家，對人工智能的貢獻(xiàn)：細(xì)胞集合Cellassembly赫布律HebbianRule

編輯ppt1）神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks,ANN,NN脊椎動物神經(jīng)元結(jié)構(gòu)樹突樹突突觸突觸胞體胞體軸突編輯ppt神經(jīng)細(xì)胞工作狀態(tài)毫秒編輯ppt

人工神經(jīng)元模型基本神經(jīng)元模型k1k2kp∑(.)x1x2xpuk輸出ykk激活函數(shù)輸入基本神經(jīng)元模型編輯ppt組成三要素：連接、求和、激活函數(shù)數(shù)學(xué)表達(dá)式：激活函數(shù)的類型：閾值函數(shù)：分段線性函數(shù)：編輯ppt激活函數(shù)Sigmoid函數(shù)：連續(xù)可導(dǎo)編輯ppt

有向圖表示神經(jīng)網(wǎng)絡(luò)x0=-1x1x2xpykw1w2wnw0輸入權(quán)重激活函數(shù)

有向圖表示神經(jīng)元

相關(guān)概念網(wǎng)絡(luò)拓?fù)洌邯?dú)立神經(jīng)元之間的連接模式學(xué)習(xí)算法：網(wǎng)絡(luò)訓(xùn)練方法編碼系統(tǒng)：輸入數(shù)據(jù)和輸出結(jié)果的解釋編輯pptMP模型（McCulloch-PittsNeuron）yAND真值表x1x2y-1-1-11-1-1-11-1111yAND=x1x2w0

=-

2x1x2w1

=

1w2

=1x0

=1編輯pptyOR

真值表x1x2y-1-1-11-11-111111yOR=x1x2w0

=-

1x1x2w1

=

1w2

=1x0

=1編輯ppt

2）網(wǎng)絡(luò)結(jié)構(gòu)

前饋網(wǎng)絡(luò)：各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋輸入節(jié)點(diǎn)輸入層隱層輸出層

前饋網(wǎng)絡(luò)輸出節(jié)點(diǎn)

計(jì)算單元

輸入單元編輯ppt

反饋網(wǎng)絡(luò)：所有節(jié)點(diǎn)都是計(jì)算單元，同時可接受輸入，并向外界輸出輸入節(jié)點(diǎn)輸出節(jié)點(diǎn)反饋網(wǎng)絡(luò)編輯ppt3）ANN學(xué)習(xí)學(xué)習(xí)方式

有監(jiān)督學(xué)習(xí)

環(huán)境教師學(xué)習(xí)系統(tǒng)誤差信號∑-+環(huán)境狀態(tài)信號期望響應(yīng)實(shí)際響應(yīng)訓(xùn)練樣本集:一組給定的已知輸入-輸出的數(shù)據(jù)集合編輯ppt無監(jiān)督學(xué)習(xí)（自組織學(xué)習(xí)）再勵學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）環(huán)境學(xué)習(xí)系統(tǒng)環(huán)境狀態(tài)環(huán)境學(xué)習(xí)系統(tǒng)評價輸出作用狀態(tài)輸入編輯ppt2）學(xué)習(xí)算法

感知器學(xué)習(xí)

學(xué)習(xí)規(guī)則：w0

=-

1x1x2w1

=

1w2

=1x0

=1ye=0，wi=0e＞0，wi＞

0e＜0，wi＜

0學(xué)習(xí)過程：通過權(quán)重調(diào)節(jié)，使得網(wǎng)絡(luò)輸出平均誤差最小化e=d-ye=d-ye=d-y編輯ppt

感知器學(xué)習(xí)算法步驟設(shè)：p+1維輸入向量

p+1維權(quán)向量實(shí)際輸出：y(n)

期望輸出：d(n)

學(xué)習(xí)步長：η<1

①初始化：置w(0)為小的隨機(jī)數(shù)

②

輸入x(n)，計(jì)算感知器的實(shí)際輸出編輯ppt

③

按下式調(diào)節(jié)權(quán)系數(shù)：

④

令n=n+1，返回第2步已證明感知器學(xué)習(xí)算法對于線性可分模式，在有限步內(nèi)收斂，所得權(quán)系數(shù)能對所有樣本正確分類例如圖所示的單層感知器學(xué)習(xí)已知：樣本單變量樣本4個，采用線性閾值單元：第一類：d=1，x1=1，x3=3

第二類：d=-1，x2=-0.5，x4=-2X1（n）x0=110Od0d=1d=-1編輯ppt求：經(jīng)過學(xué)習(xí)后，4個樣本分類器的權(quán)系數(shù)值解：考慮閾值輸入變量：

利用感知器學(xué)習(xí)算法，選=1/2，得：

選初值

輸入x(1):ú?ùê?é=111x)(編輯ppt輸入x(2):編輯ppt輸入x(3):輸入x(4):訓(xùn)練結(jié)果：0d=1d=-1編輯ppt

廣義誤差學(xué)習(xí)規(guī)則GeneralizedDeltaRule：

sigmoid函數(shù)代替符號函數(shù)sgnsigmoid函數(shù)：wiEwiwi

梯度下降學(xué)習(xí)要求函數(shù)連續(xù)可導(dǎo)編輯ppt編輯ppt

反向傳播學(xué)習(xí)算法（BP）原理工作狀態(tài)：工作信號、誤差信號

反向傳播網(wǎng)絡(luò)工作信號流編輯ppt

多層網(wǎng)絡(luò)誤差糾正：令神經(jīng)元k的輸入輸出在n時刻的誤差為尋找基于誤差最小的目標(biāo)函數(shù)優(yōu)化問題常用目標(biāo)函數(shù)：均方誤差判據(jù)學(xué)習(xí)過程寬平穩(wěn)瞬時誤差：

編輯pptj單元誤差信號：設(shè)j單元平方誤差：y0=-1yk(n)ik(n)i(n)(·)yi(n)ji(n)j(n)(·)yj(n)-1dj(n)ej(n)反向傳播網(wǎng)絡(luò)單元j與下層單元i之間的信號流圖編輯ppt輸出端總平方誤差：c包括所有輸出單元設(shè)訓(xùn)練集樣本總數(shù)為N，平方誤差均值：目標(biāo)函數(shù)EAVBP算法推導(dǎo)：對于節(jié)點(diǎn)j編輯ppt連接權(quán)重變化引起的均方誤差變化率，即：權(quán)值修正量：

局部梯度編輯ppt①j為輸出單元:②

i為隱元:

j為輸出單元：yj(n)dj(n)ej(n)yi(n)yk(n)編輯ppt兩種網(wǎng)絡(luò)訓(xùn)練方式①每個樣本修改一次權(quán)值②所有樣本依次輸入后，計(jì)算平均誤差,根據(jù)平均誤差修改權(quán)值yj(n)dj(n)ej(n)yi(n)yk(n)j(n)ik(n)編輯ppt訓(xùn)練周期：全部樣本輸入一次稱為一個訓(xùn)練周期終止條件：網(wǎng)絡(luò)以周期為單位進(jìn)行訓(xùn)練，直到誤差函數(shù)達(dá)到最小或小于一個給定值步驟：①初始化，選定結(jié)構(gòu)合理的網(wǎng)絡(luò)，置所有可調(diào)參數(shù)（權(quán)、閾值）為均勻分布的較小數(shù)值②對每個輸入樣本作如下計(jì)算：前向計(jì)算

設(shè)：l

層的j單元

激活函數(shù)選sigmoid函數(shù)編輯ppt編輯ppt如果j在l=0層：如果j在l=L層：②反向計(jì)算

輸出單元：隱元：③修正權(quán)值

n=n+1，輸入新的樣本（或新一周期樣本）直至EAV達(dá)到預(yù)定要求

訓(xùn)練時各周期樣本要隨機(jī)重新排序編輯pptXOR的一個簡單網(wǎng)絡(luò)解x1x2y3yx1x3-x2x1x2x3y000000101011110x0303132414342y040編輯ppt1400訓(xùn)練周期，結(jié)果：30=2.640=7.043=-11.031=-7.041=-5.032=-7.042=-4.0

x1x2x3y00f3(0-7.0+0-7.0+12.6)

f4(0-5.0+0-4.0+1-11.0+17.0)=00f3(1-7.0+0-7.0+12.6)f4(1-5.0+0-4.0+1-11.0+17.0)=101f3(0-7.0+1-7.0+12.6)f4(0-5.0+1-4.0+1-11.0+17.0)=

111f3(1-7.0+1-7.0+12.6)f4(1-5.0+1-4.0+0-11.0+17.0)=

0編輯ppt競爭學(xué)習(xí)贏者通吃Winner-Take-All

無監(jiān)督學(xué)習(xí)贏者：最大激活測試x1x1xjxmABNwinner編輯ppt贏者通吃學(xué)習(xí)規(guī)則KohonenLearningRulex11.09.42.58.00.57.97.02.81.27.8x11.06.42.17.72.28.47.00.83.06.1O1-11-11-1-111-1K網(wǎng)學(xué)習(xí)KohonennetLearning

已知：數(shù)據(jù)表

求：K網(wǎng)無監(jiān)督分類編輯ppt11122122x1x2o1o2初始化：A：W=[11,12]=[7,2]

B：W=[21,22]=[2,9]K網(wǎng)：自組織網(wǎng)絡(luò)無監(jiān)督學(xué)習(xí)

AB編輯ppt||X(n)-W(n)||

W(n+1)=W(n)+(X(n)-W(n))

競爭學(xué)習(xí)規(guī)則

①與X接近的節(jié)點(diǎn)，W調(diào)整，使得更接近X

②其他節(jié)點(diǎn)，W不變

||(x1,x2)-(11,12)||||(1,1)-(7,2)||=(1-7)2+(1-2)2=37||(1,1)-(2,9)||=(1-2)2+(1-9)2=65Winner→AW(2)=W(1)+(X(1)-W(1))編輯pptW(2)=W(1)+(X(1)-W(1))=(7,2)+0.5((1-7),(1-2))=(7,2)+(-3,-5)=(4,1.5)||(9.4,6.4)-(4,1.5)||=53.17||(9.4,6.4)-(2,9)||=60.15Winner→AW(3)=(4,1.5)+0.5((9.4-4),(6.4-1.5))=(6.7,4)||(2.5,2.1)-(6.7,4)||=21.25||(2.5,2.1)-(2,9)||=47.86Winner→AW(4)=(6.7,4)+0.5((2.5-6.7),(2.1-4))=(4.6,3.1)編輯pptOutstarNetworkOutstar學(xué)習(xí)：YXW-T-ALayerOLayerJI111000000000編輯ppt①

訓(xùn)練K網(wǎng)，找到Winnner，所有的Winner連接置1,其他神經(jīng)元連接置0②如果所有輸入為同一類，根據(jù)輸出期望直接連接Winner與相應(yīng)輸出節(jié)點(diǎn)的連接值③如果輸入類不同，利用監(jiān)督矢量Y進(jìn)行輸出層學(xué)習(xí)，調(diào)整outstar層連接權(quán)重,規(guī)則如下：

W(n+1)=W(n)+(Y-W(n))例：已知：數(shù)據(jù)如表，表中+1→安全；-1→危險

x1---推進(jìn)系統(tǒng)的引擎速度，數(shù)據(jù)范圍[0,10]x2---推進(jìn)系統(tǒng)的引擎溫度，數(shù)據(jù)范圍[0,10]

數(shù)據(jù)超范圍時，報警編輯ppt[x1,x2,s,d]WinnerA:[x1,x2,1,0]WinnerB:[x1,x2,0,1]X1X2safedangerousSDABSADASBSB編輯ppt初始化:WA=[SA,DA]=[0,0]

WA(n+1)=WA(n)+(Y-WA(n))Y=[1,0],=0.2

WA(1)=[0,0]+0.2([1,0]-[0,0])=[0.2,0]

WA(2)=[0.2,0]+0.2([1,0]-[0.2,0])=[0.36,0]

WA(3)=[0.36,0]+0.2([1,0]-[0.36,0])=[0.49,0]WA(4)=[0.49,0]+0.2([1,0]-[0.49,0])=[0.59,0]

WA(5)=[0.59,0]+0.2([1,0]-[0.59,0])=[0.67,0]

WA(n)→[1,0]編輯ppt另一類競爭學(xué)習(xí)支持向量機(jī)SVMSupportVectorMachine支持向量：所學(xué)概念樣本最大可分的最小數(shù)據(jù)集合線性分類器假設(shè)前提:數(shù)據(jù)獨(dú)立同分布編輯ppt赫布機(jī)遇學(xué)習(xí)HebbianCoincidenceLearning赫布學(xué)習(xí)理論神經(jīng)生理學(xué)的觀察關(guān)鍵詞：細(xì)胞集合Cellassembly

由成百個突觸大規(guī)模連接的神經(jīng)元細(xì)胞組

細(xì)胞集合的產(chǎn)生：簡單而關(guān)鍵的特征重復(fù)輸入傳感器產(chǎn)生細(xì)胞集合，同時，細(xì)胞集合促進(jìn)周圍細(xì)胞集合響應(yīng)而形成另外的細(xì)胞集合細(xì)胞集合激活：關(guān)鍵特征再次輸入傳感器，這組細(xì)胞集合都有可能被激活，繼而，響應(yīng)它們而形成的細(xì)胞集合也會激活

編輯ppt細(xì)胞集合之間的聯(lián)系：有正有負(fù)，并可以被改變，一個細(xì)胞集合的激活將會提高與它有正相關(guān)的細(xì)胞集合的活動，而減弱那些與它們有負(fù)相關(guān)的細(xì)胞集合的活動細(xì)胞集合反映形式：任何時刻，被激活的細(xì)胞集合決定了傳感器輸入信息的反應(yīng)

細(xì)胞集合的反映時間：細(xì)胞組合容易受到“需要滿足”的影響（例如對饑餓、口渴的滿足等等）而增強(qiáng)它們之間的聯(lián)系細(xì)胞集合激活順序：當(dāng)前激活的細(xì)胞集合會預(yù)先把與它相聯(lián)系的細(xì)胞集合作為后續(xù)者，使得它們激活后這些后續(xù)者很容易被激活

正聯(lián)系細(xì)胞對負(fù)聯(lián)系細(xì)胞對編輯pptHebbianLearningOiOjOiOj++++---+---+編輯ppt無監(jiān)督

HebbianLearning條件反射學(xué)習(xí)隨機(jī)選擇的刺激作為希望的條件反射巴浦洛夫Pavlov實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練：每次鈴聲，給狗食物無條件刺激反射：鈴聲引起狗的食欲有條件反射構(gòu)建神經(jīng)網(wǎng)絡(luò)W(n+1)=W(n)+sgn(W(n)X(n))YX1X2X3X4X5X6wf(X)=sgn(WX)視覺聽覺編輯ppt輸入模式：[1,-1,1,-1,1,-1]

無條件刺激

新刺激假定：網(wǎng)絡(luò)對無條件刺激響應(yīng)為“正”權(quán)重向量：[1,-1,1]與輸入無條件刺激相同權(quán)重向量：[0,0,0]與輸入新刺激網(wǎng)絡(luò)初始權(quán)重：[1,-1,1,0,0,0]

訓(xùn)練網(wǎng)絡(luò)：輸入模式訓(xùn)練，希望網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)對新刺激產(chǎn)生“正”響應(yīng)

WX=[1,-1,1,0,0,0]

[1,-1,1,-1,1,-1]T

=1+1+1=3

sgn(3)=1編輯pptW(2)=[1,-1,1,0,0,0]+0.2[1,-1,1,-1,1,-1]=[1.2,-1.2,1.2,-0.2,0.2,-0.2]WX=[1.2,-1.2,1.2,-0.2,0.2,-0.2][1,-1,1,-1,1,-1]T=1.2+1.2+1.2+0.2+0.2+0.2=4.2sgn(4.2)=1W(3)=[1.2,-1.2,1.2,-0.2,0.2,-0.2]+0.2[1,-1,1,-1,1,-1]=[1.4,-1.4,1.4,-0.4,0.4,-0.4]再進(jìn)行10次迭代后W(13)=[3.4,-3.4,3.4,-2.4,2.4,-2.4]編輯ppt測試網(wǎng)絡(luò)無條件刺激：[1,-1,1,1,1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,1,1,1,-1]T)=sgn(3.4+3.4+3.4-2.4+2.4+2.4)=sgn(12.6)=1無條件刺激：[1,-1,1,1,-1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,1,1,-1,-1]T)=sgn(3.4+3.4+3.4-2.4-2.4+2.4)=sgn(7.8)=1產(chǎn)生正響應(yīng)產(chǎn)生正響應(yīng)網(wǎng)絡(luò)對原始刺激的敏感增強(qiáng)了編輯ppt新刺激：[1,1,1,-1,1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,1,1,-1,1,-1

]T)=sgn(3.4-3.4+3.4+2.4+2.4+2.4)=sgn(10.6)=1新刺激：[1,-1,-1,1,1,-1]新模式稍變新食物或鈴聲sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,-1,1,1,-1

]T)=sgn(3.4+3.4-3.4-2.4+2.4+2.4)=sgn(5.8)=1新模式產(chǎn)生正響應(yīng)！新模式稍變產(chǎn)生正響應(yīng)！HebbianLearning產(chǎn)生了什么？新舊刺激不斷重復(fù)產(chǎn)生，使得網(wǎng)絡(luò)建立了在新刺激和舊響應(yīng)之間的聯(lián)想編輯ppt有監(jiān)督HebbianLearning構(gòu)建神經(jīng)網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)實(shí)現(xiàn)一組模式之間的聯(lián)想x1x2x3…xny1y2…ym編輯ppt聯(lián)想模式序列：{<X1,Y1>,<X2,Y2>,…<Xi,Yi>,…,<Xt,Yt>}學(xué)習(xí)規(guī)則：ij=djxiX=[x1,x2,……,xn]Y=[d1,d2,……,dm]W=YX期望輸出編輯ppt線性吸引子linerassociator編輯ppt聯(lián)想記憶和線性吸引子聯(lián)想模式對{<X1,Y1>,<X2,Y2>,……<Xt,Yt>}聯(lián)想記憶模式異聯(lián)想heteroassociative：如果隨機(jī)矢量X比任何其他樣例更靠近Xi，則聯(lián)想結(jié)果為