機(jī)器學(xué)習(xí)-第04講-2-1-4-ANN課件

1、1機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)智能工程研究室計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2Training a Classifier classifier classifier classifier classifier classifier classifier Classifier Marks Note: The test image does not appear in the training data. Learning = Memorization4Classifier In Feature Space, After Trainingrepresentationconcept(truth)= training dat

2、a= Marks= not Marks= test data (Marks)5神經(jīng)網(wǎng)絡(luò)7InputsOutputsInputsOutputsNN8神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的形式化描述 神經(jīng)元結(jié)構(gòu)模型10神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 典型應(yīng)用或者特征：模式分類(lèi)、函數(shù)回歸 (b) 神經(jīng)認(rèn)知機(jī)，用來(lái)存儲(chǔ)某種模式序列，系統(tǒng)辨識(shí)(c) 神經(jīng)元可以分組進(jìn)行激勵(lì)相應(yīng) (d) 網(wǎng)絡(luò)最終進(jìn)入一種動(dòng)態(tài)平衡狀態(tài)，可能是周期振蕩或者混沌狀態(tài)11感知器:單層前饋神經(jīng)網(wǎng)絡(luò)輸入層輸出層12感知器:多層前饋神經(jīng)網(wǎng)絡(luò)隱層3-4-2 Network輸入層輸出層14感知器學(xué)習(xí)過(guò)程隨機(jī)在區(qū)間(0, 1內(nèi)選取權(quán)值W將樣本數(shù)據(jù)中的輸入值輸入到感知器的輸入節(jié)點(diǎn)

3、得到網(wǎng)絡(luò)的輸出值 O，根據(jù)學(xué)習(xí)公式,由O與T的差，即誤差信號(hào)來(lái)調(diào)整網(wǎng)絡(luò)權(quán)值W如果誤差小于給定閾值或運(yùn)行次數(shù)達(dá)到限定次數(shù)，則停止；否則轉(zhuǎn)2，再次運(yùn)行15一個(gè)簡(jiǎn)單例子樣本: x=0, y=0, T=0 x=0, y=1, T=0 x=1, y=0, T=1x=1, y=1, T=100110.10.1= -1xyvO初值: w1=0.1, w2=0.1, w0=-1取步長(zhǎng)= 0.1, 則w= *Ij*(T-O)17一個(gè)簡(jiǎn)單例子x=0, y=1代入: v=0*0.1+1*0.1-1=-0.9; O=0; Err=T-O=0W1=W1+ * I1*Err=0.1; W2=W2+ * I2*Err=0.

4、1;W0=W0+ * 1*Err=-1;0.10.1= -10011xy-0.900118一個(gè)簡(jiǎn)單例子x=1, y=0代入: v=1*0.1+0*0.1-1=-0.9; O=0; Err=T-O=1W1=W1+ * I1*Err=0.1+0.1*1*1=0.2; W2=W2+ * I2*Err=0.1+0.1*1*0=0.1;W0=W0+ * 1*Err=-1+0.1*1*1=-0.9;0.10.10011xy100.2= -0.9-0.9=-1019一個(gè)簡(jiǎn)單例子x=1, y=1代入: v=1*0.2+1*0.1-0.9=-0.6; O=0; Err=T-O=1W1=W1+ * I1*Err=

5、0.2+0.1*1*1=0.3; W2=W2+ * I2*Err=0.1+0.1*1*1=0.2;W0=W0+ * 1*Err=-0.9+0.1*1*1=-0.8;0.2= -0.90011xy110.3= -0.8-0.600.20.120一個(gè)簡(jiǎn)單例子x=0, y=0代入: v=0*0.3+0*0.2-0.8=-0.8; O=0; Err=T-O=0W1=W1+ * I1*Err=0.3+0.1*0*0=0.3; W2=W2+ * I2*Err=0.2+0.1*0*0=0.2;W0=W0+ * 1*Err=-0.8+0.1*1*0=-0.8;0.30.2= -0.80011xy-0.8000

6、21一個(gè)簡(jiǎn)單例子x=0, y=1代入: v=0*0.3+1*0.2-0.8=-0.6; O=0; Err=T-O=0W1=W1+ * I1*Err=0.3+0.1*0*0=0.3; W2=W2+ * I2*Err=0.2+0.1*1*0=0.2;W0=W0+ * 1*Err=-0.8+0.1*1*0=-0.8;0.30.2= -0.80011xy-0.600122一個(gè)簡(jiǎn)單例子x=1, y=0代入: v=1*0.3+0*0.1-0.8=-0.5; O=0; Err=T-O=1W1=W1+ * I1*Err=0.3+0.1*1*1=0.4; W2=W2+ * I2*Err=0.2+0.1*1*0=

7、0.2;W0=W0+ * 1*Err=-0.8+0.1*1*1=-0.7;0.30.2= -0.80011xy100.4= -0.7-0.5024一個(gè)簡(jiǎn)單例子x=0, y=0代入: v=0*0.5+0*0.3-0.6=-0.6; O=0; Err=T-O=0W1=W1+ * I1*Err=0.5; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.6;0.50.3= -0.60011xy-0.600025一個(gè)簡(jiǎn)單例子x=0, y=1代入: v=0*0.5+1*0.3-0.6=-0.3; O=0; Err=T-O=0W1=W1+ * I1*Err=0.5; W2=W2+

8、 * I2*Err=0.3;W0=W0+ * 1*Err=-0.6;0.50.3= -0.60011xy-0.300127一個(gè)簡(jiǎn)單例子x=1, y=1代入: v=1*0.6+1*0.3-0.5=0.4; O=1; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy11-0.3028一個(gè)簡(jiǎn)單例子x=0, y=0代入: v=0*0.6+0*0.3-0.5=-0.5; O=0; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3

9、;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy-0.500029一個(gè)簡(jiǎn)單例子x=0, y=1代入: v=0*0.6+1*0.3-0.5=-0.2; O=0; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy-0.300130一個(gè)簡(jiǎn)單例子x=1, y=0代入: v=1*0.6+0*0.3-0.5=0.1; O=1; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*E

10、rr=-0.5;0.60.3= -0.50011xy10-0.1031一個(gè)簡(jiǎn)單例子V=0.6*x+0.3*y-0.5O=sign(v)=sign(0.6*x+0.3*y-0.5)0.60.3= -0.50011xy11-0.305/35/632線(xiàn)性不可分情況?0011xy33感知器的學(xué)習(xí)規(guī)則(2)定義誤差函數(shù)為:輸入層輸出層則權(quán)值更新公式為:34當(dāng)取f ( )為線(xiàn)性連續(xù)函數(shù)時(shí)感知器的學(xué)習(xí)規(guī)則(2)誤差函數(shù)為:輸入層輸出層35則感知器的學(xué)習(xí)規(guī)則(2)則權(quán)值更新公式為:36當(dāng)取f ( )為sigmoid函數(shù)時(shí)感知器的學(xué)習(xí)規(guī)則(3)輸入層輸出層37則感知器的學(xué)習(xí)規(guī)則(3)則權(quán)值更新公式為:38int

11、erconnect:weights = wjk(l)neurons:states = sj(l )hiddenlayer: loutput: l = Linput: l = 0BP的學(xué)習(xí)算法多層前饋網(wǎng)絡(luò)定義誤差函數(shù)為:定理：假定(多層感知器)隱層的節(jié)點(diǎn)可以根據(jù)需要自由設(shè)置，那么用三層的閾值網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。39誤差反傳過(guò)程dEdwjk(l ) _ = _ _ _Problem: 對(duì)于任意權(quán)值, wjk(l) , 更新 wjk(l ) wjk(l ) - _A Solution: 誤差反傳 偏微分鏈?zhǔn)椒▌t dd d sj(l ) dsumj(l ) dwm j d sj(l ) d

12、sumj(l ) dwm j 40偏導(dǎo)數(shù)的計(jì)算(完美的數(shù)學(xué)!) _ = _ _ _ = s (l -1)m = n(l +1) sn(l +1) 1 - s n (l +1) wnj (l ) n dsj(l ) d 1 dsumj(l ) dsumj(l ) 1 + exp - sumj(l ) = sj(l ) 1 - sj(l ) dsumj(l ) dwm jdE dsj(l ) 41權(quán)值更新dEdwjk(l ) _ = _ _ _wjk(l ) wjk(l ) - _ d d dsj(l ) dsumj(l ) dwm j d sj(l ) dsumj(l ) dwm j = j(l

13、 ) sj(l +1) 1 - s j (l +1) sk (l -1) 42步驟1: 數(shù)據(jù)輸入與前向傳播 s1(2) = o1 s2(2) = o2 s1(1) s2(1) s3(1) i1 i2 = s2(0)所有神經(jīng)元的狀態(tài)由其前一層神經(jīng)元和連接權(quán)值確定。43步驟2: 計(jì)算輸出誤差，反向確定各神經(jīng)元修正量 o1 , t1 o2 , t21(2) 2(2) s1(1) s2(1) s3(1) 1(1) 2(1) 3(1) i1 i2 = s2(0)1(0) 2(0)各權(quán)值修正量由反向傳播的輸出誤差確定。44步驟3: 更新權(quán)值 o1 , t1 o2 , t21(2) 2(2) s1(1) s

14、2(1) s3(1) 1(1) 2(1) 3(1) i1 i2 = s2(0)1(0) 2(0)w32(1) w32(1) -3(1) s3(1) 1 - s3(1) s2 (0)45動(dòng)量項(xiàng)Steepest descent wjk(l) wjk(l ) +wjk(l )With Momentum, wjk (l ) = wjk(l ) +wjk (l ) + wjk(l ) New step effected by previous step m is the iteration number Convergence is improvedmmm+1m+146批處理BP算法 在每次更新權(quán)值之前

15、，計(jì)算所有樣本的誤差 真正的最速梯度下降方法 每代更新一次 每計(jì)算一個(gè)樣本點(diǎn)的誤差就更新權(quán)值一次 需將數(shù)據(jù)每個(gè)循環(huán)隨機(jī)打亂47學(xué)習(xí)記憶:訓(xùn)練誤差都為0goodgeneralization(learning)concept(truth)badgeneralization(memorization)= training data= test data48conceptlearningmemorization(over fitting)學(xué)習(xí)記憶（續(xù)）49 好的學(xué)習(xí): 能夠識(shí)別出訓(xùn)練集之外的數(shù)據(jù)，如測(cè)試集訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)必須能成功地對(duì)未見(jiàn)到過(guò)的數(shù)據(jù)進(jìn)行分類(lèi). 如何保證我們的訓(xùn)練結(jié)果? 交叉驗(yàn)證 適當(dāng)?shù)?/p>

16、選擇網(wǎng)絡(luò)結(jié)構(gòu) 剪枝 遺傳算法訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)記憶（續(xù)）50交叉驗(yàn)證iterations (m)testerrortrainingerrorminimum51自組織神經(jīng)網(wǎng)絡(luò)輸入層競(jìng)爭(zhēng)層無(wú)導(dǎo)師學(xué)習(xí)方式自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性,自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)競(jìng)爭(zhēng)學(xué)習(xí)策略52自組織神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)策略側(cè)抑制與競(jìng)爭(zhēng)：在生物的神經(jīng)細(xì)胞中存在一種側(cè)抑制現(xiàn)象，即當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對(duì)其周?chē)纳窠?jīng)細(xì)胞產(chǎn)生抑制作用，從而產(chǎn)生競(jìng)爭(zhēng)。開(kāi)始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對(duì)周?chē)窠?jīng)細(xì)胞的抑制作用也越強(qiáng)，其結(jié)果使周?chē)?xì)胞興奮度減弱。這種抑制作用一般滿(mǎn)足某種分布關(guān)系。最簡(jiǎn)單是“勝者為王

17、”。53自組織神經(jīng)網(wǎng)絡(luò)“勝者為王”學(xué)習(xí)規(guī)則1）向量歸一化：2）尋找獲勝神經(jīng)元： 等價(jià)于求最大點(diǎn)積問(wèn)題（正是競(jìng)爭(zhēng)層神經(jīng)元的凈輸入）3）網(wǎng)絡(luò)輸出與權(quán)值調(diào)整54自組織神經(jīng)網(wǎng)絡(luò)自組織映射神經(jīng)網(wǎng)絡(luò)(Self-Organizing Feature Map, SOFM ) Kohonen教授(芬蘭, Helsink大學(xué), 1981), 又稱(chēng)Kohonen網(wǎng)絡(luò)輸入層輸出層xn x2 x1 權(quán)值調(diào)整域: 由近及遠(yuǎn), 由興奮轉(zhuǎn)為抑制墨西哥帽型大禮帽型廚師帽型正態(tài)分布型55自組織神經(jīng)網(wǎng)絡(luò)自組織映射神經(jīng)網(wǎng)絡(luò)(SOFM )的學(xué)習(xí)算法:1)初始化:2)接受輸入:從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并歸一化:3)尋找獲勝神經(jīng)元:

18、4)定義優(yōu)勝鄰域 : 一般初始時(shí)較大,以后逐漸收縮,可正方形,六角形等5)調(diào)整權(quán)值: 如:6)結(jié)束檢查: 是否衰減到足夠小(不存在輸出誤差概念)56自組織神經(jīng)網(wǎng)絡(luò)自組織映射神經(jīng)網(wǎng)絡(luò)(SOFM )用于聚類(lèi):57徑向基(RBF)神經(jīng)網(wǎng)絡(luò)屬于局部逼近網(wǎng)絡(luò)插值問(wèn)題描述:考慮一N維空間到一維空間的映射.設(shè)N維空間有P個(gè)輸入向量Xp, p=1,2,P. 它們?cè)谳斎肟臻g相應(yīng)的目標(biāo)值為dp, p=1,2,P. 插值的目的是尋找一個(gè)非線(xiàn)性映射函數(shù)F(X),使得滿(mǎn)足下述插值條件 F(Xp) = dp, p=1,2,P58徑向基(RBF)神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)解決插值問(wèn)題:選擇P個(gè)基函數(shù),對(duì)應(yīng)每個(gè)訓(xùn)練數(shù)據(jù):基函數(shù)的自變

19、量為X與中心Xp的距離,由于距離是徑向同性的,因此稱(chēng)徑向基函數(shù).基于徑向基函數(shù)的插值函數(shù)定義為基函數(shù)的線(xiàn)性組合:代入插值條件 得到關(guān)于wp的P階線(xiàn)性方程組.令59徑向基(RBF)神經(jīng)網(wǎng)絡(luò)寫(xiě)成向量形式為: 稱(chēng)為插值矩陣,若其可逆,則可由上式解出W:Micchelli定理給出了 的可逆性條件:對(duì)于一大類(lèi)函數(shù),如果X1, X2 , XP自各不相同,則其可逆. 大量徑向基函數(shù)滿(mǎn)足Micchelli定理,如1) Gaussian(高斯函數(shù))2)Reflected Sigmoidal(反演S型)函數(shù)3)Inverse multiquadrics (逆多二次)函數(shù)60徑向基(RBF)神經(jīng)網(wǎng)絡(luò)完全內(nèi)插存在的問(wèn)

20、題(正則化RBF網(wǎng)絡(luò)):1)經(jīng)過(guò)所有訓(xùn)練數(shù)據(jù)點(diǎn),當(dāng)存在噪聲時(shí),泛化能力差 2)徑向基函數(shù)數(shù)目與訓(xùn)練樣本數(shù)相同,當(dāng)訓(xùn)練樣本數(shù)遠(yuǎn)遠(yuǎn)大于系統(tǒng)的固有自由度時(shí),問(wèn)題是超定的,插值矩陣求逆容易不穩(wěn)定x1x2xNy1y2ylG(x, x1)G(x, x2)G(x, xP)61徑向基(RBF)神經(jīng)網(wǎng)絡(luò)模式可分性:設(shè)F為P個(gè)輸入模式Xp, (p=1,2,P)的集合.每個(gè)模式必屬于F1和F2的某一類(lèi).若存在一個(gè)輸入空間的超曲面,使得分別屬于F1和F2的點(diǎn)分成兩部分,就稱(chēng)這些點(diǎn)的二元?jiǎng)澐株P(guān)于該曲面是可分的.若該曲面為線(xiàn)性方程確定的超平面,則稱(chēng)這些點(diǎn)的二元?jiǎng)澐株P(guān)于該平面是線(xiàn)性可分的.62徑向基(RBF)神經(jīng)網(wǎng)絡(luò)模式可

21、分性:設(shè)由一組函數(shù)構(gòu)成的向量將原來(lái)N維空間的P個(gè)模式點(diǎn)映射到新的M維空間(MN)的相應(yīng)點(diǎn)上.若在該M維空間上存在M維向量W則由線(xiàn)性方程 確定了M維 空間中的一個(gè)分界超平面.該超平面使得映射到M維 空間的P個(gè)點(diǎn)線(xiàn)性可分.而在N維X空間, 描述的是X空間的一個(gè)超曲面,它將原空間的P個(gè)模式點(diǎn)分成兩類(lèi).63徑向基(RBF)神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)將輸入空間的模式點(diǎn)非線(xiàn)性映射到一個(gè)高維空間的做法是:設(shè)置一隱層,令 為隱節(jié)點(diǎn)的激活函數(shù),并令隱節(jié)點(diǎn)數(shù)M大于輸入節(jié)點(diǎn)數(shù)N.若M足夠大,則在隱空間是線(xiàn)性可分的.從隱層到是輸出層可采用與感知器類(lèi)似的解決線(xiàn)性可分問(wèn)題的算法. 如:(0,0)(0,1)(1,0)(1,1)(1

22、,1)(0,0)(0,1)(1,0)64徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò):1)徑向基函數(shù)數(shù)目M與訓(xùn)練樣本數(shù)N不同,且一般MN2)徑向基函數(shù)的中心不再限制在數(shù)據(jù)點(diǎn)上,由訓(xùn)練確定3)各徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一，由訓(xùn)練確定4)輸出函數(shù)的線(xiàn)性表達(dá)式中包含閾值參數(shù)，用于補(bǔ)償函數(shù)在樣本集上的平均值與目標(biāo)之平均值之間的差別12MW1W2Wlx1x2xNy1y2yl0T65徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò)的學(xué)習(xí)算法:結(jié)構(gòu)設(shè)計(jì)(多憑經(jīng)驗(yàn))和參數(shù)設(shè)計(jì)(3類(lèi)參數(shù):各基函數(shù)的中心，擴(kuò)展常數(shù)以及輸出節(jié)點(diǎn)的權(quán)值)輸出節(jié)點(diǎn)的權(quán)值一般由有監(jiān)督的學(xué)習(xí)算法確定各基函數(shù)的中心及擴(kuò)展常數(shù)可由下列三種方法確定:1)數(shù)據(jù)

23、中心從樣本中選?。簶颖久芗牡胤街行亩嘈?稀疏的地方少些。若數(shù)據(jù)均勻分布，中心也可均勻分布。總之，選出的數(shù)據(jù)中心應(yīng)有代表性。擴(kuò)展常數(shù)由分布確定，如 , dmax是數(shù)據(jù)中心的最大距離，M是中心數(shù)目。 2)數(shù)據(jù)中心的自組織選擇(k-means聚類(lèi)算法)3)數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法66徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò)的k-means聚類(lèi)學(xué)習(xí)算法:首先估計(jì)中心的數(shù)目M,設(shè)C(k)表示第k次迭代時(shí)的中心.1)初始化中心:c1(0), c2(0), cM(0)2)計(jì)算各樣本點(diǎn)與聚類(lèi)中心的歐氏距離:3)相似匹配: 當(dāng) 時(shí) 被歸為第j*類(lèi).4)更新各類(lèi)聚類(lèi)中心. (i) 均值方法 (ii) 競(jìng)爭(zhēng)學(xué)習(xí)算法6

24、7徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò)的k-means聚類(lèi)學(xué)習(xí)算法:5) k+,若不滿(mǎn)足終止條件(C(k)的改變兩小于閾值)轉(zhuǎn)2擴(kuò)展常數(shù)的確定:設(shè) 則擴(kuò)展常數(shù)可取為 輸出層權(quán)值的確定: (i) 最小均方算法(類(lèi)似感知器算法) (ii) 偽逆法:令則隱層輸出矩陣為 ,令則68徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò)的數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法:類(lèi)似BP算法的梯度下降方法(假定單輸出):69徑向基(RBF)神經(jīng)網(wǎng)絡(luò)廣義RBF網(wǎng)絡(luò)的數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法:類(lèi)似BP算法的梯度下降方法(每個(gè)數(shù)據(jù)修正一次):70徑向基(RBF)神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)與多層感知器(MLP)的比較:RBF: 1個(gè)隱層MLP: 至少一

25、個(gè)隱層RBF: 隱層是非線(xiàn)性的，輸出是隱層的線(xiàn)性加權(quán)MLP: 對(duì)于分類(lèi)問(wèn)題，隱層和輸出層都是非線(xiàn)性的；對(duì)于回歸問(wèn)題，輸出層是線(xiàn)性的RBF: 容易得到解析解MLP: 很難得到解析解RBF: 具有局部快速近似學(xué)習(xí)的能力作業(yè)-1寫(xiě)出遺傳算法的基本步驟和兩種以上（至少兩種）遺傳操作的實(shí)現(xiàn)細(xì)節(jié)（并舉例說(shuō)明）。7172作業(yè)-2:什么是交叉驗(yàn)證,為什么要進(jìn)行交叉驗(yàn)證?試比較RBF網(wǎng)絡(luò)與多層前饋網(wǎng)絡(luò)的異同.73作業(yè)-3:考慮Hermit多項(xiàng)式的逼近問(wèn)題 F(x)=1.1*(1-x+2*x*x)exp(-x*x/2)訓(xùn)練樣本由以下方法產(chǎn)生:樣本數(shù)P=100,其中輸入樣本xi服從區(qū)間-4,4內(nèi)的均勻分布,樣本輸出

26、為F(xi)+ei, ei為添加的噪聲,服從均值為0,標(biāo)準(zhǔn)差為0.1的正態(tài)分布.1)試用聚類(lèi)方法求數(shù)據(jù)中心和擴(kuò)展常數(shù),輸出權(quán)值和閾值用偽逆法求解.隱節(jié)點(diǎn)重疊系數(shù)為=1,初始聚類(lèi)中心取前10個(gè)訓(xùn)練樣本.2)試用梯度算法訓(xùn)練RBF網(wǎng)絡(luò),設(shè)=0.001, M=10,初始權(quán)值為-0.1,0.1內(nèi)的隨機(jī)數(shù),初始數(shù)據(jù)中心為-4,4內(nèi)的隨機(jī)數(shù),初始擴(kuò)展常數(shù)取0.1,0.3內(nèi)的隨機(jī)數(shù),目標(biāo)誤差為0.9,最大訓(xùn)練次數(shù)為5000.(作業(yè)1、2可選做一個(gè))74局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò) Elman網(wǎng)絡(luò)（Elman,1990）結(jié)構(gòu)如圖所示，它除了輸入層、隱層、輸出層之外，還有一個(gè)特殊的結(jié)構(gòu)單元。結(jié)構(gòu)單元是用來(lái)記憶

27、隱層單元以前時(shí)刻的輸出值，可認(rèn)為是一時(shí)延算子。因此這里前饋連接部分可以進(jìn)行連接權(quán)修正，而遞歸部分則是固定的即不能進(jìn)行學(xué)習(xí)修正。Elman網(wǎng)絡(luò)結(jié)構(gòu)示意圖75數(shù)學(xué)模型：局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)學(xué)習(xí)算法：設(shè)網(wǎng)絡(luò)的結(jié)構(gòu)為qnm（輸入層，隱層（結(jié)構(gòu)單元），輸出層），定義誤差函數(shù)為： 通過(guò)E對(duì)連接權(quán)W求偏導(dǎo)，由最速梯度下降法得出學(xué)習(xí)算法. 只能刻畫(huà)一階線(xiàn)性動(dòng)態(tài)系統(tǒng),因?yàn)闃?biāo)準(zhǔn)BP僅有一階梯度76局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)于是可以得到動(dòng)態(tài)反向傳播算法如下: 77局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)78Elman networkElman網(wǎng)絡(luò)結(jié)構(gòu)Elman J.L., Finding Structure i

28、n Time, Cognitive Science, 14:179-211, 1990.局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)79(Modified) Elman networkElman網(wǎng)絡(luò)結(jié)構(gòu)Pham, D. T., and X. Liu. 1992. Dynamic system modeling using partially recurrent neural networks. J. of Systems Engineering, 2: 90-97 局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)80激活函數(shù)分別取為 和Elman網(wǎng)絡(luò)數(shù)學(xué)模型局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)81這里定義誤差函數(shù)為將E 對(duì)W求偏導(dǎo)

29、,按梯度下降算法,可得Elman網(wǎng)絡(luò)的學(xué)習(xí)算法:Elman網(wǎng)絡(luò)學(xué)習(xí)算法局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)82OIF Elman network具有輸出-輸入反饋機(jī)制的Elman網(wǎng)絡(luò)(OIF Elman)局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)83OIF Elman網(wǎng)絡(luò)數(shù)學(xué)模型局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)84這里與Elman網(wǎng)絡(luò)的學(xué)習(xí)算法推導(dǎo)過(guò)程類(lèi)似,可以得到W 4的學(xué)習(xí)公式:OIF Elman網(wǎng)絡(luò)學(xué)習(xí)算法局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)85OHF Elman network具有輸出-隱層反饋機(jī)制的Elman網(wǎng)絡(luò)(OHF Elman) 具有輸出-隱層反饋機(jī)制的Elman網(wǎng)絡(luò)(1)局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)

30、86OHF Elman網(wǎng)絡(luò)數(shù)學(xué)模型具有輸出-隱層反饋機(jī)制的Elman網(wǎng)絡(luò)(2)局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)87與Elman網(wǎng)絡(luò)的學(xué)習(xí)算法推導(dǎo)過(guò)程類(lèi)似,可以得到W 5的學(xué)習(xí)公式:OHF Elman網(wǎng)絡(luò)學(xué)習(xí)算法具有輸出-隱層反饋機(jī)制的Elman網(wǎng)絡(luò)(3)局部遞歸神經(jīng)網(wǎng)絡(luò)Elman網(wǎng)絡(luò)時(shí)小虎, 梁艷春, 徐旭. 改進(jìn)的Elman模型與遞歸反傳控制神經(jīng)網(wǎng)絡(luò). 軟件學(xué)報(bào), 2003年Vol. 14, No. 6, p. 1110-1119.Shi XH, Liang YC, Lee HP, Lin WZ, Xu X, Lim SP. Improved Elman networks and applic

31、ations for controlling ultrasonic motors. Applied Artificial Intelligence, 2004, 18 (7): 603-629.88什么是人工神經(jīng)網(wǎng)絡(luò)?所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計(jì)算機(jī)）。人是地球上具有最高智慧的動(dòng)物，而人的指揮均來(lái)自大腦，人類(lèi)靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱(chēng)為“電腦”的一般計(jì)算機(jī)所無(wú)法取代的。長(zhǎng)期以來(lái)，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類(lèi)大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)

32、構(gòu)已有所了解。89粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來(lái)，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過(guò)程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過(guò)程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來(lái)。什么是人工神經(jīng)網(wǎng)絡(luò)?90按美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱(chēng)為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元具有局部?jī)?nèi)存，

33、可以完成局部操作，即它必須僅僅依賴(lài)于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，輸出信號(hào)可以是任何需要的數(shù)學(xué)模型。什么是人工神經(jīng)網(wǎng)絡(luò)?91人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在一般的計(jì)算機(jī)中，處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計(jì)算結(jié)果存入指定的存儲(chǔ)單元中。任何動(dòng)作都按照確定的操作程序，以串行方式執(zhí)行。在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒(méi)有確定的存儲(chǔ)器，而是由許多互連的簡(jiǎn)單處理單元組成。每個(gè)處理單元的處理功能只是求其所有輸入信號(hào)的加權(quán)和，當(dāng)該和值超過(guò)某一閾值時(shí)，輸出呈現(xiàn)興奮狀態(tài)（高電平

34、），否則低于閾值時(shí)呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個(gè)狀態(tài)就是所求的結(jié)果。92人工神經(jīng)網(wǎng)絡(luò)的兩種操作過(guò)程訓(xùn)練學(xué)習(xí)訓(xùn)練時(shí)，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱(chēng)為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時(shí)，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對(duì)訓(xùn)練好的網(wǎng)絡(luò)輸入一個(gè)信號(hào)，它就可以正確回憶出相應(yīng)輸出，得到識(shí)別結(jié)果。93人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國(guó)神經(jīng)生理學(xué)家Warren Mcculloch和數(shù)學(xué)家Walter Pitts

35、合寫(xiě)了一篇關(guān)于神經(jīng)元如何工作的開(kāi)拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。該文指出，腦細(xì)胞的活動(dòng)像斷/通開(kāi)關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。1949年，心理學(xué)家Donala Hebb寫(xiě)了一本書(shū)：“The Organization of Behavior”。在該書(shū)中，他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路每當(dāng)通過(guò)參與某種活動(dòng)時(shí)將被加強(qiáng)，這就是后來(lái)的Hebb學(xué)習(xí)規(guī)則。94到了二十世紀(jì)50年代，隨著計(jì)算機(jī)的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開(kāi)始在計(jì)算機(jī)上進(jìn)行模擬，拓寬

36、了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對(duì)神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開(kāi)始時(shí)失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實(shí)驗(yàn)上取得了一定程度的成功。1956年，一個(gè)人工智能研究項(xiàng)目（Dartmouth Summer）給人工智能領(lǐng)域，同時(shí)也給神經(jīng)計(jì)算領(lǐng)域以巨大推動(dòng)。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人們提出兩條研究思路采用高級(jí)人工智能方法，試圖建立描述智能機(jī)功能的計(jì)算機(jī)程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實(shí)現(xiàn)智能化。這宣告了人工神經(jīng)網(wǎng)絡(luò)的誕生。95人工神經(jīng)網(wǎng)絡(luò)的發(fā)展96第一次高潮期 感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計(jì)算機(jī)專(zhuān)家Frank Rosenblatt開(kāi)始從事感知器的研究，并制成硬

37、件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師Bernard Widrow和Marcian Haff開(kāi)發(fā)出一種叫作自適應(yīng)線(xiàn)性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)算法（ Widrow- Haff算法）。該網(wǎng)絡(luò)通過(guò)訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報(bào)，成為第一個(gè)用于實(shí)際問(wèn)題的神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展971962年，Rosenblatt出版了一本書(shū)“The Principles of Neurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中

38、間層，通過(guò)實(shí)驗(yàn)可以模仿人的某些特性，并斷言它可以學(xué)會(huì)任何它可以表示的功能。1967年，Stephen Grossberg通過(guò)對(duì)生理學(xué)的研究，開(kāi)發(fā)了一種稱(chēng)作雪崩網(wǎng)的神經(jīng)網(wǎng)絡(luò)模型，可以控制機(jī)器人手臂的運(yùn)動(dòng)。在這一時(shí)期，由于感知器的某些進(jìn)展和對(duì)神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂(lè)觀(guān)地認(rèn)為幾乎已經(jīng)找到了實(shí)現(xiàn)智能的關(guān)鍵。人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機(jī)器人的人類(lèi)會(huì)很快受到機(jī)器人的攻擊）。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展98反思期 神經(jīng)網(wǎng)絡(luò)的低潮1969年，Marvin Minsky和Seymour Papert合著了一本書(shū)“Perception”，分析了當(dāng)時(shí)的簡(jiǎn)單感知器，指出它有非常嚴(yán)重的局限性，甚至不能解決簡(jiǎn)單的“異

39、或”問(wèn)題，為Rosenblatt的感知器判了“死刑”。此時(shí)，批評(píng)的聲音高漲，導(dǎo)致了停止對(duì)人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展99第二次高潮期 Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，John Hopfield向美國(guó)科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報(bào)告，主要內(nèi)容就是建議收集和重視以前對(duì)神經(jīng)網(wǎng)絡(luò)的工作，其中特別強(qiáng)調(diào)了每種模型的實(shí)用性。Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國(guó)軍方的興趣。當(dāng)時(shí)，人工智能

40、對(duì)自動(dòng)制導(dǎo)車(chē)的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個(gè)問(wèn)題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1001984年，Hopfield設(shè)計(jì)研制了后來(lái)被人們稱(chēng)為Hopfield網(wǎng)的電路，較好地解決了TSP問(wèn)題，找到了最佳解的近似解，引起了較大轟動(dòng)。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Bolziman機(jī)。1986年， Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。1990年12月，國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展101再認(rèn)識(shí)與應(yīng)用研究期二十世紀(jì)90年代后，研究趨于平緩，主要問(wèn)題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問(wèn)題主要研究?jī)?nèi)容開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢(shì)，尋找更有效的