19第十九章神經(jīng)網(wǎng)絡(luò)模型

1、第十九神經(jīng)網(wǎng)絡(luò)模1943WMcCullochWPitts出形式神經(jīng)元的抽象數(shù)學(xué)模型MP 50 40第十九神經(jīng)網(wǎng)絡(luò)模1943WMcCullochWPitts出形式神經(jīng)元的抽象數(shù)學(xué)模型MP 50 40 知機(jī)，Hopfield 網(wǎng)絡(luò)，Boltzman 網(wǎng)絡(luò)（BP）等。在1表示出了作為人工神經(jīng)網(wǎng)絡(luò)（artifil neural networkNN）1 和（線性組合圍內(nèi)（一般限制在(0,1或(1,1之間。此外還有一個閾值k（或偏置bk k。puk wkjxj vk uk k， yk (vk jp wk1wk2,Lwkp 為神經(jīng)元k uk 果，k為閾值，(yk 為神經(jīng)元k 若把輸入的維數(shù)增加一維，則可把閾

2、值k 包括進(jìn)去。例vk wkjxj ，yk (uk pjx0 1（或1wk0 k（或bk -To follow the path: look to the master, follow the master, walk with the master, see through the e the 2 2 激活函數(shù)(可以有以下幾種（i）v (v) v2 2 激活函數(shù)(可以有以下幾種（i）v (v) vyk vk vk ykp其中vk wkj xj k M Pjv 1(v) 1vv 1的非線性放大器，當(dāng)工作于線性區(qū)時它是一個線性組合器，（iii）sigmoid 函數(shù)11(v) 參數(shù) 0(v) ta

3、nhv 121 中的激活（傳遞）1所示。-To follow the path: look to the master, follow the master, walk with the master, see through the e the 21helptansigtantig tansig 的定義為 v 1（i） 個其它結(jié)點(diǎn)作為其輸入。通常前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i21helptansigtantig tansig 的定義為 v 1（i） 個其它結(jié)點(diǎn)作為其輸入。通常前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i1層依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得了9 Af 6 A

4、pf 的數(shù)據(jù)如下：Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)， Apf:（i）（iii）設(shè) Af 是寶貴的傳粉益蟲，Apf 是某疾病的載體，是否應(yīng)該修改分類方法-是有代表性的，它的特點(diǎn)是要求依據(jù)已知資料（9 Af 6 Tofollow the path: look to the master,follow the master, walk with the master,see through the e the 功 s s 對數(shù)S正切SApfAf 6 Apf 的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。

5、9 3 31(v) 1來決定。圖中最下面單元，即由所示的一層稱為輸入層，用以輸入已知測量值。在ApfAf 6 Apf 的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。9 3 31(v) 1來決定。圖中最下面單元，即由所示的一層稱為輸入層，用以輸入已知測量值。在s 1,2,L,1515 s品的原始數(shù)據(jù)輸入網(wǎng)絡(luò)時，相應(yīng)的輸出單元狀態(tài)記為Os (i 1,2) i jkwij wjk wij wjk 任何一組確定的輸入(I s , I s ) ，網(wǎng)絡(luò)中所有單元的取值不難確定。事實(shí)上，對樣品s j2h sIjk k2(h ) w IsHsjjjk k由此，輸出單元i-To follow the path: look to t

6、he master, follow the master, walk with the master, see through the e the 332H w w Ish ssijk jjk332 (h ) H ) w w IsOsssiijk jjk332H w w Ish ssijk jjk332 (h ) H ) w w IsOsssiijk jjkwij ,wjk 的函數(shù)。如能夠選定一組適當(dāng)?shù)臋?quán)值wij,wjk，使得對應(yīng)于學(xué)習(xí)樣本中任何一組樣品的輸入(I sI s) ，輸出(Os,Os) (1,0) ，對應(yīng)于Apf 的輸入數(shù)據(jù)，輸出) 的一個問題，直到1985 年加州大學(xué)Propag

7、ation如前所述希望對應(yīng)于學(xué)習(xí)樣本中Af樣品的輸出是是(0,1，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是不可能的，只能s Ts，那i12E(W) (T O s 題，自然地歸結(jié)為求適當(dāng)WE(W（91232 jk T w E(W)ss2I ijkwij wij E(W) 的（局部）極小，它從一個任取的初始點(diǎn)W0 出發(fā)，計(jì)算在W0 E(W0，這是函數(shù)在該點(diǎn)下降最快的方向；只要E(W00，就可沿該方向移動一小段距離，達(dá)到一個新的點(diǎn)W1 W0 E(W0 ， 是一個參數(shù)，只要 足夠小， BP 算法的全部內(nèi)容，然而，對人工神經(jīng)網(wǎng)絡(luò)問題而言，這一算法wij -Tofollow the path:

8、 look to the master,follow the master, walk with the master,see through the e the wij w Ti O (h )H sssss iijiss(h )T O ssii T O (h )w (h wij w Ti O (h )H sssss iijiss(h )T O ssii T O (h )w (h ss j w (h )I ssssIjkj sj (h w sssjij i s p sp對應(yīng)于兩個單元中輸出信號的一端，q對應(yīng)于輸入信號的一端，sH 或 由實(shí)際輸出與理想輸出的差及h 決定，而 則需依賴 ssssi

9、iji這一算法才稱為向計(jì)算安排，較之不考慮 的向，直接計(jì)算所有含的原表達(dá)式，極大地降低sp計(jì)算工作量。這組關(guān)系式稱作廣義 法則，它們不難推廣到一般的多層網(wǎng)絡(luò)上去。利用這一迭代算法，最終生成在一定精度內(nèi)滿足要求的wij wjk 學(xué)習(xí)樣本中任何一個樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個權(quán)之中。參數(shù) 的BP（i）在式（11）與（13）wij wjk s （ii）在如上的算法中利用實(shí)際輸出與理想輸出差的平方和作為度量wij , wjk 優(yōu)（iv）BP 算法仍有很多問題對于一個大的網(wǎng)絡(luò)系統(tǒng)，BP ：BP -Tofollow the path: look to the master,follow th

10、e master, walk with the master,see through the e the net.trainParam.show = 10;net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.trainParam.epochs=50000; net = train(net,p,goal);x=1.241.80;1.281.84;1.40 net.trainParam.show = 10;net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.train

11、Param.epochs=50000; net = train(net,p,goal);x=1.241.80;1.281.84;1.403.1 BP 算法是不適用的。所希望的理想輸出是 10競爭的學(xué)習(xí)。-Tofollow the path: look to the master,follow the master, walk with the master,see through the e the 元到第iij ，同層單元間無橫向聯(lián)接。不妨假設(shè)所有輸入數(shù)值均已規(guī)化到0 1 1。 Wi wij Ij取最大值的單元，其 元到第iij ，同層單元間無橫向聯(lián)接。不妨假設(shè)所有輸入數(shù)值均已規(guī)化到0 1

12、1。 Wi wij Ij取最大值的單元，其中Wi 是輸出元i系數(shù)組成的向量，也就是W* I W I w 2（16）j|W* I |W I |，即優(yōu)勝者是其標(biāo)準(zhǔn)化權(quán)向量最靠近輸入向量的輸出元。令O * 1 iOi 0 。這樣的輸出規(guī)定了輸入向量的類別，但為了使這種分類方式有意義，問題化s，按上文所述確定優(yōu)勝者i*，對所有與i*有關(guān)的權(quán)作如下修正(I si* ji* 所有其它輸出單元的權(quán)保持不變。注意到O* 1，O 0(i i *可O (I si* i* Hebb（8i*有更大的，上述算法，對于事先按照Ij 1一步不僅調(diào)整優(yōu)勝者的權(quán)，同時也以一個小得多的 值，修正所有其它的權(quán)。這樣，對-Tofol

13、low the path: look to the master,follow the master, walk with the master,see through the e the 當(dāng)考慮在公式中引進(jìn)隨學(xué)習(xí)時間而變化的收斂因子。例如，取 (t) 0 a 1。這一因子的適當(dāng)選取是極為重要的， 下降太慢，無疑增加了不必要工作量， 下降太快，則會使學(xué)習(xí)變得無效。上述有競爭學(xué)習(xí)的一個最重要應(yīng)用是數(shù)據(jù)壓縮中的向量量子化方法（Vector z當(dāng)考慮在公式中引進(jìn)隨學(xué)習(xí)時間而變化的收斂因子。例如，取 (t) 0 a 1。這一因子的適當(dāng)選取是極為重要的， 下降太慢，無疑增加了不必要工作量， 下降太快，則

14、會使學(xué)習(xí)變得無效。上述有競爭學(xué)習(xí)的一個最重要應(yīng)用是數(shù)據(jù)壓縮中的向量量子化方法（Vector zationM ，Kohonen 了一種適用于有監(jiān)督情況的學(xué)習(xí)方法，稱為學(xué)習(xí)向量量子化（Learning Vector zationLVQ中，對于任一輸入向量，仍按無監(jiān)督有競爭的方式選出優(yōu)勝者i*，但權(quán)的修正規(guī)則則依輸入向量的類別與i*所代表的是否一致而不同，確切地說，令(I w s ji* i* (I w sji* net = newlvq(pr,4,0.6,0.4)net=train(net,p,goal) Y = sim(net,p)x=1.241.80;1.281.84;1.401. 利用BP算法及sigmoid函數(shù)，研究以下各函數(shù)近問-Tofollow the path: look to the master,follow the master, walk with the