神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制

1、會(huì)計(jì)學(xué)1神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制34675.1.1 生物神經(jīng)元模型910i11njijijixwI1)(iiIfy), 2 , 1(njxj ijwi)(f12)(fi)(f13神經(jīng)元處理活性的理想模式151617 從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)等。 (1). 前饋型神經(jīng)網(wǎng)絡(luò)1

2、81920 反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一Addressible Memory，CAM）的功能，同時(shí)Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。(2). 反饋型神經(jīng)網(wǎng)絡(luò) 2122 在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方

3、式。 5.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法23242526272829單層感知器-與運(yùn)算y=f(v)21iiiuw x f(v)x1bx2w1w221iiivw xbx1x2d000010100111邏輯邏輯“與與”真值表真值表11=10.1+10.1=0.2= -0.4y=0b= -0.6=0.1=0.1111()0.7wwdyx誤差誤差e=d-y=1設(shè)學(xué)習(xí)率設(shè)學(xué)習(xí)率 為為0.630315.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)3233 BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層

4、不能得到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使輸出誤差信號(hào)最小。5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)341122.nnnetx wx wx w1f()1enetynet5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)35211f ()(1)1e(1e)-netnetnetyy根據(jù)根據(jù)S S型激活函數(shù)的圖形可知型激活函數(shù)的圖形可知, ,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將netnet的值盡的值盡量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) 5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)3637將誤差分?jǐn)偨o各層的所有將誤差分?jǐn)偨o各層的所有單元各層單元的誤單元

5、各層單元的誤差信號(hào)差信號(hào)修正各單元權(quán)修正各單元權(quán)值值383912,nxxxx12,phi hihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod40ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k4112( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod421( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo k

6、yi koq43ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok44( )( )oohhoohoeeyik hokwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隱含層到輸出層的連接權(quán)第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的值、輸出層的 和隱含層的輸出計(jì)算誤和隱

7、含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 ( )hk( )ok4521212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhohokdkyokyikwhikk whikk 461( )( )( )( )(

8、)hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk47( )hk482111( )( )2qmookoEdky km49whoe0，此時(shí)，此時(shí)who0hoew50h oewe0who51525354n在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)，應(yīng)考慮的問題是：n1) 網(wǎng)絡(luò)的層數(shù)。增加層數(shù)可降低誤差，但會(huì)使網(wǎng)絡(luò)復(fù)雜化，增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間。一般采用增加隱層中神經(jīng)元數(shù)目的方法來提高精度，其訓(xùn)練效果也更容易觀察和調(diào)整。5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)55n2) 隱層神經(jīng)元數(shù)。理論上沒有明確規(guī)定，通常是通過對(duì)不同節(jié)點(diǎn)數(shù)進(jìn)行訓(xùn)練對(duì)比，然后加上適當(dāng)余量。5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)n3)

9、 初始權(quán)值的選取。一般?。?1，1）之間的隨機(jī)數(shù)。56n4) 學(xué)習(xí)速率。為保證系統(tǒng)穩(wěn)定性，學(xué)習(xí)速率一般取0.01-0.8。5.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)n5) 期望誤差。合適的期望誤差應(yīng)通過對(duì)比訓(xùn)練后確定。57581x1w2x2wiixw-f( )ynxnw單個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)輸入輸入神經(jīng)元神經(jīng)元輸出輸出1112121222313231,.,2,.,3,.,.nnnXxxxXxxxXxxx111122112112222231132233nnnnnnx wx wx wyx wxwxwyx wxwxwyx11x1nx12X11112111121222223331323,.,.

10、,.,nnnxxxwyxxxwyWXYwyxxx 59606162 X2 X1 (1,1) (1,0) (0,1) (0,0) X1 X2 輸出 1 1 0 1 0 1 0 1 1 0 0 0 6364ihhoww( )( )( )( )(1( )oooookd kyo kyo kyo k1( )( )f ( )qhohohokk whik1.1. 初始值選擇初始值選擇2.2. 前向計(jì)算，求出所有神經(jīng)元的輸出前向計(jì)算，求出所有神經(jīng)元的輸出3.3. 對(duì)輸出層計(jì)算對(duì)輸出層計(jì)算4.4. 從后向前計(jì)算各隱層從后向前計(jì)算各隱層5.5. 計(jì)算并保存各權(quán)值修正量：計(jì)算并保存各權(quán)值修正量：6.6. 修正權(quán)值：

11、修正權(quán)值：7.7. 判斷是否判斷是否滿足滿足結(jié)束結(jié)束條件條件，不滿足不滿足轉(zhuǎn)至轉(zhuǎn)至2 2，否則，否則算法結(jié)束算法結(jié)束1( )( )( )NNwkwkw k( )w k65Node1Node2Node1Node2Node1X1X2w11w12w21w22w1yw2yyo66111122122122221112211122(0)(0)(0)(0)(0) 1 0.5 1 0.5 1(0)(0)(0)(0)(0) 11(0)()0.73111(0)()0.7311(0)(0)(0)(0)(0)0.731 0.5 0.731 0.50.731(0)( (0)yyhixwxwhixwxwhof hieho

12、f hieyihowhowyof yi 0.73110.6751 e67(0)( (0)(0)(0)(1(0)(0 0.675) 0.675 (1 0.675)0.148odyoyoyo11101112210222(0)(0)(0)0.50.148 0.7310.054(0)(0)(0)0.5 0.0540.554(0)(0)(0)0.054(0)(0)(0)0.554yoyyyyoyyywhowwwwhowww681111122221111211(0) (0)(0)f(0)(0)(0)(0)(0)(1(0)0.148 0.5 0.731(1 0.731)0.015(0)(0)(0)(0)(1

13、(0)0.015(0)(0) (0)0.50.015 1 0.007(0)(0)qhohohohoyhoyhhwhiwhohowhohowxwx 2(0)0.50.015 1 0.007 6910111111102121211221222210121212(0)(0)(0)0.5 0.0070.507(0)(0)(0)0.5 0.0070.507(0)(0) (0)0.50.015 10.007(0)(0)(0)0.50.015 10.007(0)(0)(0)0.5 0.0070.507hhwwwwwwwxwxwwww 10222222(0)(0)(0)0.5 0.0070.507wwp反向傳

14、播調(diào)整各權(quán)值反向傳播調(diào)整各權(quán)值 輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：輸入層與隱含層之間的權(quán)值調(diào)整計(jì)算：702211()(0 0.675)0.22822edyo717273 5) 新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同； 6) 網(wǎng)絡(luò)的預(yù)測(cè)能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾。 5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)74755.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 在每一次對(duì)連接權(quán)及閾值進(jìn)行校正時(shí)，按一定比例加上前一次學(xué)習(xí)時(shí)的校正量，即慣性項(xiàng)：w （n + 1） = d+ w（n）（01）：慣性系數(shù)，d：本次應(yīng)校正量，w（n）：前次校

15、正量。 當(dāng)前一次的校正量過調(diào)時(shí)，慣性項(xiàng)與d的符號(hào)相反，使本次實(shí)際校正量減??；當(dāng)前一次的校正量欠調(diào)時(shí)，慣性項(xiàng)與d的符號(hào)相同，使本次實(shí)際校正量增加。5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)765.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 慣性系數(shù)是變量，隨著校正的不斷進(jìn)行，慣性系數(shù)逐漸增大：w （ n + 1） = d+ （n+1）w（n）（n+1）=（n）+ 一般，取小于0.9左右。 這一改進(jìn)的目的是使被校正量隨著學(xué)習(xí)進(jìn)程的發(fā)展，逐漸沿前一次校正方向變化。 也有采用慣性系數(shù)按指數(shù)形式增長的校正方法。改進(jìn)的慣性校正法：772）S函數(shù)輸出限幅算法 連接權(quán)的校正量wkj、vkj，都與中間層的輸出yj有關(guān)，有yj（1-

16、yj）這一項(xiàng)。當(dāng)yj為1或0時(shí)，調(diào)節(jié)量都為0，不起校正作用。在相當(dāng)次數(shù)的學(xué)習(xí)過程中，真正的校正量很小。5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)78 為此，限制S函數(shù)的輸出，是加快網(wǎng)絡(luò)校正的有效方法。當(dāng)S的實(shí)際輸出小于某數(shù)如0.01或大于某數(shù)如0.99時(shí)，將其輸出值直接取為0.01或0.99。保證每次學(xué)習(xí)都能進(jìn)行有效的校正，從而加快收斂過程。5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)793）累積誤差校正算法： 一般的BP算法稱為標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴?，這種算法偏離了真正全局誤差意義上的梯度下降。真正的全局誤差意義上的梯度算法，稱為累積誤差校正算法。即分別計(jì)算出M個(gè)學(xué)習(xí)模式的一般化誤差，并將這M個(gè)誤差進(jìn)行累加，用累

17、加后的誤差校正各層間的連接權(quán)值及各個(gè)閾值。5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)805.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 與標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ㄏ啾?，每個(gè)連接權(quán)與閾值的校正次數(shù)明顯減少（每一次學(xué)習(xí)減少M(fèi)-1次校正），學(xué)習(xí)時(shí)間也隨之縮短。 問題：將各個(gè)學(xué)習(xí)模式的誤差平均化，某些情況下易引起網(wǎng)絡(luò)的振蕩。814) 采用動(dòng)態(tài)步長；5) 與其他全局搜索算法相結(jié)合；6) 限制連接權(quán)的取值范圍，避免學(xué)習(xí)過程的振蕩；7) 模擬退火算法等。5.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)82838485868788899091929394959697985). 前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)； 6). 計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算；7). 計(jì)算 和 ；8). 計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)； 9). 計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10). 置k=k+1，返回到“2）”。 ) 1( ky)(/ ) 1(kuky99 采用線性預(yù)測(cè)模型的采用線性預(yù)測(cè)模型的BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法如下控制系統(tǒng)算法如下： 10