智能控制理論與方法基于神經(jīng)元網(wǎng)絡(luò)的智能控制系統(tǒng)

1、會(huì)計(jì)學(xué)1智能控制理論與方法基于神經(jīng)元網(wǎng)絡(luò)的智能控制理論與方法基于神經(jīng)元網(wǎng)絡(luò)的智能控制系統(tǒng)智能控制系統(tǒng)3456n789iixxy0110jiijijSSww110001)()(1jjjnijiijjuuufxwfy121314jujnijiijjeufxwfy11)()(115161718圖4.1 生物神經(jīng)元 19201( )( )niiiy tfw x t f(x)為激勵(lì)函數(shù)，通常取1和0的雙值函數(shù)或連續(xù)、非線性的Sigmoid函數(shù)。wi為連接權(quán)值yx1x2x nw1w2w n s21yx1x2x nw1w2w n s22jiwij23 激活函數(shù)激活函數(shù)f(x) 執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入

2、的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net)a、線性函數(shù)（Liner Function）24b、非線性斜面函數(shù)（Ramp Function）netifnetifnetknetifnetf*)( 0為一常數(shù)，稱為飽和值，為該神經(jīng)元的最大輸出。25非線性斜面函數(shù)（非線性斜面函數(shù)（Ramp Function）26c、閾值函數(shù)（Threshold Function）27閾值函數(shù)（閾值函數(shù)（Threshold Function）28d、S形函數(shù) 壓縮函數(shù)（Squashing Function）和邏輯函數(shù)（Logistic Function）。 f(net)=a+b/(1+exp(-d*net)

3、 a，b，d為常數(shù)。它的飽和值為a和a+b。 最簡(jiǎn)單形式為： f(net)= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。 S形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制29S形函數(shù)形函數(shù)30mkikikinjijiwtubtyatv11)()()(圖4.331式中 aij 和bik 為權(quán)系數(shù)，i,j =1,2,n, k= 1,2,m. n 個(gè)加法器可以寫成向量形式：wtButAytv)()()(wuByAv N維列向量 N維列向量（單元輸出）NN維矩陣NM維矩陣 M維列向量（外部輸入） M維常向量32 線性動(dòng)態(tài)系統(tǒng)線性動(dòng)態(tài)系統(tǒng))()()( svsHsxii傳遞函數(shù)形式：) ()

4、( dttvtthxili按時(shí)域形式：典型的有：10( /)/0100,01( ) 1, ( )( ); ( ), ( )1,01111( ), ( ); ( ), ( )1( ), ( )()t a at TsTtH sh ttH sh ttsH sh teH sh tesTTa s aaH seh tt T33靜態(tài)非線性系統(tǒng)靜態(tài)非線性系統(tǒng): : g(.)可從線性動(dòng)態(tài)系統(tǒng)輸出x給出模型的輸出.g(x)g(x)g(x)xxx閾值函數(shù)閾值函數(shù)Sigmoid函數(shù)典型的有：yi=g(xi)3435363738Hopfield網(wǎng)絡(luò)3940414243441,0;( )1,0.vf vv4510miii

5、w xb461 1230w xw xbyx1-bx2 x1 * * * * O * * O * * O O * O x2 * * O O O O47設(shè)三維輸入向量：設(shè)三維輸入向量：X=(x1,x2,x3)T1 122331 122331,01,0w xw xw xbyw xw xw xb輸出：輸出：則由方程則由方程 w1x1+w2x2+w3x3b=0確定了三維空間上的一個(gè)分界平面確定了三維空間上的一個(gè)分界平面。 x2yx1x3-b48 x1 * * * * O * * O * * O O * O x2 * * O O O x349設(shè)輸入向量X=(x1，x2,，xn)T則由方程 w1x1+w2x

6、2+wnxnb=0確定了n維空間上的一個(gè)分界平面。 輸出：y=sgn(w1x1+w2x2+wnxn b)5010miiiw xb51(1)( ) ( )( ) ( )w nw nd ny n x n0( )( ) ( )miiiy nfw n x n5253X1X2輸出110101011000545556解：第一步解：第一步 輸入輸入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 y1(0)=sgn(2.5)=1 W(1)= W(0)+d1- y1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-

7、0.6,0)T57第二步第二步 輸入輸入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T= -1.6 y2(1)=sgn(-1.6)= -1 W(2)= W(1)+d2- y2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2= y2(1)，所以，所以W(2)= W(1)。58第三步第三步 輸入輸入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T= -2.1 y3(2)=sgn(-2.1)= -1W(3)

8、= W(2)+d3- y3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，繼續(xù)訓(xùn)練直到返回到第一步，繼續(xù)訓(xùn)練直到 d p- y p = 0，p=1,2,3。59606162n實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。 nBP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)(輸入層一般不算一級(jí))。 結(jié)點(diǎn)的激勵(lì)函數(shù)要求是可微的，通常選S型。636465BP網(wǎng)絡(luò)1oOomO1hO66,hhjjiiiSw x()hhhjjjOfS,oohkkjjjSw O()oookkkOfS

9、隱層節(jié)點(diǎn)j輸出和輸入節(jié)點(diǎn)i的關(guān)系：輸出節(jié)點(diǎn)k和隱層輸出節(jié)點(diǎn)j的關(guān)系：前向傳播：前向傳播：67()okkktO學(xué)習(xí)過(guò)程：定義輸出誤差k誤差反傳（學(xué)習(xí)算法）22111()22mokkkkkEtO學(xué)習(xí)的目的是要使以下定義的誤差平方和最?。?8()ooOkkkkoookjkkjfSEtOwSw ()oohhkkjjjoojkjkjSw OOww首先，求輸出層權(quán)值學(xué)習(xí)規(guī)則，求以下的偏導(dǎo)：(1)( )()( )ookjkjokjoohkjkjEwtwtwwtO692211()()22oOohkkkkkjjkkjEtOtfw O()()()hhoojjOkkkkhohhhkjikjjjioohhOkkjjk

10、kiohkkjOSOSEtOwSOSwOSfStOxSO(1)( )()( )hhhhjijijijihjiEwtwtwtxw70717273747576123xw12w23y77BPBP網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì) （1）確定輸入、輸出神經(jīng)元個(gè)數(shù)（2）確定隱含層數(shù)和隱含層神經(jīng)元個(gè)數(shù)（3）初始權(quán)值的選?。?）學(xué)習(xí)速率的選?。?）期望誤差的選取訓(xùn)練精度的要求78神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 （1）收集和整理樣本數(shù)據(jù) 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練過(guò)程使之不發(fā)生“過(guò)擬合過(guò)擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分

11、成訓(xùn)練樣本、測(cè)試樣本2部分。 （2）神經(jīng)網(wǎng)絡(luò)訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練是應(yīng)用誤差反傳原理，不斷調(diào)整網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)模型輸出值與已知訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。 7980BPBP網(wǎng)絡(luò)的不足與改進(jìn)網(wǎng)絡(luò)的不足與改進(jìn) （1）BP網(wǎng)絡(luò)的不足 訓(xùn)練次數(shù)多，使得學(xué)習(xí)效率低，收斂速度慢，需要較長(zhǎng)的訓(xùn)練時(shí)間。 形成局部極小而得不到全局最優(yōu)。 網(wǎng)絡(luò)隱含層的層數(shù)和神經(jīng)元數(shù)的選擇尚無(wú)理論上的指導(dǎo)，一般根據(jù)經(jīng)驗(yàn)或者通過(guò)反復(fù)實(shí)驗(yàn)確定。 網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性：大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開始重新訓(xùn)練，對(duì)于以前的權(quán)值和閾值是沒(méi)有記憶的。8182（2

12、）BP網(wǎng)絡(luò)的改進(jìn) 引入動(dòng)量項(xiàng)引入動(dòng)量項(xiàng)：為了提高網(wǎng)絡(luò)的訓(xùn)練速度，在權(quán)值調(diào)整公式中增加一動(dòng)量項(xiàng)，動(dòng)量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)，對(duì)于k時(shí)刻的調(diào)整能起到阻尼作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時(shí)，可減少振蕩趨勢(shì)，提高訓(xùn)練速度。 變步長(zhǎng)法變步長(zhǎng)法自適應(yīng)學(xué)習(xí)速率自適應(yīng)學(xué)習(xí)速率，其思想為：當(dāng)連續(xù)兩次迭代其梯度方向相同時(shí)，表明下降太慢，這時(shí)可使步長(zhǎng)加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過(guò)頭，這時(shí)可使步長(zhǎng)減半。8384重要結(jié)論 具有至少一個(gè)隱層的多層前饋網(wǎng)絡(luò)，如果隱層單元足夠多，那么，利用扁平激勵(lì)函數(shù)和線性多項(xiàng)式集成函數(shù)，可以對(duì)任意感興趣的函數(shù)逼近到任意精度。扁平激勵(lì)函數(shù)定義：f : R 0,1 或-1,1是非減函數(shù), 是?；?1- 1)(lim , 1)(lim ff 扁平激勵(lì)函數(shù)的參數(shù).理論證明:多層前饋網(wǎng)絡(luò)是一種通用逼近器 85討論討論1) 隱層的數(shù)目和節(jié)點(diǎn)的數(shù)目,何謂合適?2) 是否收斂到全局最優(yōu)?(涉及多維誤差曲面的不確定性)3) 收斂的速度問(wèn)題