MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型.

1、MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介 MATLAB 7對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本為Version4.0.3,它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用MATLAB腳木語(yǔ)言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函 數(shù)，如線性、競(jìng)爭(zhēng)性和飽和線性等激活函數(shù)，使設(shè) 計(jì)者対所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的 調(diào)用。還可根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值規(guī)則， 加上網(wǎng) 絡(luò)的訓(xùn)練過(guò)程，利用MATLAB編寫出各種網(wǎng)絡(luò)設(shè) 計(jì)和訓(xùn)練的子程序，用戶根據(jù)自己的需要去調(diào)用。神經(jīng)網(wǎng)絡(luò)工具箱的主要應(yīng)用函數(shù)逼近和模型擬合信息處理和預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)控制故障診斷應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問(wèn)題的一般過(guò)程確定信息表達(dá)方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本Z間相互關(guān)

2、系不確定輸入/輸出模式為連續(xù)的或者離散的按照模式進(jìn)行分類，模式可能會(huì)具有平移、旋轉(zhuǎn)或伸縮等變數(shù)據(jù)樣本的預(yù)處理將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本確定網(wǎng)絡(luò)模型選擇模型的類型和結(jié)構(gòu)，也町對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充網(wǎng)絡(luò)參數(shù)的選擇確定輸入輸出神經(jīng)元數(shù)H訓(xùn)練模型的確定選擇合理的訓(xùn)練算法，確定合適的訓(xùn)練步數(shù)，指定適為的訓(xùn)練H標(biāo)誤 差網(wǎng)絡(luò)測(cè)試選擇合適的測(cè)試樣本人工神經(jīng)元的一般模型神經(jīng)元模型及其簡(jiǎn)化模型如圖所示，輸入向hl P =權(quán)值矩陣w =W , Wj 2，r s vv1J?與閾值的加權(quán)和（內(nèi)積運(yùn)算）送入累加器，形成凈輸入，即：人工神經(jīng)元模型圖中,Xj（i=l, 2,n）為加于輸入端（突觸）上的輸入信號(hào)；為相應(yīng)的

3、突觸連接權(quán)系數(shù)，它是模擬 突觸傳遞強(qiáng)度的一個(gè)比例系數(shù),乞表示突觸后信號(hào)的 空間累加；8表示神經(jīng)元的閾值，b表示神經(jīng)元的響 應(yīng)函數(shù)。該模型的數(shù)學(xué)表達(dá)式為：X1S = / 0 x2 /=!y = b(s)與生物神經(jīng)元的區(qū)別:(1)生物神經(jīng)元傳遞的信息是脈沖，而上述 模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個(gè)等效的模擬電 壓來(lái)模擬生物神經(jīng)元的脈沖密度，所以在 模型中只有空間累加而沒(méi)有時(shí)間累加(可以 認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之 中)。(3)述模型未考慮時(shí)延、不應(yīng)期和疲勞等。響應(yīng)函數(shù)b(s)的基本作用: 1、控制輸入對(duì)輸出的激活作用； 2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換； 3、將可能無(wú)限

4、域的輸入變換成指定的有限范 圍內(nèi)的輸出。根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元 有以下幾種類型：閾值單元響應(yīng)函數(shù)如圖a所示,【05=0 y=1 ;x=0 y=1; x0 y=-1Purelin :y=xSatlin:x1 y=1 ;x=0&x=1 y=x;Logsig:y= 1l + ex人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成單個(gè)神經(jīng)元的功能是很有限的，人工神經(jīng) 網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接構(gòu) 成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的 特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及 學(xué)習(xí)方法。人工神經(jīng)網(wǎng)絡(luò)連接的基本形式:1.前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。網(wǎng) 絡(luò)中的神經(jīng)元是分層排列 的，每個(gè)神經(jīng)元只與前

5、一 層的神經(jīng)元相連接。最右 一層為輸出層，隱含層的 層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng) 川很廣泛，例如，感知器 就屬于這種類型。2.2.反饋前向網(wǎng)絡(luò)網(wǎng)絡(luò)的本身是前向型 的，與前一種不同的 是從輸出到輸入有反 饋回路。內(nèi)層互連前饋網(wǎng)絡(luò)通過(guò)層內(nèi)神經(jīng)元Z間的相 互連接， 可以實(shí)現(xiàn)同一層 神經(jīng)元之間橫向抑制或興 奮的機(jī)制， 從而限制層內(nèi) 能同時(shí)動(dòng)作的神經(jīng)數(shù)， 或 者把層內(nèi)神經(jīng)元分為若干 組， 讓每組作為一個(gè)整體來(lái)動(dòng)作。 一些自組織競(jìng)爭(zhēng) 型神經(jīng)網(wǎng)絡(luò)就屬于這種類 型?；ミB網(wǎng)絡(luò)互連網(wǎng)絡(luò)右局部互連和全 互連兩種。 全互連網(wǎng)絡(luò)中 的每個(gè)神經(jīng)元都與其他神 經(jīng)元相連。局部互連是指 互連只是局部的， 有些神

6、 經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí))謀羌信號(hào)誤并分析有教師監(jiān)怦學(xué)習(xí)方式誤差信號(hào)的不同定義：(1)均方誤差mse(mean squared error)工（- a/mse= Ee=-nP 輸入神經(jīng)網(wǎng)絡(luò)(學(xué)習(xí)系統(tǒng))J(2)平均絕對(duì)誤差mae (mean absolute error)(3)誤差平方和sse(sum squared error)nk=1輸入S個(gè)神經(jīng)元的層無(wú)教師學(xué)習(xí)（無(wú)監(jiān)督學(xué)習(xí)）無(wú)教師監(jiān)仰學(xué)習(xí)方式MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.人工神經(jīng)元的一般模型在s = e一& 中，令b = Pl = “

7、 = fUlWi.ip+bi)“2 = f2( (LVV2.i ai +b?)ElMATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型基本概念：標(biāo)量:小寫字母，如a，b,c等;列向量:小寫黑體字母，如a,b,c等,意為一列 數(shù)；矩陣向量:大寫黑體字母，如A,B,C等權(quán)值矩陣向量W(t)標(biāo)量元素叫,丿(。)為行,j為列,t為吋間或迭代 函數(shù)列向量匕彳亍向量叱閾值向量b(t)標(biāo)量元素也(f) ,i為行,t為時(shí)間或迭代函數(shù)網(wǎng)絡(luò)層符號(hào)加權(quán)和：,m為第m個(gè)網(wǎng)絡(luò)層，捫為第個(gè)神經(jīng)元小加權(quán)和網(wǎng)絡(luò)層輸出：aZ Hl為第R1個(gè)網(wǎng)絡(luò)層，S，為第S”個(gè)神經(jīng)元,a為端出輸入層權(quán)值矩陣，網(wǎng)絡(luò)層權(quán)值矩陣LWk其 中，上標(biāo)k,l表示第

8、I個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層的連 接權(quán)值矩陣向量例：加:;；表示輸入向量的第R個(gè)輸入 元素到輸入層的第個(gè)神經(jīng)元的連 接權(quán).lw22表示.S ySb表示第i個(gè)網(wǎng)絡(luò)層的第個(gè)神經(jīng)元的閾值例:輸入S個(gè)神經(jīng)元的層1S個(gè)神經(jīng)元的層n】為第一層神經(jīng)元的中間運(yùn)算結(jié)果,即連接權(quán)向量與閾值向量的加權(quán)和，大小為5*xl ,E|Jn =IWP + blH為第一層神經(jīng)元的輸出向量，大小為5*xla1= f!WP + bx神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加1,即隱層數(shù)目加1 多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)a2=f2(LW2a+ Z?2) =f2LW2f1(IWp + bx+b2多層網(wǎng)絡(luò)簡(jiǎn)化形式InpulLayer 1Layer2a i

9、= fl (IXVi.ip+bi)2 =al +b2)圖中:P =P .PRX5毘屯肋In putLayer 1Layer 2ai = f1(iVVi.ip4-li)112 = f2(LW2.iai +l2)說(shuō)明:輸入層神經(jīng)元的個(gè)數(shù)決定IW的行數(shù)，輸入向量元素的個(gè)數(shù)決定IW的列數(shù)，即S1行R列.4公式和圖形中的變量符號(hào)在編程代碼中的表示方法細(xì)胞矩陣:將多個(gè)矩陣向量作為細(xì)胞矩陣的”細(xì)胞”(Cell),細(xì)胞矩陣的各個(gè)元素值為對(duì)應(yīng)細(xì)胞的大小和數(shù)值類1 2a =_3 4ri 2 3b =4 5 61c=352x2doubl 2x3doubl 3xIdoubl訪問(wèn)元素:m1=n1,1=a =12 3m2

10、=456n2J(4)=52x2doubl2x3doubl變量符號(hào)在MATLAB中的表示上標(biāo)變量以細(xì)胞矩陣(Cell array)即大描 號(hào)表7J*p1=1 (2)下標(biāo)變量以圓括號(hào)表示,Pl=p(l),p = pl(2) Pl2= p2(2,2)例:Mi =認(rèn)1,1(2,3)pll) = pI伙1龍(j=#2/_l(2)神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)：初始化：訓(xùn)練：仿真：學(xué)習(xí)規(guī)則：initp trainp simup learnp線性神經(jīng)網(wǎng)絡(luò)函數(shù)初始化：initlin設(shè)計(jì)：solvelin仿真：simulin離線訓(xùn)練：trainwh在線自適應(yīng)訓(xùn)練：adaptwh學(xué)習(xí)規(guī)則：learnwhBP網(wǎng)絡(luò)函數(shù):initff：初始化不超過(guò)3層的前向網(wǎng)絡(luò)；simuff：仿真不超過(guò)3層的前向網(wǎng)絡(luò)；trainbp, trainbpx, trainlm：訓(xùn)|練BPtrain bp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存儲(chǔ)空間。learnbp：學(xué)習(xí)規(guī)則自組織網(wǎng)絡(luò)初始化:initsm仿真：simuc訓(xùn)練：trainc：利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練trainsm：利用Kohonen規(guī)則訓(xùn)練simuhopsolvehop設(shè)計(jì)H opfield網(wǎng)絡(luò)