matlab輔助神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

1、matlab輔助神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)第一節(jié)神經(jīng)網(wǎng)絡(luò)基本理論一、人工神經(jīng)網(wǎng)絡(luò)概論二、生物神經(jīng)元模型三、Matlab的神經(jīng)網(wǎng)絡(luò)工具包第二節(jié)感知器一、感知器神經(jīng)元模型二、感知器的網(wǎng)絡(luò)結(jié)構(gòu)三、感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則四、感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練五、重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)的使用方法六、感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例第三節(jié)線性神經(jīng)網(wǎng)絡(luò)一、線性神經(jīng)元模型2二、線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、線性神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則四、線性神經(jīng)網(wǎng)絡(luò)訓(xùn)練五、重要線性神經(jīng)網(wǎng)絡(luò)函數(shù)的使用 方法六、線性神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例 第四節(jié)BP網(wǎng)絡(luò)一、BP網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)二、BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則三、BP網(wǎng)絡(luò)的訓(xùn)練四、重要BP神經(jīng)網(wǎng)絡(luò)函數(shù)的使用 方法五、BP網(wǎng)絡(luò)的應(yīng)用舉例 第五節(jié)

2、徑向基函數(shù)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)二、徑向基函數(shù)的學(xué)習(xí)算法三、重要徑向基函數(shù)的函數(shù)使用方法第六節(jié)反饋網(wǎng)絡(luò)一、Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)與算法二、Hopfield網(wǎng)絡(luò)運(yùn)行規(guī)則三、重要的反饋網(wǎng)絡(luò)函數(shù)四、重要的自組織網(wǎng)絡(luò)函數(shù)五、反饋網(wǎng)絡(luò)應(yīng)用舉例第七節(jié)自組織網(wǎng)絡(luò)一、自組織特征映射的網(wǎng)絡(luò)結(jié)構(gòu)二、自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)三、自組織特征映射網(wǎng)絡(luò)的訓(xùn)練四、重要的自組織網(wǎng)絡(luò)函數(shù)五、自組織網(wǎng)絡(luò)應(yīng)用舉例4第一節(jié)神經(jīng)網(wǎng)絡(luò)基本理論一、人工神經(jīng)網(wǎng)絡(luò)概論近代神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研 究結(jié)果表明，人腦是由約一千多億個(gè)神 經(jīng)元（大腦皮層約140多億，小腦皮層 約1000多億）交織在一起的、極其復(fù)雜 的網(wǎng)狀結(jié)構(gòu)，能完成智能

3、、思維、情緒 等高級(jí)精神活動(dòng)，無論是腦科學(xué)還是智 能科學(xué)的發(fā)展都促使人們對(duì)人腦（神經(jīng) 網(wǎng)絡(luò)）的模擬展開了大量的工作，從而 產(chǎn)生了人工神經(jīng)網(wǎng)絡(luò)這個(gè)全新的研究領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)（ANNS）常常簡稱 為神經(jīng)網(wǎng)絡(luò)（NNS）,是以計(jì)算機(jī)網(wǎng)絡(luò)系 統(tǒng)模擬生物神經(jīng)網(wǎng)絡(luò)的智能計(jì)算系統(tǒng)，是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)的若干基本特 性的抽象和模擬。網(wǎng)絡(luò)上的每個(gè)結(jié)點(diǎn)相 當(dāng)于一個(gè)神經(jīng)元，可以記憶（存儲(chǔ)）、處 理一定的信息，并與其它結(jié)點(diǎn)并行工作。神經(jīng)網(wǎng)絡(luò)的研究最早要追述到40年代心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts合作提出的興奮與抑制型神經(jīng)元模型和Hebb提出的神經(jīng)元連接強(qiáng)度的修改規(guī) 則，其成果至今仍是許多神經(jīng)網(wǎng)絡(luò)模型

4、研究的基礎(chǔ)。5060年代的代表性工作 主要有Rosenblatt的感知器模型、Widrow的自適應(yīng)網(wǎng)絡(luò)元件Adaline。然 而在1969年Minsky和Papert合作發(fā) 表的Perceptron一書中闡述了一種消極 悲觀的論點(diǎn)，在當(dāng)時(shí)產(chǎn)生了極大的消極 影響，加之?dāng)?shù)字計(jì)算機(jī)正處于全盛時(shí)期 并在人工智能領(lǐng)域取得顯著成就，這導(dǎo) 致了70年代人工神經(jīng)網(wǎng)絡(luò)的研究處于 空前的低潮階段。80年代以后， 傳統(tǒng)的Von Neumann數(shù)字計(jì)算機(jī)在模擬視聽 覺的人工智能方面遇到了物理上不可逾 越的障礙。與此同時(shí)Rumelhart、McClelland和Hopfield等人在神經(jīng)網(wǎng)絡(luò) 領(lǐng)域取得了突破性進(jìn)展，神經(jīng)

5、網(wǎng)絡(luò)的熱 潮再次掀起。目前較為流行的研究工作 主要有：前饋網(wǎng)絡(luò)模型、反饋網(wǎng)絡(luò)模型、 自組織網(wǎng)絡(luò)模型等方面的理論。人工神 經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上提出 來的。它雖然反映了人腦功能的基本特 征，但遠(yuǎn)不是自然神經(jīng)網(wǎng)絡(luò)的逼真描寫， 而只是它的某種簡化抽象和模擬。求解一個(gè)問題是向人工神網(wǎng)絡(luò)的某 些結(jié)點(diǎn)輸入信息，各結(jié)點(diǎn)處理后向其它 結(jié)點(diǎn)輸出，其它結(jié)點(diǎn)接受并處理后再輸 出，直到整個(gè)神經(jīng)網(wǎng)工作完畢，輸出最 后結(jié)果。如同生物的神經(jīng)網(wǎng)絡(luò)，并非所 有神經(jīng)元每次都一樣地工作。如視、聽、 摸、想不同的事件（輸入不同），各神經(jīng) 元參與工作的程度不同。當(dāng)有聲音時(shí)， 處理聲音的聽覺神經(jīng)元就要全力工作，視覺、 觸覺神經(jīng)元

6、基本不工作， 主管思 維的神經(jīng)元部分參與工作；閱讀時(shí)，聽 覺神經(jīng)元基本不工作。在人工神經(jīng)網(wǎng)絡(luò) 中以加權(quán)值控制結(jié)點(diǎn)參與工作的程度。正權(quán)值相當(dāng)于神經(jīng)元突觸受到刺激而興 奮，負(fù)權(quán)值相當(dāng)于受到抑制而使神經(jīng)元 麻痹直到完全不工作。如果通過一個(gè)樣板問題“教會(huì)”人 工神經(jīng)網(wǎng)絡(luò)處理這個(gè)問題，即通過“學(xué) 習(xí)”而使各結(jié)點(diǎn)的加權(quán)值得到肯定，那 么，這一類的問題它都可以解。好的學(xué) 習(xí)算法會(huì)使它不斷積累知識(shí)，根據(jù)不同 的問題自動(dòng)調(diào)整一組加權(quán)值，使它具有 良好的自適應(yīng)性。止匕外，它本來就是一 部分結(jié)點(diǎn)參與工作。當(dāng)某結(jié)點(diǎn)出故障時(shí)， 它就讓功能相近的其它結(jié)點(diǎn)頂替有故障 結(jié)點(diǎn)參與工作，使系統(tǒng)不致中斷。所以, 它有很強(qiáng)的容錯(cuò)能力

7、。人工神經(jīng)網(wǎng)絡(luò)通過樣板的“學(xué)習(xí)和 培訓(xùn)”，可記憶客觀事物在空間、時(shí)間方10面比較復(fù)雜的關(guān)系，適合于解決各類預(yù) 測、分類、評(píng)估匹配、識(shí)別等問題。例 如，將人工神經(jīng)網(wǎng)絡(luò)上的各個(gè)結(jié)點(diǎn)模擬 各地氣象站，根據(jù)某一時(shí)刻的采樣參數(shù)（壓強(qiáng)、濕度、風(fēng)速、溫度），同時(shí)計(jì)算 后將結(jié)果輸出到下一個(gè)氣象站，則可模 擬出未來氣候參數(shù)的變化，作出準(zhǔn)確預(yù) 報(bào)。即使有突變參數(shù)（如風(fēng)暴，寒流） 也能正確計(jì)算。所以，人工神經(jīng)網(wǎng)絡(luò)在 經(jīng)濟(jì)分析、市場預(yù)測、金融趨勢、化工 最優(yōu)過程、航空航天器的飛行控制、醫(yī) 學(xué)、環(huán)境保護(hù)等領(lǐng)域都有應(yīng)用的前景。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性使它 近年來引起人們的極大關(guān)注，主要表現(xiàn) 在三個(gè)方面：11第一，具有自

8、學(xué)習(xí)功能。例如實(shí)現(xiàn) 圖像識(shí)別時(shí)，只需把許多不同的圖像樣 板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng) 網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過自學(xué)習(xí)功能，慢慢 學(xué)會(huì)識(shí)別類似的圖像。自學(xué)習(xí)功能對(duì)于 預(yù)測有特別重要的意義。人工神經(jīng)網(wǎng)絡(luò) 計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測、市場預(yù) 測、效益預(yù)測，其前途是很遠(yuǎn)大的。第二，具有聯(lián)想存儲(chǔ)功能。人的大 腦是具有聯(lián)想功能的。如果有人和你提 起你幼年的同學(xué)張某某，你就會(huì)聯(lián)想起 張某某的許多事情。用人工神經(jīng)網(wǎng)絡(luò)的 反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。第三， 具有高速尋找最優(yōu)解的能力C尋找一個(gè)復(fù)雜問題的最優(yōu)解，往往需要12很大的計(jì)算量，利用一個(gè)針對(duì)某問題而 設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高 速運(yùn)算能力，可能很快

9、找到最優(yōu)解。人工神經(jīng)網(wǎng)絡(luò)是未來微電子技術(shù)應(yīng) 用的新領(lǐng)域，智能計(jì)算機(jī)的構(gòu)成就是作 為主機(jī)的馮諾依曼計(jì)算機(jī)與作為智能 外圍機(jī)的人工神經(jīng)網(wǎng)絡(luò)的結(jié)合。二、生物神經(jīng)元模型神經(jīng)元是腦組織的基本單元，其結(jié) 構(gòu)如圖1所示，神經(jīng)元由三部分構(gòu)成： 細(xì)胞體，樹突和軸突；每一部分雖具有 各自的功能，但相互之間是互補(bǔ)的。樹突是細(xì)胞的輸入端，通過細(xì)胞體 間聯(lián)結(jié)的節(jié)點(diǎn)“突觸”接受四周細(xì)胞傳 出的神經(jīng)沖動(dòng)；軸突相當(dāng)于細(xì)胞的輸出13端，其端部的眾多神經(jīng)未梢為信號(hào)的輸 出端子，用于傳出神經(jīng)沖動(dòng)。神經(jīng)元具有興奮和抑制的兩種工作 狀態(tài)。當(dāng)傳入的神經(jīng)沖動(dòng)，使細(xì)胞膜電 位升高到閥值（約為40mV）時(shí)，細(xì)胞 進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由

10、軸突 輸出。相反，若傳入的神經(jīng)沖動(dòng)，使細(xì) 胞膜電位下降到低于閥值時(shí)，細(xì)胞進(jìn)入 抑制狀態(tài)，沒有神經(jīng)沖動(dòng)輸出。圖1生物神經(jīng)元結(jié)構(gòu)14、人工神經(jīng)元模型人工神經(jīng)元模型是以大腦神經(jīng)細(xì)胞 的活動(dòng)規(guī)律為原理的，反映了大腦神經(jīng) 細(xì)胞的某些基本特征，但不是也不可能 是人腦細(xì)胞的真實(shí)再現(xiàn)，從數(shù)學(xué)的角度 而言，它是對(duì)人腦細(xì)胞的高度抽象和簡 化的結(jié)構(gòu)模型。雖然人工神經(jīng)網(wǎng)絡(luò)有許 多種類型，但其基本單元一人工神經(jīng)元 是基本相同的。如圖2是一個(gè)典型的人工神經(jīng)元模型:圖2人工神經(jīng)元模型神經(jīng)元模型相當(dāng)于一個(gè)多輸入單輸Xn表示神經(jīng)元的n個(gè)輸入，W1 , W2,，Wn表示神經(jīng)元之間的連接強(qiáng) 度，稱為連接權(quán)，WiXi稱為神經(jīng)元的激活

11、值，O表示這個(gè)神經(jīng)元的輸出，每個(gè) 神經(jīng)元有一個(gè)閥值e,如果神經(jīng)元輸入 信號(hào)的加權(quán)和超過e,神經(jīng)元就處于興 奮狀態(tài)。以數(shù)學(xué)表達(dá)式描述為：O=f(WiXi- 0 )三、Matlab的神經(jīng)網(wǎng)絡(luò)工具包由于神經(jīng)網(wǎng)絡(luò)自身的特點(diǎn)，計(jì)算中 經(jīng)常涉及到大量的訓(xùn)練樣本數(shù)據(jù)、復(fù)雜 的運(yùn)算操作、繁瑣的程序設(shè)計(jì)等問題。 對(duì)此，具有強(qiáng)大功能的數(shù)學(xué)軟件Matlab ,為我們提供了神經(jīng)網(wǎng)絡(luò)工具箱Neural Netwoks Toolbox (NNT)及豐富出的非線性閥值元件,X1 , X2,1516的函數(shù)命令。NNT是進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練 和仿真的優(yōu)良平臺(tái)。常用來對(duì)網(wǎng)絡(luò)進(jìn)行 初始化、仿真、設(shè)計(jì)、調(diào)整、優(yōu)化。集 成化的處理方式、友

12、好的界面、形象的 演示過程、簡易的操作，為神經(jīng)網(wǎng)絡(luò)應(yīng) 用者節(jié)約了大量的不必要的編程時(shí)間， 使得非專業(yè)人士應(yīng)用神經(jīng)網(wǎng)絡(luò)成為了可 能。Matlab是Mathworks公司開發(fā)的 工程計(jì)算軟件包，其中有一個(gè)神經(jīng)網(wǎng)絡(luò) 工具包，可以用來方便地創(chuàng)建各種神經(jīng) 網(wǎng)絡(luò)，對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)和模擬輸出。Matlab中普遍采用的是物理和工 程學(xué)中強(qiáng)有力的矩陣描述的語言，簡潔 優(yōu)美。1718第二節(jié)感知器感知器(Pereceptron)是一種特殊的神 經(jīng)網(wǎng)絡(luò)模型， 是由美國心理學(xué)家F.Rosenblatt于1958年提出的,一層為 輸入層，另一層具有計(jì)算單元，感知器 特別適合于簡單的模式分類問題，也可 用于基于模式分類的學(xué)習(xí)

13、控制和多模態(tài)控制中。一、感知器神經(jīng)元模型感知器神經(jīng)元通過對(duì)權(quán)值的訓(xùn)練，可 以使感知器神經(jīng)元的輸出能代表對(duì)輸入 模式進(jìn)行的分類，圖2.1為感知器神經(jīng) 元模型。xo L x o w19圖2.1感知器神經(jīng)元模型感知器神經(jīng)元的每一個(gè)輸入都對(duì)應(yīng)于一個(gè)合適的權(quán)值，所有的輸入與其對(duì) 應(yīng)權(quán)值的加權(quán)和作為閥值函數(shù)的輸入。由于閥值函數(shù)的引入，從而使得感知器 可以將輸入向量分為兩個(gè)區(qū)域，通常閥函數(shù)采用雙極階躍函數(shù)，如:(2.(1)而感知器神經(jīng)元模型的實(shí)際輸出為20o f WiX,bi 1f(x)1,x 00,x 0(2.(2)其中b為閥值二、感知器的網(wǎng)絡(luò)結(jié)構(gòu)圖2.2所描述的是一個(gè)簡單的感知器 網(wǎng)絡(luò)結(jié)構(gòu)，輸入層有R個(gè)

14、輸入，Q個(gè)輸 出，通過權(quán)值Wij與s個(gè)感知器神經(jīng)元連 接組成的感知器神經(jīng)網(wǎng)絡(luò)。21SX圖2.2感知器根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫出感知器處理 單元對(duì)其輸入的加權(quán)和操作，即:RniWijpjj i(2而其輸出a為ai=f (ni+bi)(2.(4)由式2.1易知1 nibi03ii0 nibi0(2.(5)22P 1則當(dāng)輸入ni+bi大于等于0,即有ni）一bi時(shí)，感知器的輸出為1;否則輸 出為0。上面所述的單層感知器神經(jīng)網(wǎng)絡(luò)是 不可能解決線性不可分的輸入向量分類 問題，也不能推廣到一般的前向網(wǎng)絡(luò)中 去。為解決這一問題，我們可以設(shè)計(jì)多 層感知器神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)任意形狀的劃 分。圖2.3描述了一個(gè)雙層感知器

15、神經(jīng)網(wǎng) 絡(luò)。其工作方式與單層感知器網(wǎng)絡(luò)一樣， 只不過是增加了一層而已，具體的內(nèi)容 這里不做討論。三、感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則感知器的學(xué)習(xí)規(guī)則主要是通過調(diào)整 網(wǎng)絡(luò)層的權(quán)值和閥值以便能夠地網(wǎng)絡(luò)的 輸入向量進(jìn)行正確的分類。如圖2.2所示的輸入向量P、輸出和 量a和目標(biāo)向量為t的感知器神經(jīng)網(wǎng)絡(luò)， 感知器的學(xué)習(xí)規(guī)則是根據(jù)以下輸出矢量a可能出現(xiàn)的幾種情況未進(jìn)行參與調(diào)整 的：1）如果第i個(gè)神經(jīng)元的輸出是正確 的，即有ai= ti,則與第i個(gè)神經(jīng)元聯(lián)接24的權(quán)值和閥值保持不變。2）如果第i個(gè)神經(jīng)元的輸出是不正 確，應(yīng)該有兩種情況。i）實(shí)際輸出為0,而理想輸出為1,即 有a=0,而ti=1,則所有的輸入j對(duì)權(quán)

16、值和閥值進(jìn)行調(diào)整，修正值Wlj=pj, bj=1。ii）實(shí)際輸出為1,而期望輸出為0,即 有ai=1,而ti=0,則對(duì)所有的輸入j進(jìn) 行權(quán)值和閥值調(diào)整，W1j= pj, bi=一1 o基于感知器誤差e=t-a,感知器學(xué)習(xí) 規(guī)則可望寫為： W1j=ei- pj可以證明當(dāng)前輸入樣本來自線性可25分的模式時(shí)，上述學(xué)習(xí)算法在有限步同 收斂，這時(shí)所得的權(quán)值能對(duì)所有樣本正 確分類，這一結(jié)論被稱為感知器收斂定 理。四、感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要使前向神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)某種功 能，必須對(duì)它進(jìn)行訓(xùn)練，讓它逐步學(xué)會(huì) 要做的事情，并把所學(xué)到的知識(shí)記憶在 網(wǎng)絡(luò)的權(quán)值中。感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 是采用由一組樣本組成的集合來進(jìn)行

17、。 在訓(xùn)練期間，將這些樣本重復(fù)輸入，通 過調(diào)整權(quán)值使感知器的輸出達(dá)到所要求 的理想輸出。感知器的訓(xùn)練主要是反復(fù) 對(duì)感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真和學(xué)習(xí)，最 終得到最優(yōu)的網(wǎng)絡(luò)閥值和權(quán)值。26我們可以用以下方法訓(xùn)練網(wǎng)絡(luò)：1）確定我們所解決的問題的輸入向 量P、目標(biāo)向量t,并確定各向量的維數(shù)， 以及網(wǎng)絡(luò)結(jié)構(gòu)大小、神經(jīng)元數(shù)目。假定 我們采用圖2.2的網(wǎng)絡(luò)結(jié)構(gòu)。2）初始化：權(quán)值向量w和閥值向量b分別賦予1,+1之間的隨機(jī)值，并且給 出訓(xùn)練的最大次數(shù)。3）根據(jù)輸入向量P、最新權(quán)值向量w和閥值向量b,計(jì)算網(wǎng)絡(luò)輸出向量a。4）檢查感知器輸出向量與目標(biāo)向量 是否一致，或者是否達(dá)到了最大的訓(xùn)練 次數(shù)，如果是則結(jié)束訓(xùn)練，否

18、則轉(zhuǎn)入（5）。5）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)查權(quán)向量，并返回3）27五、重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)的使用方法對(duì)于感知器的初始化、訓(xùn)練、仿真，在MATLABP神經(jīng)網(wǎng)絡(luò)工具箱中分別提供了init( ), trainp()和sim()函數(shù)。1.初始化函數(shù)init()感知器初始化函數(shù)init()可得到R個(gè) 輸入，S個(gè)神經(jīng)元數(shù)的感知器層的權(quán)值 和閥值，其調(diào)用格式為：w,b=init(R,S)另外，也可以利用輸入向量P和目標(biāo) 向量t來初始化。w, b=init(p , t)在介紹trainp()函數(shù)前，讓我們先介 紹一下訓(xùn)練的控制參數(shù)tp。tp=disp_freq max_epoch28其中disp_freq指定

19、兩次顯示間訓(xùn)練 次數(shù)，缺省值為1; map_epoch指定訓(xùn) 練的最大次數(shù)，缺省值為100。調(diào)用訓(xùn)練函數(shù)trainp()函數(shù)后又得到 新的權(quán)值矩陣，閥值向量以及誤差te。trainp()函數(shù)所需要的輸入變量為：輸 入向量P、目標(biāo)向量t以及網(wǎng)絡(luò)的初始 權(quán)值和閥值，訓(xùn)練的控制參數(shù)tp。調(diào)用 格式為：w,b,te=trainp(w,b,p,t,tp)由于函數(shù)trainp()并不能保證感知器 網(wǎng)絡(luò)所得到的網(wǎng)絡(luò)權(quán)值和閥值達(dá)到要 求。因此，在訓(xùn)練完后，要用下列驗(yàn)證 語句驗(yàn)證一下。a=sim(p, w, b);29if all(a= =t),disp( It works! ),end假如網(wǎng)絡(luò)不能成功運(yùn)行，就

20、可以繼續(xù) 運(yùn)用trainp()函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。經(jīng) 足夠的訓(xùn)練后，網(wǎng)絡(luò)仍達(dá)不到要求，那 么就應(yīng)當(dāng)認(rèn)真分析一下，感知器網(wǎng)絡(luò)是 否適合于這個(gè)問題。3.仿真函數(shù)sim()sim()函數(shù)主要用于計(jì)算網(wǎng)絡(luò)輸出。它 的調(diào)用比較簡單。a=sim(p,w,b)六、感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例為了便于消化與理解感知器神經(jīng)網(wǎng)絡(luò)的四只問題，下面將給出一個(gè)具體的 問題進(jìn)行分析，問題的描述如下：兩種蝶蟲Af和Apf已由生物學(xué)家30W.L.Grogan與w. w. Wirth(1981)根據(jù) 它們觸角長度和翼長中以區(qū)分。見表2.1中9Af蝶和6只Apf蝶的數(shù)據(jù)。根據(jù)給 出的觸角長度和翼長可識(shí)別出一只標(biāo)本 是Af還是Apf。1

21、.給定一只Af或者Apf族的蒙，你 如何正確地區(qū)分它屬于哪一族？2.將你的方法用于觸角長和翼中分 別為(1.24,1.80)、( 1 . 2 8 , 1 . 8 4 )、( 1 . 4 0 , 2 . 0 4 )的 三 個(gè) 標(biāo) 本31翼長1.721.741.641.821.901.701.701.822.08AP f觸角長1.141.181.201.261.281.30翼長1.781.961.862.002.001.96輸入向量為:p=1.24 1.36 1.38 1.378 1.38 1.40 1.481.54 1.56 1.14 1.18 1.20 1.26 1.281.30;1.72 1

22、.74 1.64 1.82 1.90 1.70 1.701.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目標(biāo)向量為：t=1 1 1 1 1 1 11 1 0 0 0 0 0 0321.42.3Vectors to be Classified0.911.11.21.31.41.51.61.71.8P圖形顯示，目標(biāo)值1對(duì)應(yīng)的用“+”、目標(biāo)值0對(duì)應(yīng)的用“o”來表示：plotpv(p , t)為解決該問題，利用函數(shù)newp構(gòu)造 輸入量在0,2.5之間的感知器神經(jīng)網(wǎng)絡(luò) 模型：net=newp(0 2.5 ; 0 2.5) 1)初始化網(wǎng)絡(luò)：net=init(net)利用函數(shù)

23、adapt調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值，直到誤差為0時(shí)訓(xùn)練結(jié)束：net, y, e=adapt(net, p, t)訓(xùn)練結(jié)束后可得如圖2.5的分類方式，可見感知器網(wǎng)絡(luò)將樣本正確地分成 兩類：33圖2.5網(wǎng)絡(luò)訓(xùn)練結(jié)果感知器網(wǎng)絡(luò)訓(xùn)練結(jié)束后，可以利用函 數(shù)sim進(jìn)行仿真，解決實(shí)際的分類問題:p1=1.24;1.80a1=sim(net,p1)p2=1.28;1.84a2=sim(net,p2)p3=1.40;2.04a3=sim(net,p3)網(wǎng)絡(luò)仿真結(jié)果為：34p(nVectors to be Classifieda1=0 a2=0 a3=035第三節(jié)線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)是最簡單的一種神經(jīng) 元網(wǎng)絡(luò)，由

24、一個(gè)或多個(gè)線性神經(jīng)元構(gòu)成。1959年，美國工程師B.widrow和M.Hoft提出自適應(yīng)線性元件(Adaptive linear element,簡稱Adaline)是線性 神經(jīng)網(wǎng)絡(luò)的最早典型代表。 它是感知器 的變化形式，尤其在修正權(quán)矢量的方法 上進(jìn)行了改進(jìn)，不僅提高了訓(xùn)練收斂速 度，而且提高了訓(xùn)練精度。線性神經(jīng)網(wǎng) 絡(luò)與感知器神經(jīng)網(wǎng)絡(luò)的主要不同之處在 于其每個(gè)神經(jīng)元的傳遞函數(shù)為線性函 數(shù)，它允許輸出任意值，而不是象感知 器中只能輸出?；?。此外，線性神經(jīng) 網(wǎng)絡(luò)一般采用Widrow - Hoff(簡稱W36H）學(xué)習(xí)規(guī)則或者最小場方差 （Least mean Square,簡稱LMS）規(guī)則來調(diào)整

25、 網(wǎng)絡(luò)的權(quán)值和閥值。線性神經(jīng)網(wǎng)絡(luò)的主要用途是線性逼 近一個(gè)函數(shù)表達(dá)式，具有聯(lián)想功能。另 外，它還適用于信號(hào)處理濾波、預(yù)測、 模式識(shí)別和控制等方面。一、線性神經(jīng)元模型線性神經(jīng)元可以訓(xùn)練學(xué)習(xí)一個(gè)與之 對(duì)應(yīng)的輸入/輸出函數(shù)關(guān)系，或線性逼 近任意一個(gè)非線性函數(shù)，但它不能產(chǎn)生 任何非線性的計(jì)算特性。圖3.1描述了一個(gè)具有R個(gè)輸入的由純線性函數(shù)組成的線性神經(jīng)元。PoP o37圖3.1線性神經(jīng)元模型由于線性神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的傳遞 函數(shù)為線性函數(shù)，其輸入與輸出之間是 簡單的比例關(guān)系：a=g(w*p) b)其中函數(shù)g(x)為線性函數(shù)。、線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3.2描述了一個(gè)由S個(gè)神經(jīng)元相38并聯(lián)形成一層網(wǎng)絡(luò)，這種

26、網(wǎng)絡(luò)也稱為Madaline網(wǎng)絡(luò)。SX圖3.2線性神W H學(xué)習(xí)規(guī)則只能訓(xùn)練單層的線性 神經(jīng)網(wǎng)絡(luò)，但這并不是什么嚴(yán)重問題。 因?yàn)閷?duì)線性神經(jīng)網(wǎng)絡(luò)而言，完全可以設(shè) 計(jì)出一個(gè)性能完全相當(dāng)?shù)膯螌泳€性神經(jīng) 網(wǎng)絡(luò)。三、線性神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則39前面我們提到過，線性神經(jīng)網(wǎng)絡(luò)采用W-H學(xué)習(xí)規(guī)則。W-H學(xué)習(xí)規(guī)則是Widrow是Hoft提出的用來求得權(quán)值和 閥值的修正值的學(xué)習(xí)規(guī)則。首先要定義一個(gè)線性網(wǎng)絡(luò)的輸出誤差函數(shù)：E(w,b)=2(ta)2=-2(tw*p)23.1由式3.1可看出，線性網(wǎng)絡(luò)具有拋物 線型誤差函數(shù)所形成的誤差表面。所以 只有一個(gè)誤差最小值。通過W H學(xué)習(xí) 規(guī)則來計(jì)算權(quán)值和偏差的變化，并使網(wǎng) 絡(luò)

27、的誤差平方和最小化，總能夠訓(xùn)練一 個(gè)網(wǎng)絡(luò)的誤差趨于最小值。這可通過沿 著相對(duì)于誤差平方和最速下降方向連續(xù)40調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值來實(shí)現(xiàn)。根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前 位置上E (w,b)的梯度，對(duì)于第i輸出節(jié)點(diǎn)為：Wij (tiai)PjWj3.2或表示為：wijiPj3.3bi i3.4這里S i定義為第i個(gè)輸出節(jié)點(diǎn)的誤差：3 i=tiai3.5式3.3稱為W H學(xué)習(xí)規(guī)則。W H學(xué)習(xí)規(guī)則的權(quán)值變化量正比于網(wǎng)絡(luò)的輸41出誤差及網(wǎng)絡(luò)的輸入向量。它不需求導(dǎo) 數(shù)，所以算法簡單，又具有收斂速度快 和精度高的優(yōu)點(diǎn)。式3.3中的 稱為學(xué)習(xí)率，學(xué)習(xí)率的選 取可以適當(dāng)防止學(xué)習(xí)過程中產(chǎn)生振蕩， 提高

28、收斂速度和精度。四、線性神經(jīng)網(wǎng)絡(luò)訓(xùn)練首先給線性神經(jīng)網(wǎng)絡(luò)提供輸入向量P,計(jì)算線性網(wǎng)絡(luò)層的輸出向量a,并求 得誤差e=t-a;然后比較輸出的誤差平方和是否小 于期望的誤差平方和，如果是，則停止 訓(xùn)練；否則，采用W H規(guī)則調(diào)整權(quán)值 和閥值，反復(fù)進(jìn)行。如果經(jīng)過訓(xùn)練網(wǎng)絡(luò)不能達(dá)到期望目42標(biāo)，可以繼續(xù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。經(jīng)過足 夠的訓(xùn)練后，網(wǎng)絡(luò)還是達(dá)不到要求。那 么就仔細(xì)地分析一下，所要解決的問題，是否適合于線性神經(jīng)網(wǎng)絡(luò)。五、重要線性神經(jīng)網(wǎng)絡(luò)函數(shù)的使用方法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中提供 了基于線性神經(jīng)網(wǎng)絡(luò)的初始化函數(shù)initlin()、設(shè)計(jì)函數(shù)solvelin()、仿真函 數(shù)simulin()以及訓(xùn)練函數(shù)

29、trainwh和adaptwh。下面我們將分別介紹多種函數(shù)的使用方法。1 .初始化函數(shù)initlin()函數(shù)initlin()對(duì)線性神經(jīng)網(wǎng)絡(luò)初始化 時(shí)，將權(quán)值和閥值取為絕對(duì)值很小的數(shù)。 其使用格式43w,b=initlin(R,S)R為輸入數(shù)，S為神經(jīng)元數(shù)。另外，R和S也可用輸入向量P和目 標(biāo)向量t來代替，即w,b=initlin(p,t)2 .設(shè)計(jì)函數(shù)solvelin()與大多數(shù)其它神經(jīng)網(wǎng)絡(luò)不同，只要已 知其輸入向量P和目標(biāo)向量t,就可以 直接設(shè)計(jì)出線性神經(jīng)網(wǎng)絡(luò)使得線性神經(jīng) 網(wǎng)絡(luò)的權(quán)值矩陣誤差最小。其調(diào)用命令 如下：w,b=solve lin(p,t);3 .仿真函數(shù)simulin()函數(shù)s

30、imulin()可得到線性網(wǎng)絡(luò)層的 輸出44a=simulin(p,w,b)其中a為輸出向量，b為閥值向量4 .訓(xùn)練函數(shù)trainwh和adaptwh()線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)有兩種：trainwh()和adaptwh()。其 中函數(shù)trainwh可以對(duì)線性神經(jīng)網(wǎng)絡(luò)進(jìn)行離線 訓(xùn)I練；而函數(shù)adaptwh()可以對(duì)線性神 經(jīng)網(wǎng)絡(luò)進(jìn)行在線自適應(yīng)訓(xùn)練。利用trainwh()函數(shù)可以得到網(wǎng)絡(luò)的 權(quán)矩陣w,閥值向量b,實(shí)際訓(xùn)練次數(shù)te以及訓(xùn)練過程中網(wǎng)絡(luò)的誤差平方和lr。w,b,te,lr=trainwh(w,b,p,t,tp)輸入變量中訓(xùn)練參數(shù)tp為： tp(1)指定兩次更新顯示間的訓(xùn)練次45數(shù)，其缺省值為25;tp(2)指定訓(xùn)練的最大次數(shù)，其缺省 值為100;tp(3)指定誤差平方和指標(biāo)，其缺省 值為0.02;tp(4)指定學(xué)習(xí)速