神經(jīng)網(wǎng)絡1參考模板

1/1814神經(jīng)網(wǎng)絡系統(tǒng)及其應用14.1、基本概念14.1.1人類兩類思維模式人的思維有邏輯性和直觀性兩種不同的基本方式，邏輯性的思維是指根據(jù)邏輯規(guī)則進行推理的過程，它是將信息概念化，按串行的模式進行邏輯分析和推理。而直觀性的思維是將分布式存儲的信息并行協(xié)同處理的過程。譬如，我們常常無意識地將分布在人腦各部位的信息綜合起來，結果忽然間產生想法或解決問題的辦法，這種思維方式的根本在于以下兩點：（1）信息是通過神經(jīng)元上的興奮模式分布存儲在網(wǎng)絡上；（2）信息處理是通過神經(jīng)元之間同時相互作用的動態(tài)過程來完全的。14.1.2人工神經(jīng)網(wǎng)絡（ArtificialNewralNetwork）人工神經(jīng)網(wǎng)絡是模擬人的直觀性思維模式,在現(xiàn)代生物學研究人腦組織所取得的成果基礎上，用大量簡單的處理單元廣泛連結組成復雜網(wǎng)絡，用以模擬人類大腦神經(jīng)網(wǎng)絡結構與行為。人工神經(jīng)網(wǎng)絡是一個非線性系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。今天的人工神經(jīng)網(wǎng)絡工具已有人腦功能的基本特征：學習、記憶和歸納。學習：人工神經(jīng)網(wǎng)可以被訓練，通過訓練實件來決定自身行為。記憶（概括）：人工神經(jīng)網(wǎng)絡對外界輸入信息的少量丟失或網(wǎng)絡組織的局部缺損不敏感，正如大腦每日有大量神經(jīng)細胞正常死亡，但不影響大腦的功能。聯(lián)想（歸納）：例如，對一張人像的一系列不完整的照片識別訓練后，再任選一張缺損的照片讓神經(jīng)網(wǎng)絡認別，網(wǎng)絡將會作出一個完整形式人像照片的響應。14.2、神經(jīng)網(wǎng)絡模型14.2.1生物神經(jīng)元模型圖14.1神經(jīng)元結構14.2.2人工神經(jīng)元模型人工神經(jīng)元是對生物神經(jīng)元的簡化和模擬，它是神經(jīng)網(wǎng)絡的基本處理單元。圖14.2所示為一種簡化的神經(jīng)元結構。這是一個多輸入，單輸出的非線性元件，其輸入輸出關系：(14.2-1)x0=1θx1ω1iyix2ω2iΣΣ:ωnixn圖14.2神經(jīng)元結構模型:從其它細胞傳來的輸入信號:閾值。:從細胞j到細胞i的連接權值:傳遞函數(shù)。神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡是由大量的神經(jīng)元廣泛互連而成的網(wǎng)絡。人工神經(jīng)網(wǎng)絡（模型）是根據(jù)人腦原理將大量人工神經(jīng)元連結構成一個神經(jīng)網(wǎng)絡去模擬人腦神經(jīng)網(wǎng)絡的特性。網(wǎng)絡可分為若干層：輸入層、中間層（中間層可為若干層）、輸出層、如圖14.3所示：：....:：：::：:輸入層中間層輸出層圖14.3神經(jīng)網(wǎng)絡如果每一層神經(jīng)元只接受前一層神經(jīng)元的輸出稱為前向網(wǎng)絡。如果網(wǎng)絡中任意兩個神經(jīng)元都可能有聯(lián)接稱為互相連接型網(wǎng)絡。目前已有數(shù)十種神經(jīng)網(wǎng)絡模型，可分為三大類：前向網(wǎng)絡（FeedforwardNNs）反饋網(wǎng)絡（FeedbackNNs）自組織網(wǎng)絡（Self-organizingNNs）有代表性的網(wǎng)絡模型有感知器、BP網(wǎng)絡、線性神經(jīng)網(wǎng)絡、Hopfield網(wǎng)絡（FecdbackNNs）、自組織網(wǎng)絡等。以下分別介紹幾種有代表性的網(wǎng)絡。感知器（Perceptron）美心理學家Rosenbla等于1958年提出了一個最基本的但具有學習功能的層狀網(wǎng)絡，由三層組成，既S（Sensory）層，A（Association）層和R（Response）層。其中，S層與A層是之間的耦合是固定的，A層為R層之間的耦合程度（權值）可通過學習改變。見圖14.4SAR:::::圖14.4感知器感知器的R層的單元特性（傳遞函數(shù)）采用符號函數(shù)(見14.2-2)，當輸入的加權和大于或等于閥值時，感知器輸出為1，否則為O或為-1。1x≥of(x)=(14.4-2)0x<0顯然，這類神經(jīng)網(wǎng)絡可方便地用于模式分類，但是，它也有嚴重的局限性。2線性神經(jīng)網(wǎng)絡線性神經(jīng)網(wǎng)絡也是一種簡單的神經(jīng)元模型，可由一個或多個線性神經(jīng)元構成，與感知器輸入的1或0不同。線性神經(jīng)網(wǎng)絡中神經(jīng)元的傳遞函數(shù)為線性函數(shù)f(x)=x。因此，線性神經(jīng)網(wǎng)絡的輸入輸出之間是簡單的比例關系。BP網(wǎng)絡（BackpropagationNN）BP網(wǎng)絡是一單向性播的多層單向網(wǎng)絡，其結構如圖14.2。網(wǎng)絡除輸入輸出節(jié)點外，有一層或多層的隱層節(jié)點，同層節(jié)點中沒有任何耦合。輸入信號從輸入層節(jié)點，依次傳過各隱層節(jié)點，每一層節(jié)點的輸出只影響下一層節(jié)點的輸出。每個節(jié)點都是一個單元神經(jīng)元結構，其單元特性（傳遞函數(shù)）通常采用Sigmoicl型。（14.2-3）或為雙曲正切函數(shù) BP網(wǎng)絡采用的傳遞（變換）函數(shù)為可微的單調逆增函數(shù)，這對于網(wǎng)絡的學習訓練具有非常重要的意義。另外，可以證明，對于統(tǒng)一連續(xù)函數(shù)，都可用一個三層BP網(wǎng)絡以任意希望的絕對精度來實現(xiàn)。（當然，盡管如此，為了減少隱層節(jié)點總數(shù)，有時還是寧愿采用多層BP網(wǎng)絡）。因此，BP網(wǎng)絡是一個非常重要的神經(jīng)網(wǎng)絡模型。4Hopfield網(wǎng)絡（反饋網(wǎng)絡）以上介紹的幾種都是單向網(wǎng)絡。網(wǎng)絡中的每一層神經(jīng)元都只接受前一層神經(jīng)元的輸出。而在反饋網(wǎng)絡中，輸入信號決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列狀態(tài)轉移后，逐漸收斂于平衡狀態(tài)。因此，反饋網(wǎng)絡是一種動態(tài)網(wǎng)絡，它需要工作一段時間才能穩(wěn)定。穩(wěn)定性是反饋網(wǎng)絡的最重要問題之一。J.Hopfield在1982年發(fā)表的論文宣告了神經(jīng)網(wǎng)絡的第二次浪潮的到來，他表示，Hopfield模型可用作聯(lián)想存儲器。如果可把Lyapunov函數(shù)定義為最優(yōu)函數(shù)的話，Hopfield網(wǎng)絡還可用來解決快速最優(yōu)問題。Hopfield網(wǎng)絡的傳遞函數(shù)采用了對稱飽和線性函數(shù)f(x)(14.2-4)x圖14.5對稱飽和線性函數(shù)5自組織網(wǎng)絡人腦由巨量的神經(jīng)細胞組成，但它們并非都起同樣的作用，處于空間不同區(qū)域的神經(jīng)細胞分工有所不同。例如，在聽覺通道的層次上，其神經(jīng)元與神經(jīng)纖維在結構上的排列可能與頻率有密切的關系，對于某個頻率,相應的神經(jīng)元可能具有更大更積極的響應。自組織神經(jīng)網(wǎng)絡模型的建立正是基于這樣一種認識，它是一種無教師學習的神經(jīng)網(wǎng)絡。對于輸入模式，神經(jīng)網(wǎng)絡的不同區(qū)域具有不同的響應特征，通常只有一個神經(jīng)元或局部區(qū)域的神經(jīng)元對輸入模式有積極響應，同時，這一個過程是自動完成的。自組織神經(jīng)網(wǎng)絡模型有自組織特征映射，網(wǎng)絡CPN模型等。自組織神經(jīng)網(wǎng)絡應用廣泛，可用于語言識別，圖象壓縮，機器人控制，優(yōu)化問題等。最后，應當認識到，人類神經(jīng)網(wǎng)絡不論結構還是功能都是經(jīng)歷了漫長的歷程演變而成，而今天人工智能研究者提出的任何一個人工神經(jīng)網(wǎng)絡都只能說是對大腦組織與功能的一種樸素的模仿。任何一個神經(jīng)元的結構都忽略了一些生物原形的特性，如沒有考慮影響網(wǎng)絡動態(tài)特性的時間延遲，輸入立即產生輸出；更重要的是，它們不包括同步或異步的影響（而這個特性原本十分關鍵）。但既便如此，人工神經(jīng)網(wǎng)絡這種樸素的模仿依然取得了很有影響的效果，顯示了比一般方法更具有人腦的特征。如：從經(jīng)驗中學習的能力，在已有知識上進行概括的能力，完成抽取事物特征的能力等。14．3神經(jīng)網(wǎng)絡的學習算法如前所述，人工神經(jīng)網(wǎng)絡近似函數(shù)處理信息的能力完全取決于網(wǎng)絡中各神經(jīng)元之間的耦合權值。對于較大規(guī)模的網(wǎng)絡，權值不可能一一設定。因此，網(wǎng)絡本身必須具有學習的功能，既能夠從系統(tǒng)模式的學習中逐漸調整權值，使網(wǎng)絡整體具有近似函數(shù)或處理信息的功能。網(wǎng)絡的這種學習過程亦被稱之為訓練。14.3.1學習方法按照學習方式，網(wǎng)絡學習可分為兩大類，有教師學習（Supervisedlearning）和無教師學習（unsupervisedlearning）。在有教師學習的方式中，網(wǎng)絡的輸出和希望的輸出（即教師信號）進行比較，如果存在差錯，則利用一些算法改變網(wǎng)絡權值使差錯減小。通常訓練一種網(wǎng)絡要求有許多這樣配對的訓練范例，通過使用訓練范例集的范例，逐漸調整權值，直至整個訓練范例集的差值達到可接受的程度。顯然，很難認為這種完全通過比較學習結果和實際所需結果的學習方式便是人類大腦的學習機制，因為如果這樣的話，又如何去解釋這個實際所需結果是從何而來？因此，有觀點認為無教師學習方式應更接近生物系統(tǒng)的學習機制。在無教師學習方式中，訓練范例集僅由輸入向量組成，學習算法修改網(wǎng)絡權值，使其生成的輸出向量是一致的，也就是說，若訓練范例集中有兩個充分類似的輸入向量，它們應生成兩個充分近似的輸出向量，在這樣一種統(tǒng)計分類的原則下，建立起輸入-輸出關系。14.3.2Hebb學習規(guī)則Hebb學習規(guī)則是一種無教師學習方法，其原理基于這樣一個生物學研究發(fā)現(xiàn)：當連接著的神經(jīng)元對同時處于興奮狀態(tài)時它們之間的突觸是增加的，因此經(jīng)常應用的路徑將逐步增強（這可用來解釋“習慣成自然”和“溫故而知新”）。根據(jù)這個認識而設立的Hebb學習規(guī)則為：根據(jù)一對連接著的神經(jīng)元受刺激的程度增加連結弧的權值，用符號可表示為：（14.3-1）ωij(k)：調整前，神經(jīng)元i到j的連接弧權值；ωij(k+1)：調整后，神經(jīng)元i到j的連接弧權值；：神經(jīng)元I，j的激活水平。當神經(jīng)元由（14.2-1）描述時,即Hebb學習規(guī)則可寫成yi：神經(jīng)元i的輸出值和神經(jīng)元j的輸入值yj：神經(jīng)元j的輸出值和神經(jīng)元j的輸入值a——學習率常數(shù)14.4、神經(jīng)網(wǎng)絡的應用14.4.1應用概況人工神經(jīng)網(wǎng)絡由于具有大規(guī)模并行處理、自適應學習能力和分布式信息存儲等特點，已經(jīng)得到較多的應用。在實際應用方面，其應用已涉及到經(jīng)濟、化學工程、生物化學、自動控制、航空航天等許多領域，從控制理論和方法方面來說，其應用主要表現(xiàn)在以下方面。模式信息處理和模式識別最優(yōu)化系統(tǒng)辯識復雜控制尤其是對于非線性系統(tǒng)，因其復雜性，至今尚無完整的系統(tǒng)解析方法和系統(tǒng)控制設計方法。利用神經(jīng)網(wǎng)絡來辯識和控制非線性系統(tǒng)，給這一領域帶來了良好的前景。14.4.2應用舉例（一）模式分類兩類模式的分類，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。感知器神經(jīng)元神經(jīng)網(wǎng)絡是由線性網(wǎng)絡函數(shù)組成，特別適用于簡單的模式分類。雖然用一個單感知器神經(jīng)單元對一個簡單的異或（XOR）函數(shù)也無法表示其輸入輸出關系。但是，也可證明。如果兩類模式是線性可分的（存在一個超平面將它們分開），則算法一定收斂。以下是一個簡單的模式分類問題。例14.1采用單一感知器神經(jīng)元解決一個簡單的分類問題:將二維平面上的四個輸入矢量分為兩類,其中兩個矢量對應的目標值為1,另兩個矢量對應的目標值為0,即輸入矢量：目標分類矢量：解：該例題為MATLAB/NNETTOOLBOX中的一個示范程序，以下為具體程序清單，其中對各條指令及程序段的功能給出了詳細說明：%Chp14_1Classificationwitha2-inputperceptron.echoonclc%=================================%INITP-Inititializesaperceptronlayer.%SIMUP-Simulatesaperceptronlayer.%TRAINP-Trainsaperceptronlayerwithperceptronrule.%=================================%CLASSIFICATIONWITHA2-INPUTPERCEPTRON:%Usingtheabovefunctionsa2-inputhardlimitneuronis%trainedtoclassify4inputvectorsintotwocategories.pause%Strikeanykeytocontinue...clc%DEFININGACLASSIFICATIONPROBLEM%=================================%ArowvectorPdefinesfour2-elementinputvectors:P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.5+1.0];%ArowvectorTdefinesthevector'stargetcategories.T=[1100];pause%Strikeanykeytoseeaplotofthesevectors...clc%PLOTTINGTHEVECTORSTOCLASSIFY%================================%WecanplotthesevectorswithPLOTPV:plotpv(P,T);%Theperceptronmustproperlyclassifythe4inputvectorsinP%intothetwocategoriesdefinedbyT.pause%Strikeanykeytodefininetheneuralnetwork...figureclc%DEFINETHEPERCEPTRON%=========================%PerceptronshaveHARDLIMneurons.Theseneuronsarecapable%ofseparatinganinputspacewithastraightlineintotwo%categories(0and1).%INITPgeneratesinitialweightsandbiasesforourneuron:[W,b]=initp(P,T)echooffk=pickic;ifk==2W=[-0.81610.3078];b=[-0.1680];endechoonclc%INITIALPERCEPTRONCLASSIFICATION%=================================%Theinputvectorscanbereplotted...plotpv(P,T)%...withtheneuron'sinitialattemptatclassification.plotpc(W,b)%Theneuronprobablydoesnotyetmakeagoodclassification!%Fearnot...wearegoingtotrainit.pause%Strikeanykeytotraintheperceptron...clc%TRAININGTHEPERCEPTRON%=======================%TRAINPtrainsperceptronstoclassifyinputvectors.%TRAINPreturnsnewweightsandbiasesthatwillforma%betterclassifier.Italsoreturnsthenumberofepochs%theperceptronwastrainedandtheperceptron'serrors%throughouttraining.%Trainingbegins...pleasewait...[W,b,epochs,errors]=trainp(W,b,P,T,-1);%...andfinishes.pause%Strikeanykeytoseeaplotoferrors...clc%PLOTTINGTHEERRORCURVE%========================%Heretheerrorsareplottedwithrespecttotrainingepochs:figureploterr(errors);pause%Strikeanykeytousetheclassifier...clc%USINGTHECLASSIFIER%====================%WecannowclassifyanyvectorwelikeusingSIMUP.%Letstryaninputvectorof[-0.5;0]:p=[-0.5;0];a=simup(p,W,b)pause%Strikeanykeytousetheclassifier...clc%Now,useSIMUPtotestwhether[0.3;-0.5]iscorrectly%classifiedas0.p=[0.3;-0.5];a=simup(p,W,b)echooffdisp('EndofNN_Class')程序運行后可得輸入矢量圖、網(wǎng)絡訓練后的分類結果及相應的誤差變化如圖14.6-14.8所示：圖14.6輸入矢量圖圖14.7分類結果圖14.8誤差變化曲線（二）系統(tǒng)辯識所謂系統(tǒng)辯識是指在輸入和輸出數(shù)據(jù)的基礎上，從一組給定的模型類中確定一個與所測系統(tǒng)等價的模型，在實際應用中，通常的做法是先確定一個可能合適的模型結構，然后在模型輸出和系統(tǒng)輸出的差的平方和最?。ㄗ钚《藴蕜t）的前提下求出模型的參數(shù)。利用神經(jīng)網(wǎng)絡辯識非線性動態(tài)系統(tǒng)，是指構造一個神經(jīng)網(wǎng)絡，然后根據(jù)系統(tǒng)輸出與網(wǎng)絡的輸出來調整和更新網(wǎng)絡的參數(shù)（權連結數(shù)值與閥值），使網(wǎng)絡的映射與系統(tǒng)輸入輸出關系相同。這種經(jīng)過學習的神經(jīng)網(wǎng)絡辯識模型，將對學習中未出現(xiàn)過的輸入信號仍能產生期望的輸出信號。以下是對一個線性系統(tǒng)進行辯識的例，由于是線性系統(tǒng)，所以選用線性網(wǎng)絡來建模。這樣，計算迅速，而且模型誤差極小。例14.2線性網(wǎng)絡在線性系統(tǒng)辯識中的應用。1問題描述對于有限沖擊響應線性系統(tǒng)，有輸入信號x，其周期為5秒，每25毫秒采樣一次，信號x為time=0:0.025:5;x=sin(sin(time).*time*10);假設系統(tǒng)的輸出測量值為t=filter（[10.5–1.5],1,x）;系統(tǒng)的輸入、輸出值如圖14.9所示.（a）信號x（b）系統(tǒng)輸出圖14.9系統(tǒng)的輸入、輸出值網(wǎng)絡設計此例中,應用一個線性網(wǎng)絡來進行系統(tǒng)辯識.該網(wǎng)絡設計為三個輸入和一個輸出,其輸入由信號x的當前值和前兩個時刻的值,可由函數(shù)delaysig生成p=delaysig(x,0,2)然后，可利用函數(shù)solvelin來設計一個線性網(wǎng)絡[w，b]=solvelin（p，w，b）網(wǎng)絡性能檢驗網(wǎng)絡的權值和閾值確定后，可進一步利用函數(shù)simulin對網(wǎng)絡性能進行檢驗并比較網(wǎng)絡輸出與系統(tǒng)實際輸出結果。以下是相應的MATLAB源程序%Linearsystemidentification.clcpause%Strikeanykeytocontinue...clcti