人工神經(jīng)網(wǎng)絡綜述(共25頁)

1、精選優(yōu)質文檔-傾情為你奉上目錄人工神經(jīng)網(wǎng)絡綜述人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，ANN）系統(tǒng)是 20 世紀 40 年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調的連接權值連接而成，具有大規(guī)模并行處理、分布式信 息存儲、良好的自組織自學習能力等特點。BP（Back Propagation）算法又稱為誤差 反向傳播算法，是人工神經(jīng)網(wǎng)絡中的一種監(jiān)督式的學習算法。BP 神經(jīng)網(wǎng)絡算法在理 論上可以逼近任意函數(shù)，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。而且網(wǎng)絡的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡的學習系數(shù)等參數(shù)可根據(jù)具體情況設定，靈活性很大，在優(yōu)化、信號處理與模式識

2、別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。1 人工神經(jīng)網(wǎng)絡算法的工作原理人工神經(jīng)元的研究起源于腦神經(jīng)元學說。19世紀末，在生物、生理學領域，Waldeger等人創(chuàng)建了神經(jīng)元學說。人們認識到復雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個以上的神經(jīng)元，每立方毫米約有數(shù)萬個，它們互相聯(lián)結形成神經(jīng)網(wǎng)絡，通過感覺器官和神經(jīng)接受來自身體內外的各種信息，傳遞至內，經(jīng)過對信息的分析和綜合，再通過運動神經(jīng)發(fā)出控制信息，以此來實現(xiàn)機體與內外環(huán)境的聯(lián)系，協(xié)調全身的各種機能活動。神經(jīng)元也和其他類型的細胞一樣，包括有細胞膜、細胞質和。但是神經(jīng)細胞的形態(tài)比較特殊，具有許多突起，因此又分

3、為細胞體、軸突和樹突三部分。細胞體內有，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。樹突是細胞體的延伸部分，它由細胞體發(fā)出后逐漸變細，全長各部位都可與其他神經(jīng)元的末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結合部，聯(lián)系界面之間間隙約為（1550)×10米。突觸可分為與抑制性兩種類型，它相應于神經(jīng)元之間耦合的極性。每個神經(jīng)元的突觸數(shù)目正常，最高可達10個。各神經(jīng)元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息的功能。利用大量神經(jīng)元相互聯(lián)接組成可顯示出人的大腦的某些特征。是由大

4、量的簡單基本元件神經(jīng)元相互聯(lián)接而成的自適應非線性。每個神經(jīng)元的結構和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復雜。反映了人腦功能的若干基本特性，但并非的逼真描述，只是某種模仿、簡化和抽象。與數(shù)字計算機比較，在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運算，而是能夠自身適應環(huán)境、總結規(guī)律、完成某種運算、識別或過程控制。首先要以一定的學習準則進行學習，然后才能工作。現(xiàn)以對于寫“A”、“B”兩個字母的識別為例進行說明，規(guī)定當“A”輸入網(wǎng)絡時，應該輸出“1”，而當輸入為“B”時，輸出為“0”。所以的準則應該是：如果網(wǎng)絡作出錯誤的的判決，則通過網(wǎng)絡的學習，應使得網(wǎng)絡

5、減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡的各連接權值賦予(0，1)內的隨機值，將“A”所對應的圖象模式輸入給網(wǎng)絡，網(wǎng)絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網(wǎng)絡的輸出。在此情況下，網(wǎng)絡輸出為“1”和“0”的各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網(wǎng)絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。如果輸出為“0”(即結果錯誤)，則把網(wǎng)絡連接朝著減小綜合輸入加權值的方向調整，其目的在于使網(wǎng)絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網(wǎng)絡輪番輸入若干個手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡按以上學習方法進行

6、若干次學習后，網(wǎng)絡判斷的正確率將大大提高。這說明網(wǎng)絡對這兩個模式的學習已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡的各個連接權值上。當網(wǎng)絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。一般說來，網(wǎng)絡中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。2 人工神經(jīng)網(wǎng)絡研究內容神經(jīng)網(wǎng)絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。目前，主要的研究工作集中在以下幾個方面：（1）生物原型研究從生理學，心理學、剖析學、腦科學、病理學等生物科學方面研究神經(jīng)細胞、神經(jīng)網(wǎng)絡、神經(jīng)系統(tǒng)的生物原型結構及其功能基理。（2）建立理論模型根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡的理論模型，包

7、括概念模型、知識模型、物理化學模型、數(shù)學模型等。（3）網(wǎng)絡模型與算法研究在理論模型研究的基礎上構建具體的神經(jīng)網(wǎng)絡模型，以實現(xiàn)計算機模擬或準備制作硬件，包括網(wǎng)絡學習算法的研究。這方面的工作也被稱為技術模型研究。神經(jīng)網(wǎng)絡用到的算法就是向量乘法，并且廣泛應用符號函數(shù)及其各種逼近。并行、容錯、可以硬件實現(xiàn)以及自我學習特征，是神經(jīng)網(wǎng)絡的幾個基本優(yōu)點，也是神經(jīng)網(wǎng)絡計算方法與傳統(tǒng)方法的區(qū)別所在。（4）人工神經(jīng)網(wǎng)絡應用系統(tǒng)在網(wǎng)絡模型與算法研究的基礎上，利用人工神經(jīng)網(wǎng)絡組成實際的應用系統(tǒng)，例如，完成某種信號處理活模式識別的功能、構建專家系統(tǒng)、制成機器人等。3 人工神經(jīng)網(wǎng)絡的特點人工神經(jīng)網(wǎng)絡主要具有以下幾個特點：

8、（1）自適應能力。人類大腦有很強的自適應與自組織特性，后天的學習與訓練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓練有素的可以表現(xiàn)出非凡的運動技巧等等。普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結編制程序將十分困難。也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環(huán)境的要求。同一網(wǎng)絡因學習方式及內容不同可具有不同的功能。是一個具有學習能力的系統(tǒng)，可以發(fā)展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監(jiān)督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是或

9、稱無為導師學習，這時，只規(guī)定學習方式或某些規(guī)則，則具體的學習內容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。（2）指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有噪聲的樣本，網(wǎng)絡具備很好的預測能力。（3）非線性映射能力當對系統(tǒng)對于設計人員來說，很透徹或者很清楚時，則一般利用，偏微分方程等數(shù)學工具建立精確的數(shù)學模型，但當對系統(tǒng)很復雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數(shù)學模型很困難時，神經(jīng)網(wǎng)絡的非線性映射能力則表現(xiàn)出優(yōu)勢，因為它不需要對系統(tǒng)進行透徹的了解，但是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。

10、（4）高度并行性并行性具有一定的爭議性。承認具有并行性理由：神經(jīng)網(wǎng)絡是根據(jù)人的大腦而抽象出來的數(shù)學模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡也應具備很強的并行性。4 典型的神經(jīng)網(wǎng)絡結構網(wǎng)絡的拓撲結構是神經(jīng)網(wǎng)絡的重要特性，神經(jīng)網(wǎng)絡的各種模型層出不窮，但最常見的結構是前饋神經(jīng)網(wǎng)絡和反饋神經(jīng)網(wǎng)絡兩大類。4.1 前饋神經(jīng)網(wǎng)絡模型4.1.1 自適應線性神經(jīng)網(wǎng)絡(Adaline)自適應線性神經(jīng)網(wǎng)絡（Adaptive Linear，簡稱Adaline) 是由威德羅（Widrow）和霍夫（Hoff）首先提出的。它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值

11、，而不僅僅只是像感知器中那樣只能取0或1。它采用的是WH學習法則，也稱最小均方差(LMS)規(guī)則對權值進行訓練。自適應線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。 4.1.1.1網(wǎng)絡結構圖4-1為其網(wǎng)絡結構： 圖4-14.1.1.2學習算法步驟（1）設置變量和參量： 為輸入向量，或稱訓練樣本。為權值向量。為偏差，為實際輸出，為期望輸出，為學習速率，為迭代次數(shù)。（2）初始化，賦給各一個較小的隨機非零值，。（3）對于一組輸入樣本和對應的期望輸出，計算：（4）判斷是否滿足條件，若滿足算法條件，則結束。若不滿足，將值加1，轉第三步重新執(zhí)行。4.1.1.3優(yōu)缺點優(yōu)點：(1)Adaline網(wǎng)絡可以

12、學習輸入輸出矢量之間的線性關系，并產(chǎn)生一個具有誤差平方和最小的線性逼近；(2)對于一些實際問題，常常并不需要求出其完美的零誤差時的解。也就是說允許存在一定的誤差。這時，采用Adaline網(wǎng)絡求解，可以很快地訓練出滿足一定要求的網(wǎng)絡權值。缺點：(1)輸入和輸出之間的非線性關系不能用Adaline網(wǎng)絡精確地設計出。(2)對于特別簡單的問題，采用自適應線性網(wǎng)絡的訓練不一定能夠得到足夠精確的解。因為當訓練誤差達到期望誤差值后，訓練即被終止。 4.1.2單層感知器單層感知器（Perceptron）是由美國計算機科學家羅森布拉特（F.Roseblatt）于1957年提出的。它是一個具有單層神經(jīng)元的網(wǎng)絡，由

13、線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過學習而得到，這使單層感知器在神經(jīng)網(wǎng)絡研究中有著重要的意義和地位：它提出了自組織、自學習的思想，對能夠解決的問題，有一個收斂的算法，并從數(shù)學上給出了嚴格的證明。4.1.2.1網(wǎng)絡結構當給定一個輸入向量，在閾值和權值的作用下，單層感知器的輸出為： （4-1）如果輸入向量有個樣本，即，把樣本看作是維空間的一個向量，那么個樣本就是輸入空間的個向量。由于單層感知器神經(jīng)元的輸出只有兩種可能，即1或-1。這樣方程（4-1）就把這維輸入空間分為兩個子空間，其分界線為維的超平面。通過調節(jié)權值和閾值可以改變這個維超平面的位置以達到對樣本的正確劃分。圖4-

14、2為其網(wǎng)絡結構：圖4-24.1.2.2學習算法步驟單層感知器的具體學習步驟如下：(1) 給定初始值：各賦給和一個較小的隨機非零值，這里為時刻第個輸入上的權。(2) 輸入一樣本和它的希望輸出，如果類，；如果類，。(3)計算實際輸出：(4) 修正權：， 式中為比例系數(shù)，用于控制權值的修正速度，也稱為學習速度。通常要適中，不能太大也不能太小，太大會影響的穩(wěn)定，太小會使的收斂速度太慢。當實際輸出與已知的輸出值相同時，不變。(5) 轉到步驟（2）直到對個樣本均穩(wěn)定不變?yōu)橹埂?.1.2.3優(yōu)缺點優(yōu)點：單層感知器適用于線性分類，在多維樣本空間中起到一個將兩類模式樣本分開的超平面作用。缺點：（1）由于單層感知

15、器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題； （2）單層感知器僅能夠線性地將輸入矢量進行分類，并且不能對非線性可分的輸入模式進行分類。如：異或問題； （3）當輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導致較慢的收斂速度。 4.1.3多層感知器和BP算法單層感知器由于只有一個神經(jīng)元，功能單一，只能完成線性決策或實現(xiàn)“與”、“或”、“非”等單一邏輯函數(shù)。多層感知器（Multilayer Perceptron）是在單層感知器的基礎上發(fā)展起來的，它是一種在輸入層與輸出層之間含有一層或多層隱含結點的具有正向傳播機制的神經(jīng)網(wǎng)絡模型。多層感知器克服了單層感知器

16、的許多局限，它的性能主要來源于它的每層結點的非線性特性（節(jié)點輸出函數(shù)的非線性特性）。如果每個結點是線性的，那么多層感知器的功能就和單層感知器一樣。在人工神經(jīng)網(wǎng)絡中，應用最普遍的是多層前饋網(wǎng)絡模型。在1986年，Rumelhant和McClelland提出了多層前饋網(wǎng)絡的誤差反向傳播（Error Back Propagation）學習算法，簡稱BP算法，這是一種多層網(wǎng)絡的逆推學習算法。由此采用BP算法的多層前饋網(wǎng)絡也廣泛被稱為BP網(wǎng)絡。4.1.3.1網(wǎng)絡結構：圖4-3為其網(wǎng)絡結構，它由輸入層、輸出層和中間層（隱層）組成。 X1X2XnOmO2O1輸出層隱藏層輸入層圖4-34.1.3.2 BP算法

17、BP算法由信號的正向傳播和誤差的反向傳播兩個過程組成。(1) 正向傳播，輸入樣本從輸入層進入網(wǎng)絡，經(jīng)隱層逐層傳遞至輸入層，如果輸入層的實際輸出與期望輸出（導師信號）不同，則轉至誤差反向傳播；如果輸出層的實際輸出與期望輸出（導師信號）相同，結束學習算法。(2) 反向傳播，將輸出誤差（期望輸出與實際輸出之差）按原通路反傳計算，通過隱層反向，直至輸入層，在反傳過程中將誤差分攤給各層的各個神經(jīng)元，獲得各層各神經(jīng)元的誤差信號，并將其作為修正各單元權值的根據(jù)。這一計算過程使用梯度下降法完成，在不停地調整各層神經(jīng)元的權值和閾值后，使誤差信號減小到最低限度。4.1.3.3算法學習規(guī)則對于輸入輸出對，網(wǎng)絡的實際

18、輸出為，為前一層第個神經(jīng)元輸入到后一層第個神經(jīng)元的權重，當神經(jīng)元為輸入層單元時，。 激發(fā)函數(shù)為半線性函數(shù)。BP算法的學習規(guī)則為：推理過程：（注意：表示上一層到下一層的輸入，不同函數(shù)的不同）帶"勢態(tài)項"的BP算法學習規(guī)則：其中a為常數(shù)，它決定過去權重的變化對目前權值變化的影響程度。為上一次權值的變化量。4.1.3.4算法步驟以激活函數(shù)全部取為例，則BP算法步驟詳細描述如下：(1) 置各權值或閾值的初始值：, 為小的隨機數(shù)。(2) 提供訓練樣本：輸入矢量， ，期望輸出， 對每個輸入樣本進行下面(3)到(5)的迭代。(3) 計算網(wǎng)絡的實際輸出及隱層單元的狀態(tài)：(4) 計算訓練誤差

19、：(5) 修正權值和閾值：(6) 當每經(jīng)歷1至后, 計算為網(wǎng)絡實際輸出。如果，則到(7)，否則到(3)。(7) 結束。4.1.3.5優(yōu)缺點優(yōu)點：（1）具有強泛化性能：使網(wǎng)絡平滑地學習函數(shù)，使網(wǎng)絡能夠合理地響應被訓練以外的輸入；（2）應用廣泛，如：函數(shù)逼近、模式識別和分類、數(shù)據(jù)壓縮等。缺點：（1）需要較長的訓練時間；（2）BP算法可以使網(wǎng)絡權值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解；（3）泛化性能只對被訓練的輸入輸出對最大值范圍內的數(shù)據(jù)有效，即網(wǎng)絡具有內插值特性，不具有外插值性。超出最大訓練值的輸入必將產(chǎn)生大的輸出誤差。4.2反饋神經(jīng)網(wǎng)絡模型反饋神經(jīng)網(wǎng)絡

20、模型可用一完備的無向圖表示。從系統(tǒng)的觀點看，反饋神經(jīng)網(wǎng)絡模型是一反饋動力學系統(tǒng)，它具有極復雜的動力學特性。在反饋神經(jīng)網(wǎng)絡模型中，我們關心的是其穩(wěn)定性，穩(wěn)定性是神經(jīng)網(wǎng)絡相聯(lián)存儲性質的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計算的角度講，反饋神經(jīng)網(wǎng)絡模型具有比前饋神經(jīng)網(wǎng)絡模型更強的計算能力，它包括Hopfield神經(jīng)網(wǎng)絡、海明神經(jīng)網(wǎng)絡和雙向聯(lián)想存儲器。4.2.1 Hopfield神經(jīng)網(wǎng)絡1982年，美國神經(jīng)網(wǎng)絡學者霍普菲爾德（J.J.Hopfield）提出了反饋型的全連接神經(jīng)網(wǎng)絡，是一種對記憶功能的較好模擬。Hopfield神經(jīng)網(wǎng)絡的結構特點是：每一個神經(jīng)元的輸出信號通過其它神經(jīng)元后，反饋到自己的輸入

21、端。這種反饋方式有利于通過聯(lián)想記憶實現(xiàn)最優(yōu)化，經(jīng)過分析比較與判斷確定最優(yōu)解決問題的方法。網(wǎng)絡狀態(tài)的演變是一種非線性動力學系統(tǒng)的行為描述過程，作為一種非線性動力學系統(tǒng)，系統(tǒng)從初始化出發(fā)后，系統(tǒng)狀態(tài)經(jīng)過演變可能發(fā)生如下結果：(1)漸進穩(wěn)定形成穩(wěn)定點，又稱為吸引子。(2) 極限環(huán)狀態(tài)。(3) 混沌狀態(tài)。(4) 發(fā)散狀態(tài)。發(fā)散狀態(tài)是不希望看到的。對于人工神經(jīng)網(wǎng)絡而言，由于選取網(wǎng)絡的變換函數(shù)為一個有界函數(shù)，因此系統(tǒng)狀態(tài)不會演變成發(fā)散。在Hopfield網(wǎng)絡中，如果其傳輸函數(shù)是一個二值型的硬函數(shù)，則稱此網(wǎng)絡為離散型Hopfield網(wǎng)絡；如果傳輸函數(shù)是一個連續(xù)單調上升的有界函數(shù)，則稱此網(wǎng)絡為連續(xù)型Hopfi

22、eld網(wǎng)絡。4.2.1.1網(wǎng)絡結構（1）離散Hopfield神經(jīng)網(wǎng)絡結構離散Hopfield網(wǎng)絡是單層全互連的， 共有個神經(jīng)元。每個神經(jīng)元都通過連接權接收所有其他神經(jīng)元輸出反饋來的信息，其目的是為了讓任一神經(jīng)元的輸出能接受所有神經(jīng)元輸出的控制，從而使各神經(jīng)元能相互制約。為神經(jīng)元的閾值；為神經(jīng)元與的連接權值。圖4-4為其網(wǎng)絡結構：圖4-4（2）連續(xù)Hopfield神經(jīng)網(wǎng)絡結構 模仿生物神經(jīng)元及其網(wǎng)絡的主要特性，連續(xù)型Hopfield網(wǎng)絡利用模擬電路構造了反饋人工神經(jīng)網(wǎng)絡的電路模型，圖4-5為其網(wǎng)絡結構：圖4-54.2.1.2 學習算法Hopfield網(wǎng)絡按動力學方式運行，其工作過程為狀態(tài)的演化過

23、程，即從初始狀態(tài)按“能量”減小的方向進行演化，直到達到穩(wěn)定狀態(tài)，穩(wěn)定狀態(tài)即為網(wǎng)絡的輸出狀態(tài)。4.2.1.3 Hopfield網(wǎng)絡工作方式Hopfield網(wǎng)絡的工作方式主要有兩種形式：（1）串行（異步）工作方式：在任一時刻，只有某一神經(jīng)元（隨機或確定的選擇）變化，而其他神經(jīng)元的狀態(tài)不變。（2）并行（同步）工作方式：在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。4.2.1.4 Hopfield網(wǎng)絡運行步驟下面以串行方式為例說明Hopfield網(wǎng)絡的運行步驟：（1）對網(wǎng)絡進行初始化；（2） 從網(wǎng)絡中隨機選取一個神經(jīng)元；（3）求出神經(jīng)元的輸入： （4） 求出神經(jīng)元的輸出，此時網(wǎng)絡中的其他神經(jīng)元的輸

24、出保持不變；說明：,為激勵函數(shù)，可取階躍函數(shù)或符號函數(shù)。如取符號函數(shù)，則Hopfield網(wǎng)絡的神經(jīng)元輸出取離散值1或1，即：（5）判斷網(wǎng)絡是否達到穩(wěn)定狀態(tài)，若達到穩(wěn)定狀態(tài)或滿足給定條件，則結束；否則轉至第二步繼續(xù)運行。這里網(wǎng)絡的穩(wěn)定狀態(tài)定義為：若網(wǎng)絡從某一時刻以后，狀態(tài)不再發(fā)生變化。即：。4.2.1.5優(yōu)缺點優(yōu)點：Hopfield網(wǎng)絡主要用于從片段中進行圖像和數(shù)據(jù)的完全恢復。缺點：處理單元間連接權值需預先設置，并且單元之間的連接是要對稱的，它沒有學習能力。4.2.2海明神經(jīng)網(wǎng)絡（Hamming）海明（Hamming）網(wǎng)絡由匹配子網(wǎng)和競爭子網(wǎng)組成。匹配子網(wǎng)在學習階段將若干類別的樣本記憶存儲在網(wǎng)絡

25、的連接權值中；在工作階段（回憶階段），該子網(wǎng)計算輸入模式和各個樣本模式的匹配程度，并將結果送入競爭子網(wǎng)中，由競爭子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實現(xiàn)了對離散輸入模式進行在海明距離最小意義下的識別和分類。4.2.2.1網(wǎng)絡結構圖4-6為其網(wǎng)絡結構：圖4-64.2.2.2學習算法（1）Hamming距離如果將模式用向量來表示，Hamming距離是指兩個模式不同元素的個數(shù)。如：A(0 0 1 1 0) ，B=(1 0 1 0 1）則：H(A, B)=3。（2）Hamming網(wǎng)絡的學習之權值設置競爭子網(wǎng)的連接權值設置方法：匹配子網(wǎng)的連接權值設置方法：（3）Hamming網(wǎng)絡的學習之閾值設置：競爭

26、子網(wǎng)神經(jīng)元的閾值設置為0；匹配子網(wǎng)神經(jīng)元閾值的設置為：；為匹配子網(wǎng)中神經(jīng)元的個數(shù)。（4）Hamming網(wǎng)絡學習算法描述網(wǎng)絡的學習過程采用競爭學習算法，而競爭學習包含以下主要過程：網(wǎng)絡對刺激做出響應，具有最大響應的神經(jīng)元被激活，該神經(jīng)元成為獲勝神經(jīng)元并獲得學習的機會，更改獲勝神經(jīng)元的權值。其中，只有最大響應的神經(jīng)元被激活的這一特征被稱為“勝者為王”機制。其具體學習算法描述如下：設置變量和參量：為輸入向量，其元素均為二進制元素。，為前向子網(wǎng)絡的權值向量；為競爭子網(wǎng)絡的權值。為實際輸出。為學習速率，代表Hamming網(wǎng)絡的第次訓練，為競爭子網(wǎng)絡迭代過程中的迭代步數(shù)，而為預設的總的訓練次數(shù)。初始化：對

27、于前向子網(wǎng)絡權值，用小的隨機值進行初始化并滿足約束條件對于（），而神經(jīng)元的輸出函數(shù)選取線性函數(shù)并且給定總的迭代次數(shù)。選取訓練樣本。計算競爭子網(wǎng)絡神經(jīng)元的初始輸入即前向子網(wǎng)絡的輸出： 計算競爭子網(wǎng)絡的迭代過程：觀察競爭子網(wǎng)絡的輸出，當輸出達到要求時（只有一個輸出為正，其余為零）轉第七步，否則等于，轉到第五步繼續(xù)迭代。將輸出最大的神經(jīng)元定為獲勝神經(jīng)元，并將其輸出置為1，其他神經(jīng)元的輸出置為0，實現(xiàn)“勝者為王”。更新獲勝神經(jīng)元的權值向量： 其中，為在輸入向量中元素為1的個數(shù)。 判斷網(wǎng)絡的當前訓練次數(shù)是否大于，如果小于，則等于，回到第三步進行新的一次訓練，否則結束網(wǎng)絡訓練過程。4.2.2.3特點Ham

28、ming網(wǎng)絡與Hopfield網(wǎng)絡不同，它分別計算未知輸入模式與每個已知標準樣本模式的Hamming距離，對應距離最小的那個標準樣本模式即是可以和輸入模式匹配的模式。而對Hopfield網(wǎng)絡而言，作為一識別器，要么精確地找到一個可以匹配的標準樣本模式，要么找不到，即得到“不能匹配”的結果。4.2.3雙向聯(lián)想存儲器（BAM）雙向聯(lián)想存儲器（BAM）是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡模型，它是ART網(wǎng)絡模型的一種簡化形式， 是一種異聯(lián)想存儲器。它能存儲成對的模式，。和是不同向量空間中的向量。如果模式輸入到BAM，輸出是模式，且若與最為接近，就是在BAM所存儲的向量。BAM網(wǎng)絡模型中的神經(jīng)元為非

29、線性單元，每個神經(jīng)元的作用相當于一個非線性函數(shù)，這個函數(shù)一般取為型函數(shù)：。4.2.3.1 網(wǎng)絡結構在中有個處理單元，在中有個處理單元。每一個域中的神經(jīng)元均與另一個域中所有神經(jīng)元相連。圖4-7為其網(wǎng)絡結構：圖4-74.2.3.2學習算法（1）BAM模型神經(jīng)元的輸出一般情況下，每個處理單元的輸出取0,1之間的值，但在應用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個處理單元要么為開狀態(tài)，要么為關狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當輸入與閾值相等時，處理單元輸出保持原來狀態(tài)不變。（2）BAM模型的信息存儲在雙向聯(lián)想存儲模型中，所有的信息都是包含在一個的矩陣中的

30、。這個矩陣實際上是一個權值矩陣，信息就是由這個權值矩陣來表達。如果產(chǎn)生一個穩(wěn)定的雙向聯(lián)想存儲器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。由于要將不同的聯(lián)想模式對收斂到局部能量極小點上，所以所要學習的模式對或聯(lián)想個數(shù)必須小于域和域中處理單元的個數(shù)，即：（3）BAM模型學習基礎：雙極矩陣（向量）：雙極矩陣（或向量）是在二元矩陣（或向量）的基礎上，將0代之以1而得到的。如： 二元向量和，其相應的雙極向量為和。雙向聯(lián)想存儲器在學習時，先將二元向量對轉換成雙極向量對，然后計算雙極伴隨矩陣，最后將所有的雙極伴隨矩陣相加起來便得到權值矩陣，即：（4）BAM模型記憶模式擦除要從雙向聯(lián)想存儲器中擦去某個記

31、憶模式，例如要去掉模式對，只要在權值矩陣中減去該聯(lián)想對的雙極伴隨矩陣，即：（5） BAM模型的聯(lián)想過程聯(lián)想過程是一個自適應調整過程，目的是使最后的輸出能夠更加逼近理論上的輸出值。（6） BAM模型的學習過程：將輸入模式送入雙向聯(lián)想存儲器域中。域中的各神經(jīng)元計算其接收值,對于域中的處理單元有： 域中每個神經(jīng)元也可計算其接收值，即：修改域和域中各處理單元的狀態(tài)：當或時，則神經(jīng)元保持原來狀態(tài)不變。然后重復上述過程，直到系統(tǒng)進入穩(wěn)定狀態(tài)，也即與的狀態(tài)不再改變?yōu)橹?。這時域的輸出即為最終所得結果。4.2.3.4優(yōu)缺點優(yōu)點：BAM模型的聯(lián)想和學習方式具有糾錯功能，也就是說當輸入模式與學習模式不完全相同時，它

32、可以聯(lián)想出正確的模式；主要用作按內容尋址的相聯(lián)存儲。缺點：存儲容量小而且需很好地進行編碼。5.人工神經(jīng)網(wǎng)絡發(fā)展趨勢以及待解決的關鍵問題神經(jīng)網(wǎng)絡在很多領域已經(jīng)得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學習、自組織以及非線性映射等優(yōu)點的神經(jīng)網(wǎng)絡與其他技術的結合以及由此而來的混合方法和混合系統(tǒng)，已成為一大研究熱點。由于其他方法也有它們各自的優(yōu)點，所以將神經(jīng)網(wǎng)絡與其他方法相結合，取長補短。繼而可以獲得更好的應用效果。目前這方面工作有神經(jīng)網(wǎng)絡與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論和灰色系統(tǒng)分等的融合。下面主要就神經(jīng)網(wǎng)絡與小波分析、混沌、粗集理

33、論、分形理論的融合進行分析。5.1 與小波分析的結合傳統(tǒng)的信號理論，是建立在基礎上的，而Fourier變換作為一種全局性的變化，其有一定的局限性，如不具備局部化分析能力、不能分析非平穩(wěn)信號等。在實際應用中人們開始對Fourier變換進行各種改進，以改善這種局限性，如（短時傅立葉變換）。由于STFT采用的的滑動窗函數(shù)一經(jīng)選定就固定不變，故決定了其時頻分辨率固定不變，不具備自適應能力，而很好的解決了這個問題。小波分析是一種新興的分支，它是、Fourier分析、的最完美的結晶；在應用領域，特別是在、以及眾多領域，它被認為是繼Fourier分析之后的又一有效的時頻分析方法。小波變換與Fourier變換

34、相比，是一個時間和頻域的局域變換因而能有效地從信號中提取信息，通過平移等運算功能對或信號進行多尺度細化分析（Multiscale Analysis），解決了Fourier變換不能解決的許多困難問題。小波神經(jīng)網(wǎng)絡將小波變換良好的時頻局域化特性和神經(jīng)網(wǎng)絡的自學習功能相結合，因而具有較強的逼近能力和容錯能力。在結合方法上，可以將小波函數(shù)作為傳遞函數(shù)構造神經(jīng)網(wǎng)絡形成小波網(wǎng)絡，或者小波變換作為前饋神經(jīng)網(wǎng)絡的輸入前置處理工具，即以小波變換的多分辨率特性對過程狀態(tài)信號進行處理，實現(xiàn)信噪分離，并提取出對加工誤差影響最大的狀態(tài)特征，作為神經(jīng)網(wǎng)絡的輸入。5.1.1小波神經(jīng)網(wǎng)絡的應用小波神經(jīng)網(wǎng)絡在電機故障診斷、電壓

35、電網(wǎng)故障信號處理與保護研究。軸承等機械故障診斷以及許多方面都有應用，將小波神經(jīng)網(wǎng)絡用于感應伺服電機的智能控制，使該系統(tǒng)具有良好的跟蹤控制性能，以及好的魯棒性，利用小波神經(jīng)網(wǎng)絡進行心血管疾病的智能診斷，小波層進行時頻域的自適應特征提取，前向神經(jīng)網(wǎng)絡用來進行分類，正確分類率達到94%。5.1.2待解決的關鍵技術問題小波神經(jīng)網(wǎng)絡雖然應用于很多方面，但仍存在一些不足。（1）從提取精度和小波變換實時性的要求出發(fā)，有必要根據(jù)實際情況構造一些適應應用需求的特殊小波基，以便在應用中取得更好的效果；（2）在應用中的實時性要求，也需要結合DSP的發(fā)展，開發(fā)專門的處理芯片，從而滿足這方面的要求。5.2混沌神經(jīng)網(wǎng)絡由

36、于神經(jīng)網(wǎng)絡是高度非線性動力學系統(tǒng)，而混沌又具有上述的特性，因此神經(jīng)網(wǎng)絡與混沌密切相關，所以混沌神經(jīng)網(wǎng)絡被認為是可實現(xiàn)其真實世界計算的智能信息處理系統(tǒng)之一。目前對混沌神經(jīng)網(wǎng)絡的研究還處于初始階段，其研究主要限于認識單個的混沌特性和對簡單混沌神經(jīng)網(wǎng)絡的行為分析。1990年，Aihara等在前人推導和的基礎上，給出了一個混沌神經(jīng)網(wǎng)絡模型。大量的生物實驗表明，腦神經(jīng)系統(tǒng)具有、混沌和奇怪吸引子行為，然而，神經(jīng)網(wǎng)絡作為一個極其復雜的是否也具有類似的動力學行為呢？下面先介紹兩種混沌神經(jīng)元的基本模型，并對特性進行分析，進而引出了混沌神經(jīng)網(wǎng)絡模型。目前廣泛研究的混沌神經(jīng)網(wǎng)絡模型是在Hopfield神經(jīng)網(wǎng)絡中引入

37、了一個具有混沌特性的項，進而得到了混沌神經(jīng)網(wǎng)絡模型，因此在深入研究混沌神經(jīng)網(wǎng)絡之前，有必要先介紹一下Hopfield神經(jīng)網(wǎng)絡。美國物理學家J.J.Hopfield首先提出一種單層反饋網(wǎng)絡系統(tǒng)，這種單層就稱為Hopfield網(wǎng)絡。的非線性和高維數(shù)，使得現(xiàn)有工具難以確定其狀態(tài)軌跡，甚至可能出現(xiàn)。由于具有混沌特性的神經(jīng)網(wǎng)絡其特性十分復雜，因此獲得了廣泛研究。5.2.1混沌神經(jīng)網(wǎng)絡的應用混沌神經(jīng)網(wǎng)絡由于其復雜的動力學特性，在動態(tài)聯(lián)想記憶。系統(tǒng)優(yōu)化、信息提取、人工智能等領域受到人們極大的關注?；煦缥拥奈虼嬖冢纬闪嘶煦缟窠?jīng)網(wǎng)絡固有容錯功能。這對復雜的模式識別、圖像處理等工程應用發(fā)揮著重要作用。5.2.2待解決的關鍵技術問題為了更好地應用混沌神經(jīng)網(wǎng)絡的動力學特性，并對其存在的混沌現(xiàn)象進行有效