神經(jīng)網(wǎng)絡(luò)報(bào)告課件

1、人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Network報(bào)告人：李保霖內(nèi)容目錄1 人工神經(jīng)網(wǎng)絡(luò)的淵源3245 2人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 3 常見神經(jīng)網(wǎng)絡(luò)分析4神經(jīng)網(wǎng)絡(luò)優(yōu)劣勢(shì)對(duì)比5 神經(jīng)網(wǎng)絡(luò)的應(yīng)用16人工神經(jīng)網(wǎng)絡(luò)6總結(jié) 1997年5月11日，早晨4時(shí)50分(北京時(shí)間)，一臺(tái)名為“深藍(lán)”的超級(jí)電腦將棋盤上的一個(gè)兵走到C4位置時(shí)，人類有史以來最偉大的國際象棋名家卡斯帕羅夫不得不沮喪地承認(rèn)自己輸了。世紀(jì)末的一場(chǎng)人機(jī)大戰(zhàn)終于以計(jì)算機(jī)的微弱優(yōu)勢(shì)取勝。 比賽于5月3日-11日在紐約的公平大廈舉行。整個(gè)比賽引起了全世界傳媒的巨大關(guān)注。比賽吸引人們注視目光的原因之一是世界象棋冠軍卡斯帕羅夫賽前充滿信心，發(fā)誓要為

2、捍衛(wèi)人類之優(yōu)于機(jī)器的尊嚴(yán)而戰(zhàn)。然而，最后的結(jié)果卻是他所捍衛(wèi)的人類尊嚴(yán)在一臺(tái)冷漠的1.4噸重的龐然大物 “藍(lán)色巨人”面前被無情地?fù)魸⒘?。雖然人類的驕傲可以把這場(chǎng)比賽的結(jié)果仍然歸咎于人類的勝利，畢竟“深藍(lán)”自己也是人類所研制出來的一臺(tái)計(jì)算機(jī)而已，但人類所創(chuàng)造的工具擊潰了人類，并且是在人類引以為驕傲的智慧領(lǐng)域，這在一定程度上帶來了恐懼，并由此引發(fā)了一場(chǎng)有關(guān)人類創(chuàng)造物與自身關(guān)系的深層討論。 “深藍(lán)”是IBM公司生產(chǎn)的世界上第一臺(tái)超級(jí)國際象棋電腦。是一臺(tái)RS6000SP2超級(jí)并行處理計(jì)算機(jī)，計(jì)算能力驚人，平均每秒可計(jì)算棋局變化2OO萬步。 1.1 計(jì)算機(jī)智能時(shí)代卡斯帕羅夫在與“深藍(lán)”對(duì)弈(右為“深藍(lán)”現(xiàn)

3、場(chǎng)操作者) 1.2.1 人腦與計(jì)算信息處理能力比較唐詩三百首記憶與聯(lián)想能力PK信息加工能力非邏輯加工邏輯加工模糊邏輯辯證邏輯二值邏輯回憶聯(lián)想想象 二值邏輯1.2.1 人腦與計(jì)算信息處理能力比較信息綜合能力綜合判斷耳聽八方眼觀六路經(jīng)驗(yàn)直覺1.2.1 人腦與計(jì)算信息處理能力比較1.2.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較(一)系統(tǒng)結(jié)構(gòu)(二)信號(hào)形式1.2.2 人腦與計(jì)算機(jī)信息處理機(jī)制的比較(三)信息存儲(chǔ)1.2.2人腦與計(jì)算機(jī)信息處理機(jī)制的比較人工智能（Artificial Intelligence，簡(jiǎn)記為AI）最初在1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解

4、決和處理較復(fù)雜的問題。研究人工智能的目的: 模擬人的智能，將人類從復(fù)雜的腦力勞動(dòng)中解脫出來1.3 人工智能人工神經(jīng)網(wǎng)絡(luò)模擬智能行為 1. 物理結(jié)構(gòu) 人工神經(jīng)元將模擬生物神經(jīng)元的功能 2. 計(jì)算模擬 人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理3.存儲(chǔ)與操作 人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強(qiáng)度來實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持4. 訓(xùn)練 同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí)啟蒙時(shí)期1890年，美國心理學(xué)家William

5、 James發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著心理學(xué)原理(Principles of Psychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。1957年，羅森布蘭特（Rosenblatt）出了感知（Perception）的概念，試圖模擬人腦的感知學(xué)習(xí)能力。 1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng) 線性單元（Adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。 1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了感知器一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。17低潮時(shí)期

6、1969年，美國學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。1979年，福島邦彥（Fukushima）提出了認(rèn)知機(jī)（Necognitron）理論。 在此之后，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB模型，韋伯斯（Webos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。復(fù)興時(shí)期1982年，美國物理學(xué)家Hopfield在美國科學(xué)院院刊上發(fā)表論文，提出Hopfield神經(jīng)網(wǎng)絡(luò)模型。1984年，Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)

7、絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問題，引起世人震驚。這些成果使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。 1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程,這是符號(hào)邏輯處理方法所不具備的性質(zhì). 1987年首屆國際ANN大會(huì)在圣地亞哥召開，國際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國際刊物。 1990年12月，北京召開首屆學(xué)術(shù)會(huì)議。復(fù)興時(shí)期 生物神經(jīng)網(wǎng)絡(luò) 人類的大腦大約有1.41011個(gè)神經(jīng)細(xì)胞，亦稱為神經(jīng)元。每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同

8、其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò) 以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，縮寫 ANN）。2.1 人工神經(jīng)網(wǎng)絡(luò)2.1人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來處理信息的。2.3 神經(jīng)網(wǎng)絡(luò)的基本功能

9、之一聯(lián)想記憶功能2.3 神經(jīng)網(wǎng)絡(luò)的基本功能之二非線性映射功能2.3 神經(jīng)網(wǎng)絡(luò)的基本功能之四優(yōu)化計(jì)算功能2.3 神經(jīng)網(wǎng)絡(luò)的基本功能之五知識(shí)處理功能2.4 神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)與分類 圖中每一個(gè)圓圈代表一個(gè)神經(jīng)元（也稱處理單元或節(jié)點(diǎn)node），每個(gè)節(jié)點(diǎn)之間通過相互連接形成一個(gè)網(wǎng)絡(luò)拓?fù)?。這個(gè)拓?fù)涞哪Ｊ椒Q為神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式。 神經(jīng)網(wǎng)絡(luò)以外的部分（虛線方框以外的部分）統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)的環(huán)境。 2.4 神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)與分類從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network) 反饋神經(jīng)網(wǎng)絡(luò)(Feedback Neural Network)從學(xué)習(xí)方式分類 有教師學(xué)習(xí) 無教師學(xué)習(xí)3

10、0有教師學(xué)習(xí)事先有一批正確的輸入輸出數(shù)據(jù)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(Back Propagation, 簡(jiǎn)寫為BP)算法。無教師學(xué)習(xí)自組織學(xué)習(xí) 使網(wǎng)絡(luò)具有某種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(Self Organization Mapping, 簡(jiǎn)寫為SOM)算法。無監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí) 將處理

11、單元?jiǎng)澐譃閹讉€(gè)競(jìng)爭(zhēng)塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點(diǎn)之間有抑制連接，從而當(dāng)外界對(duì)不同塊的一個(gè)單元施加刺激后，將激活不同塊中互聯(lián)最強(qiáng)的一組單元，得到對(duì)該刺激的一個(gè)整體回憶。2.5 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則(learning rule)：誤差糾正學(xué)習(xí)算法Hebb學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法1.學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，

12、它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。2.學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)對(duì)于輸出層第k個(gè)神經(jīng)元的實(shí)際輸出: ak(n)目標(biāo)輸出: tk(n) 誤差信號(hào): ek(n) = tk(n) - ak(n)目標(biāo)函數(shù)為基于誤差信號(hào)ek(n)的函數(shù)，如誤差平方和判據(jù)或均方誤差判據(jù)2 .學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)梯度下降法：對(duì)于感知器和線性網(wǎng)絡(luò)：delta學(xué)習(xí)規(guī)則對(duì)于多層感知器網(wǎng)絡(luò)：擴(kuò)展的delta學(xué)習(xí)規(guī)則，bp算法競(jìng)爭(zhēng)式學(xué)習(xí)屬于無教師學(xué)習(xí)方式。此種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這

13、種聯(lián)接機(jī)制中引人竟?fàn)帣C(jī)制的學(xué)習(xí)方式稱為竟?fàn)幨綄W(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競(jìng)爭(zhēng)識(shí)別。3 .學(xué)習(xí)規(guī)則：競(jìng)爭(zhēng)式學(xué)習(xí)2.5 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程 1獲取訓(xùn)練樣本集 獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等 2選擇網(wǎng)絡(luò)類型與結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。 3訓(xùn)練與測(cè)試 最后一步是利用獲取的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練，直至得到合適的映射結(jié)果。 2.6 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)第一，具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識(shí)別時(shí)，只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人

14、工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類似的圖像。自學(xué)習(xí)功能對(duì)于預(yù)測(cè)有特別重要的意義。預(yù)期未來的人工神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測(cè)、市場(chǎng)預(yù)測(cè)、效益預(yù)測(cè)，其前途是很遠(yuǎn)大的。第二，具有聯(lián)想存儲(chǔ)功能。人的大腦是具有聯(lián)想功能的。如果有人和你提起你幼年的同學(xué)張某某，你就會(huì)聯(lián)想起張某某的許多事情。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。第三，具有高速尋找優(yōu)化解的能力。尋找一個(gè)復(fù)雜問題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對(duì)某問題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)：3 幾種常見的神經(jīng)網(wǎng)絡(luò)介紹3.1感知器3.2BP神經(jīng)網(wǎng)

15、絡(luò)3.3PNN神經(jīng)網(wǎng)絡(luò)3.4FNN神經(jīng)網(wǎng)絡(luò)3.5SOM神經(jīng)網(wǎng)絡(luò)3.1感知器網(wǎng)絡(luò) 感知器（perceptrvon）是一個(gè)具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡(jiǎn)單的前向網(wǎng)絡(luò)。它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。感知器的學(xué)習(xí)算法： 隨機(jī)地給定一組連接權(quán) 輸入一組樣本和期望的輸出（亦稱之為教師信號(hào)）計(jì)算感知器實(shí)際輸出修正權(quán)值 選取另外一組樣本，重復(fù)上述2）4）的過程，直到權(quán)值對(duì)一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過程結(jié)束。 對(duì)于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展，BP算法的出現(xiàn)解決了這一困難。3.2 BP神經(jīng)網(wǎng)絡(luò) 對(duì)于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號(hào)在流通

16、，（1）工作信號(hào)，施加的輸入信號(hào)向前傳播直到在輸出層產(chǎn)生實(shí)際的輸出信號(hào)，是輸入信號(hào)和權(quán)值的函數(shù) （2）誤差信號(hào)，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由輸出層開始逐層向后傳播 BP算法的原理43 網(wǎng)絡(luò)傳遞的激活函數(shù)采用激勵(lì)類型為sigmoid型的線性變換函數(shù)，定義為：輸入層到隱層的傳播向量 ： 隱層節(jié)點(diǎn)的實(shí)際輸出為：隱層到輸出層的傳播向量為：輸出層實(shí)際輸出為：網(wǎng)絡(luò)的代價(jià)函數(shù)即網(wǎng)絡(luò)的實(shí)際誤差 ：則誤差反向傳播修正權(quán)閾值過程如下：輸出層的權(quán)值調(diào)整為：輸出層閾值調(diào)整為：隱層權(quán)值調(diào)整為：隱層閾值調(diào)整為: 為學(xué)習(xí)速率，控制權(quán)值移動(dòng)步長。 為動(dòng)量因子，加速權(quán)值調(diào)整速度。正向過程：從輸入層經(jīng)隱層逐層正向計(jì)算各單

17、元的輸出反向過程： 由輸出層誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值BP算法的實(shí)現(xiàn) 3.3.PNN神經(jīng)網(wǎng)絡(luò)： 概率神經(jīng)網(wǎng)絡(luò)（PNN）以訓(xùn)練速度快和易收斂于Bayes優(yōu)化解等優(yōu)點(diǎn)倍受研究者的喜愛。網(wǎng)絡(luò)結(jié)構(gòu)如下： 輸入層到隱層的隱射關(guān)系由高斯核概率密度函數(shù)計(jì)算，則隱層輸出為： 為平滑參數(shù)，p為樣本空間位數(shù) 輸出層是將隱層屬于同一類別的中心矢量加和平均得到，即： 設(shè)各類先驗(yàn)概率相等，則上述傳輸?shù)玫?最大者的第一個(gè)下標(biāo)所代表的類別則為樣本 的估計(jì)類別， 達(dá)到對(duì)樣本的模式分類。3.4 徑向基函數(shù)網(wǎng)絡(luò)（FNN）徑向基函數(shù)：radial basis function, RBF只有一個(gè)隱層，

18、隱層單元采用徑向基函數(shù)。隱層把原始的非線性可分的特征空間變換到另一個(gè)空間（通常是高維空間），使之可以線性可分輸出為隱層的線性加權(quán)求和。采用基函數(shù)的加權(quán)和來實(shí)現(xiàn)對(duì)函數(shù)的逼近徑向基函數(shù)：徑向?qū)ΨQ的標(biāo)量函數(shù)k(|x-xc|)，最常用的RBF是高斯核函數(shù)2022/10/7RBFNN（徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)）是采用徑向基函數(shù)作為傳輸函數(shù)，以隱中心矢量和核函數(shù)控制參數(shù)為參量，輸入樣本到隱中心點(diǎn)的距離為變量的映射。RBFNN網(wǎng)絡(luò)傳遞過程 采用常見的高斯函數(shù)作為徑向基函數(shù)，實(shí)現(xiàn)從輸入層到隱層的傳遞。定義如：隱層到輸出層的傳遞函數(shù)是線性疊加，則網(wǎng)絡(luò)輸出層的實(shí)際輸出： 是隱層第 個(gè)節(jié)點(diǎn)到輸出層第 個(gè)節(jié)點(diǎn)的連接權(quán)值，

19、為核函數(shù)控制參數(shù)。4 神經(jīng)網(wǎng)絡(luò)優(yōu)劣勢(shì)對(duì)比BP網(wǎng)絡(luò)的主要優(yōu)缺點(diǎn) 很好的逼近特性。具有較強(qiáng)的泛化能力。 具有較好的容錯(cuò)性。 優(yōu)點(diǎn) 收斂速度慢。 局部極值。 難以確定隱層和隱層結(jié)點(diǎn)的數(shù)目。 缺點(diǎn)SOM網(wǎng)絡(luò)的主要優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 缺點(diǎn)競(jìng)爭(zhēng)網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。 競(jìng)爭(zhēng)網(wǎng)絡(luò)適用于當(dāng)具有典型聚類特性的大量數(shù)據(jù)的辨識(shí)，但當(dāng)遇到大量的具有概率分布的輸入矢量時(shí)，競(jìng)爭(zhēng)網(wǎng)絡(luò)就無能為力了，這時(shí)可以采用科荷倫網(wǎng)絡(luò)來解決。 PNN網(wǎng)絡(luò)的主要優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 缺點(diǎn)訓(xùn)練速度快網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單模式識(shí)別能力差非線性映射能力較弱FNN網(wǎng)絡(luò)的主要優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 缺點(diǎn)它具有唯一最佳逼近的特性，且無局部極小問題存在。RBF神經(jīng)網(wǎng)絡(luò)

20、具有較強(qiáng)的輸入和輸出映射功能，并且理論證明在前向網(wǎng)絡(luò)中RBF網(wǎng)絡(luò)是完成映射功能的最優(yōu)網(wǎng)絡(luò)。網(wǎng)絡(luò)連接權(quán)值與輸出呈線性關(guān)系。分類能力好。 學(xué)習(xí)過程收斂速度快。嚴(yán)重的問題是沒能力來解釋自己的推理過程和推理依據(jù)。 不能向用戶提出必要的詢問，而且當(dāng)數(shù)據(jù)不充分的時(shí)候，神經(jīng)網(wǎng)絡(luò)就無法進(jìn)行工作。 把一切問題的特征都變?yōu)閿?shù)字，把一切推理都變?yōu)閿?shù)值計(jì)算，其結(jié)果勢(shì)必是丟失信息。 理論和學(xué)習(xí)算法還有待于進(jìn)一步完善和提高。 LRBF 神經(jīng)網(wǎng)絡(luò)的非線性映射能力體現(xiàn)在隱層基函數(shù)上, 而基函數(shù)的特性主要由基函數(shù)的中心確定，從數(shù)據(jù)點(diǎn)中任意選取中心構(gòu)造出來的RBF 神經(jīng)網(wǎng)絡(luò)的性能顯然是不能令人滿意的目的5 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用信號(hào)

21、處理 神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號(hào)處理（自適應(yīng)濾波、時(shí)間序列預(yù)測(cè)等）和非線性信號(hào)處理（非線性濾波、非線性預(yù)測(cè)等）模式識(shí)別 模式識(shí)別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神經(jīng)網(wǎng)絡(luò)在這兩個(gè)方面都有許多成功的應(yīng)用，例如對(duì)圖象、語音的處理以及手寫字的識(shí)別等。信息領(lǐng)域數(shù)據(jù)壓縮 神經(jīng)網(wǎng)絡(luò)可以對(duì)待傳送（或待存儲(chǔ)）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲(chǔ)），接收（或使用）時(shí)再將其轉(zhuǎn)換為原始模式。信息領(lǐng)域工程領(lǐng)域汽車工程 神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機(jī)燃燒系統(tǒng)中。軍事工程 神經(jīng)網(wǎng)絡(luò)已應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域。化學(xué)工程 神經(jīng)網(wǎng)絡(luò)在制藥

22、、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。工程領(lǐng)域水利工程 水力發(fā)電過程辨識(shí)和控制、河川徑流預(yù)測(cè)、河流水質(zhì)分類、水資源規(guī)劃等實(shí)際問題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。醫(yī)學(xué)領(lǐng)域檢測(cè)數(shù)據(jù)分析 利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測(cè)系統(tǒng)可用來提供腦電棘波的實(shí)時(shí)檢測(cè)和癲癇的預(yù)報(bào)。生物活性研究 用神經(jīng)網(wǎng)絡(luò)對(duì)生物學(xué)檢測(cè)數(shù)據(jù)進(jìn)行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對(duì)分子致癌活性進(jìn)行預(yù)報(bào)。醫(yī)學(xué)專家系統(tǒng) 利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來解決醫(yī)學(xué)專家系統(tǒng)中的知識(shí)表示、獲取和并行推理等問題。經(jīng)濟(jì)學(xué)領(lǐng)域信貸分析 神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)系統(tǒng)將公司貸

23、款申請(qǐng)表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實(shí)際的信用情況作為輸出評(píng)價(jià)，用數(shù)以千計(jì)的歷史數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，可給出準(zhǔn)確的評(píng)價(jià)結(jié)果。市場(chǎng)預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò)的市場(chǎng)預(yù)測(cè)已經(jīng)廣泛應(yīng)用于股票和期貨價(jià)格的預(yù)測(cè)中。6 結(jié)論 神經(jīng)網(wǎng)絡(luò)雖已在許多領(lǐng)域應(yīng)用中取得了廣泛的成功，但其發(fā)展還不十分成熟，還有一些問題需進(jìn)一步研究。在研究神經(jīng)網(wǎng)絡(luò)的過程中，有以下難點(diǎn)問題需要注意：神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問題在逼近非線性函數(shù)問題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實(shí)時(shí)控制的需要，必須予以解決對(duì)于控制器和辨識(shí)器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無理論指導(dǎo)碩士畢業(yè)論文殘留問題：1.BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢問題由許多因素引起。本碩論針對(duì)BP網(wǎng)絡(luò)初始權(quán)值隨機(jī)取造成訓(xùn)練時(shí)間的延長，采用遺傳算法進(jìn)行了改進(jìn)。但改進(jìn)后的遺傳BP訓(xùn)練速度還是較慢，其中的以下影響因素還有待改進(jìn)：（1）隱層節(jié)點(diǎn)的選取問題；（2）訓(xùn)練速率的確定問題；傳統(tǒng)BP中學(xué)習(xí)速率是由經(jīng)驗(yàn)確定，訓(xùn)練速率越大，權(quán)重變化越大，收斂越快。反之，會(huì)引起系統(tǒng)的振蕩。（3）網(wǎng)絡(luò)訓(xùn)練容易陷入S型函數(shù)的飽和區(qū)，如果神經(jīng)元采用S型激活函數(shù)，當(dāng)權(quán)值太大或者學(xué)習(xí)速率太大，會(huì)使函數(shù)陷入S型激活函數(shù) 飽和區(qū)，直接導(dǎo)致網(wǎng)絡(luò)對(duì)權(quán)值和偏差的調(diào)節(jié)作用停頓下來，造成“麻