人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷程和分類

人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷程和分類人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,即ANN),是20世紀(jì)80年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象,建立某種簡(jiǎn)單模型,按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型,由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù),稱為激勵(lì)函數(shù)(activationfunction))每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值,稱之為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式,權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近,也可能是對(duì)一種邏輯策略的表達(dá)。1943年，心理學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型,稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法,證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能,從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。1949年,心理學(xué)家提出了突觸聯(lián)系強(qiáng)度可變的設(shè)想。60年代,人工神經(jīng)網(wǎng)絡(luò)得到了進(jìn)，其中包括感知器和自適應(yīng)線性元件等。M.Minsky等仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點(diǎn)極大地影響了神經(jīng)網(wǎng)絡(luò)的研究，加之當(dāng)時(shí)串行辻算機(jī)和人工智能所取得的成就，掩蓋了發(fā)展新型計(jì)算機(jī)和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論(ART網(wǎng))、宜組織映射、認(rèn)知機(jī)網(wǎng)絡(luò)，同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年，美國(guó)加州工學(xué)院物理學(xué)家J.J.Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型,引入了“計(jì)算能量”概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。1984年，他又提出了連續(xù)時(shí)間Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計(jì)算機(jī)的研究做了開拓性的工作，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究，1985年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù),保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)。1986年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究,提出了并行分布處理的理論。1986年，Rumelhart,Hinton,Williams發(fā)展了BP算法。Rumelhart和McClelland出版了《Paralleldistributionprocessing:explorationsinthemicrostrueturesofcognitioi》。迄今，BP算法已被用于解決大量實(shí)際問題。1988年，Linsker對(duì)感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論，并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論，從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。1988年，Broomhead和Lowe用徑向基函數(shù)(Radialbasisfunction,RBF)提出分層網(wǎng)絡(luò)的設(shè)計(jì)方法，從而將NN的設(shè)計(jì)與數(shù)值分析和線性適應(yīng)濾波相掛鉤。90年代初，Vapnik等提出了支持向量機(jī)(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)維數(shù)的概念。人工神經(jīng)網(wǎng)絡(luò)的研究受到了各個(gè)發(fā)達(dá)國(guó)家的重視,美國(guó)國(guó)會(huì)通過決議將1990年1月5日開始的十年定為“腦的十年”，國(guó)際研究組織號(hào)召它的成員國(guó)將“腦的十年”變?yōu)槿蛐袨?。在旦本的“真?shí)世界計(jì)算(RWC)”項(xiàng)目中,人工智能的研究成了一個(gè)重要的組成部分。學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容,它的適應(yīng)性是通過學(xué)習(xí)實(shí)現(xiàn)的。根據(jù)環(huán)境的變化，對(duì)權(quán)值進(jìn)行調(diào)整,改善系統(tǒng)的行為。由Hebb提出的Hebb學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。Hebb規(guī)則認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同網(wǎng)絡(luò)模型的需要。有效的學(xué)習(xí)算法，使得神經(jīng)網(wǎng)絡(luò)能夠通過連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示,形成具有特色的信息處理方法，信息存儲(chǔ)和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。根據(jù)學(xué)習(xí)環(huán)境不同，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，將訓(xùn)練樣本的數(shù)據(jù)加到網(wǎng)絡(luò)輸入端，同時(shí)將相應(yīng)的期望輸出與網(wǎng)絡(luò)輸出相比較，得到誤差信號(hào),以此控制權(quán)值連接強(qiáng)度的調(diào)整，經(jīng)多次訓(xùn)練后收斂到一個(gè)確定的權(quán)值。當(dāng)樣本情況發(fā)生變化時(shí)，經(jīng)學(xué)習(xí)可以修改權(quán)值以適應(yīng)新的環(huán)境。使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有反傳網(wǎng)絡(luò)、感知器等。非監(jiān)督學(xué)習(xí)時(shí)，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境之中，學(xué)習(xí)階段與工作階段成為一體。此時(shí)，學(xué)習(xí)規(guī)律的