人工神經(jīng)網(wǎng)絡(luò)綜述

/26BAM模型記憶模式擦除要從雙向聯(lián)想存儲器中擦去某個記憶模式，例如要去掉模式對(A,B)，只ii要在權(quán)值矩陣M中減去該聯(lián)想對的雙極伴隨矩陣，即：M'=M-XtYiiBAM模型的聯(lián)想過程聯(lián)想過程是一個自適應(yīng)調(diào)整過程，目的是使最后的輸出能夠更加逼近理論上的輸出值。BAM模型的學(xué)習(xí)過程：將輸入模式A送入雙向聯(lián)想存儲器域F中。A域F中的各神經(jīng)元計(jì)算其接收值，對于域F中的處理單元b.(i=1,2,,p)BBi有：AMj=工aMiiji=1③域F中每個神經(jīng)元a(j=1,2,,n)也可計(jì)算其接收值，即:TOC\o"1-5"\h\zAjBMj=》bM???IIJi=1④修改域F和域F中各處理單元的狀態(tài):ABBMj>0I\\(i=1,2,,n)BMj<0Ji>(j=h2，.…，p)>(j=h2，.…，p)JAMj<0⑤當(dāng)BM⑤當(dāng)BMj=9或AMj=9時(shí),ji則神經(jīng)元保持原來狀態(tài)不變。⑥然后重復(fù)上述過程，直到系統(tǒng)進(jìn)入穩(wěn)定狀態(tài)，也即a與b的狀態(tài)不再改ij變?yōu)橹?。這時(shí)域F的輸出即為最終所得結(jié)果。B4?2?3?4優(yōu)缺點(diǎn)優(yōu)點(diǎn):BAM模型的聯(lián)想和學(xué)習(xí)方式具有糾錯功能，也就是說當(dāng)輸入模式與學(xué)習(xí)模式不完全相同時(shí)，它可以聯(lián)想出正確的模式；主要用作按內(nèi)容尋址的相聯(lián)存儲。缺點(diǎn)：存儲容量小而且需很好地進(jìn)行編碼。5.人工神經(jīng)網(wǎng)絡(luò)發(fā)展趨勢以及待解決的關(guān)鍵問題神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已經(jīng)得到了很好的應(yīng)用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來的混合方法和混合系統(tǒng)，已成為一大研究熱點(diǎn)。由于其他方法也有它們各自的優(yōu)點(diǎn)，所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，取長補(bǔ)短。繼而可以獲得更好的應(yīng)用效果。目前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論和灰色系統(tǒng)分等的融合。下面主要就神經(jīng)網(wǎng)絡(luò)與小波分析、混沌、粗集理論、分形理論的融合進(jìn)行分析。與小波分析的結(jié)合傳統(tǒng)的信號理論，是建立在Fourier分析基礎(chǔ)上的，而Fourier變換作為一種全局性的變化，其有一定的局限性，如不具備局部化分析能力、不能分析非平穩(wěn)信號等。在實(shí)際應(yīng)用中人們開始對Fourier變換進(jìn)行各種改進(jìn)，以改善這種局限性，如STFT(短時(shí)傅立葉變換)。由于STFT采用的的滑動窗函數(shù)一經(jīng)選定就固定不變，故決定了其時(shí)頻分辨率固定不變，不具備自適應(yīng)能力，而小波分析很好的解決了這個問題。小波分析是一種新興的數(shù)學(xué)分支，它是泛函數(shù)、Fourier分析、調(diào)和分析、數(shù)值分析的最完美的結(jié)晶；在應(yīng)用領(lǐng)域，特別是在信號處理、圖像處理、語音處理以及眾多非線性科學(xué)領(lǐng)域，它被認(rèn)為是繼Fourier分析之后的又一有效的時(shí)頻分析方法。小波變換與Fourier變換相比，是一個時(shí)間和頻域的局域變換因而能有效地從信號中提取信息，通過伸縮和平移等運(yùn)算功能對函數(shù)或信號進(jìn)行多尺度細(xì)化分析(MultiscaleAnalysis)，解決了Fourier變換不能解決的許多困難問題。小波神經(jīng)網(wǎng)絡(luò)將小波變換良好的時(shí)頻局域化特性和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能相結(jié)合，因而具有較強(qiáng)的逼近能力和容錯能力。在結(jié)合方法上，可以將小波函數(shù)作為傳遞函數(shù)構(gòu)造神經(jīng)網(wǎng)絡(luò)形成小波網(wǎng)絡(luò)，或者小波變換作為前饋神經(jīng)網(wǎng)絡(luò)的輸入前置處理工具，即以小波變換的多分辨率特性對過程狀態(tài)信號進(jìn)行處理，實(shí)現(xiàn)信噪分離，并提取出對加工誤差影響最大的狀態(tài)特征，作為神經(jīng)網(wǎng)絡(luò)的輸入。5.1.1小波神經(jīng)網(wǎng)絡(luò)的應(yīng)用小波神經(jīng)網(wǎng)絡(luò)在電機(jī)故障診斷、電壓電網(wǎng)故障信號處理與保護(hù)研究。軸承等機(jī)械故障診斷以及許多方面都有應(yīng)用，將小波神經(jīng)網(wǎng)絡(luò)用于感應(yīng)伺服電機(jī)的智能控制，使該系統(tǒng)具有良好的跟蹤控制性能，以及好的魯棒性，利用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行心血管疾病的智能診斷，小波層進(jìn)行時(shí)頻域的自適應(yīng)特征提取，前向神經(jīng)網(wǎng)絡(luò)用來進(jìn)行分類，正確分類率達(dá)到94%。5.1.2待解決的關(guān)鍵技術(shù)問題小波神經(jīng)網(wǎng)絡(luò)雖然應(yīng)用于很多方面，但仍存在一些不足。（1）從提取精度和小波變換實(shí)時(shí)性的要求出發(fā)，有必要根據(jù)實(shí)際情況構(gòu)造一些適應(yīng)應(yīng)用需求的特殊小波基，以便在應(yīng)用中取得更好的效果；（2）在應(yīng)用中的實(shí)時(shí)性要求，也需要結(jié)合DSP的發(fā)展，開發(fā)專門的處理芯片，從而滿足這方面的要求。5.2混沌神經(jīng)網(wǎng)絡(luò)由于神經(jīng)網(wǎng)絡(luò)是高度非線性動力學(xué)系統(tǒng)，而混沌又具有上述的特性，因此神經(jīng)網(wǎng)絡(luò)與混沌密切相關(guān)，所以混沌神經(jīng)網(wǎng)絡(luò)被認(rèn)為是可實(shí)現(xiàn)其真實(shí)世界計(jì)算的智能信息處理系統(tǒng)之一。目前對混沌神經(jīng)網(wǎng)絡(luò)的研究還處于初始階段，其研究主要限于認(rèn)識單個神經(jīng)元的混沌特性和對簡單混沌神經(jīng)網(wǎng)絡(luò)的行為分析。1990年，Aihara等在前人推導(dǎo)和動物實(shí)驗(yàn)的基礎(chǔ)上，給出了一個混沌神經(jīng)網(wǎng)絡(luò)模型。大量的生物實(shí)驗(yàn)表明，腦神經(jīng)系統(tǒng)具有分岔、混沌和奇怪吸引子動力學(xué)行為，然而，神經(jīng)網(wǎng)絡(luò)作為一個極其復(fù)雜的非線性系統(tǒng)是否也具有類似的動力學(xué)行為呢？下面先介紹兩種混沌神經(jīng)元的基本模型，并對神經(jīng)元模型特性進(jìn)行分析，進(jìn)而引出了混沌神經(jīng)網(wǎng)絡(luò)模型。目前廣泛研究的混沌神經(jīng)網(wǎng)絡(luò)模型是在Hopfield神經(jīng)網(wǎng)絡(luò)中引入了一個具有混沌特性的負(fù)反饋項(xiàng)，進(jìn)而得到了混沌神經(jīng)網(wǎng)絡(luò)模型，因此在深入研究混沌神經(jīng)網(wǎng)絡(luò)之前，有必要先介紹一下Hopfield神經(jīng)網(wǎng)絡(luò)。美國物理學(xué)家J.J.Hopfield首先提出一種單層反饋網(wǎng)絡(luò)系統(tǒng)，這種單層反饋網(wǎng)絡(luò)就稱為Hopfield網(wǎng)絡(luò)。反饋神經(jīng)網(wǎng)絡(luò)的非線性和高維數(shù)，使得現(xiàn)有工具難以確定其狀態(tài)軌跡，甚至可能出現(xiàn)混沌現(xiàn)象。由于具有混沌特性的神經(jīng)網(wǎng)絡(luò)其動力學(xué)特性十分復(fù)雜，因此獲得了廣泛研究。5.2.1混沌神經(jīng)網(wǎng)絡(luò)的應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)由于其復(fù)雜的動力學(xué)特性，在動態(tài)聯(lián)想記憶。系統(tǒng)優(yōu)化、信息提取、人工智能等領(lǐng)域受到人們極大的關(guān)注。混沌吸引子的吸引域存在，形成了混沌神經(jīng)網(wǎng)絡(luò)固有容錯功能。這對復(fù)雜的模式識別、圖像處理等工程應(yīng)用發(fā)揮著重要作用。5.2.2待解決的關(guān)鍵技術(shù)問題為了更好地應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)的動力學(xué)特性，并對其存在的混沌現(xiàn)象進(jìn)行有效的控制，仍需要對混沌神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行進(jìn)一步的改進(jìn)和調(diào)整，以及對混沌神經(jīng)網(wǎng)絡(luò)算法的進(jìn)一步研究。5.3基于粗集理論粗糙集理論作為智能計(jì)算的科學(xué)研究，無論是在理論方面還是在應(yīng)用實(shí)踐方面都取得了很大的進(jìn)展，展示了它光明的前景。粗集理論不僅為信息科學(xué)和認(rèn)知科學(xué)提供了新的科學(xué)邏輯和研究方法，而且為智能信息處理提供了有效的處理技術(shù)。1982年，以波蘭數(shù)學(xué)家Pawlak為代表的研究者首次提出了粗糙集理論，并于1991年出版第一本關(guān)于粗糙集的專著，接著1992年SlowinskiR主編論文集的出版，推動了國際上對粗糙集理論與應(yīng)用的深入研究。1992年在波蘭Kiekrz召開了第一屆國際粗糙集合研討會。這次會議著重討論了集合近似定義的基本思想及其應(yīng)用和粗糙集合環(huán)境下的機(jī)器學(xué)習(xí)基礎(chǔ)研究，從此每年都會召開一次以粗糙集理論為主題的國際研討會，從而推動了粗糙集理論的拓展和應(yīng)用。我國RS研究起步較晚，所能搜索到的最早發(fā)表的論文時(shí)間是1990年，直到1998年由曾黃麟教授編著了國內(nèi)最早的RS專著。粗糙集理論已成為國內(nèi)外人工智能領(lǐng)域中一個較新的學(xué)術(shù)熱點(diǎn)，引起了越來越多科研人員的關(guān)注。5.3.1粗集與神經(jīng)網(wǎng)絡(luò)結(jié)合的應(yīng)用目前，粗集與神經(jīng)網(wǎng)絡(luò)的結(jié)合已經(jīng)應(yīng)用于語音識別、專家系統(tǒng)、數(shù)據(jù)挖掘、故障診斷等領(lǐng)域，將神經(jīng)網(wǎng)絡(luò)與粗集用于聲源位置的自動識別，將神經(jīng)網(wǎng)絡(luò)和粗集用于專家系統(tǒng)的知識獲取中，取得比傳統(tǒng)專家系統(tǒng)更好的效果，其中粗集進(jìn)行不確定和不精確數(shù)據(jù)的處理，神經(jīng)網(wǎng)絡(luò)進(jìn)行分類工作。5.3.2待解決的關(guān)鍵技術(shù)問題（1）模擬人類抽象邏輯思維的粗集理論方法和模擬形象直覺思維的神經(jīng)網(wǎng)絡(luò)方法更加有效結(jié)合；（2）集成的軟件和硬件平臺的開發(fā)，提高實(shí)用性。5.4分形神經(jīng)網(wǎng)絡(luò)分形理論（FractalTheory）是當(dāng)今十分風(fēng)靡和活躍的新理論、新學(xué)科。分形的概念是美籍?dāng)?shù)學(xué)家本華?曼德博（法語：BenoitB.Mandelbrot）首先提出的。分形理論的數(shù)學(xué)基礎(chǔ)是分形幾何學(xué)，即由分形幾何衍生出分形信息、分形設(shè)計(jì)、分形藝術(shù)等應(yīng)用。分形理論的最基本特點(diǎn)是用分?jǐn)?shù)維度的視角和數(shù)學(xué)方法描述和研究客觀事物，也就是用分形分維的數(shù)學(xué)工具來描述研究客觀事物。它跳出了一維的線、二維的面、三維的立體乃至四維時(shí)空的傳統(tǒng)藩籬，更加趨近復(fù)雜系統(tǒng)的真實(shí)屬性與狀態(tài)的描述，更加符合客觀事物的多樣性與復(fù)雜性。5.4.1分形神經(jīng)網(wǎng)絡(luò)的應(yīng)用分形神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域有圖像識別。圖像編碼、圖像壓縮，以及機(jī)械設(shè)備系統(tǒng)的故障診斷等。分形圖像壓縮/解壓縮方法有著高壓縮率和低遺失率的優(yōu)點(diǎn)，但運(yùn)算能力不強(qiáng)，由于神經(jīng)網(wǎng)絡(luò)具有并行運(yùn)算的特點(diǎn)，將神經(jīng)網(wǎng)絡(luò)用于分形圖像壓縮