人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

課時安排:48學(xué)時,1~16周。參考書目：最新中文書籍；NeuralNetworks:AComprehensiveFoundation(SecondEdition)Simon.Haykin清華大學(xué)出版社,2001;相關(guān)刊物。第一章概述ArtificialNeuralNetwork,簡記ANN;ConnectionismModel,連接機制模型ParallalDistributedModel,并行分布處理模型§1.1人工神經(jīng)網(wǎng)絡(luò)概念的提出現(xiàn)代計算機有很強的計算、信息處理能力，但是解決像模式識別、感知、評判和決策等復(fù)雜問題的能力卻遠不如人；只能按人事先編好的程序機械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)適應(yīng)環(huán)境的能力。

人腦生物進化的最高產(chǎn)物；最復(fù)雜、最完善和最有效的信息處理系統(tǒng)；高級精神活動（智能、思維和情緒等）的物質(zhì)基礎(chǔ)；人類認識較少的領(lǐng)域之一。根據(jù)19世紀末創(chuàng)建的神經(jīng)元學(xué)說：人腦由大約1011～1012

神經(jīng)元和1014～1015個突觸組成的巨系統(tǒng)。人腦的固有特征：1.并行分布處理單個神經(jīng)細胞反應(yīng)速度:10-3s

電子元件計算速度:10-9s決策過程只需1秒：記憶回溯、語言理解、直覺推理、圖像識別等；從部分信息構(gòu)造人和物的圖像。100步程序長度（J.A.Feldman）:串行工作模式?jīng)]有這么快的反應(yīng)能力。2.可塑性和自組織性:突觸的信息傳遞特性可變，細胞間聯(lián)接是柔軟的。3.系統(tǒng)性:相互作用;調(diào)節(jié)。4.系統(tǒng)的恰當退化：少量神經(jīng)元損傷（或正常死亡），網(wǎng)絡(luò)總體功能繼續(xù)有效。人腦與計算機信息處理能力的比較1.記憶與聯(lián)想能力2.學(xué)習(xí)與認知能力3.信息加工能力4.信息綜合能力5.信息處理速度人腦與計算機信息處理機制的比較1.系統(tǒng)結(jié)構(gòu)2.信號形式3.信息存儲4.信息處理機制從大腦組織結(jié)構(gòu)和運行機制的絕妙特點，追求新型的信號處理系統(tǒng)：超越人的計算能力，探尋新的信息表示、存儲和處理方式，設(shè)計全新的計算處理結(jié)構(gòu)模型；類似于人的識別、判斷、聯(lián)想和決策的能力，解決傳統(tǒng)的馮·諾依曼計算機難以解決的問題。對神經(jīng)網(wǎng)絡(luò)的分析和研究：揭示人腦的工作機理；了解神經(jīng)系統(tǒng)進行信息處理的本質(zhì)。目的：設(shè)計類似人腦某些功能的智能系統(tǒng)。微觀（結(jié)構(gòu)）：與生物神經(jīng)網(wǎng)絡(luò)拓撲一致；宏觀功能：與人類智能行為恰當對應(yīng)。用機器代替人腦的部分勞動是當今科學(xué)技術(shù)發(fā)展的重要標志。僅用人工的機械系統(tǒng)完全模擬人腦是不可能的！以人腦的組織結(jié)構(gòu)和功能特征為原型，設(shè)法構(gòu)建與人腦結(jié)構(gòu)和功能拓撲對應(yīng)的人造智能系統(tǒng)來模擬人類智能行為。原則上講，是智能模擬中一個很有前途的發(fā)展方向。智能模擬研究的兩條不同途徑：1.心理學(xué)派：人類的智能行為本質(zhì)上是以思維為主要特征的一系列心理活動的結(jié)果。這一模式的典型：人工智能學(xué)科智能模擬方式：傳統(tǒng)的馮?諾依曼(VonNeumann)計算機體現(xiàn)機構(gòu)為基礎(chǔ);邏輯推理和符號操作為特征。在模擬實現(xiàn)人的學(xué)習(xí)能力、聯(lián)想記憶能力和人腦大規(guī)模并行處理能力等功能時，遇到困難。2.生理學(xué)模式:典型:人工神經(jīng)網(wǎng)絡(luò),當前被認為是很有發(fā)展前途的另一種智能模擬方法。人們通過對人腦神經(jīng)系統(tǒng)的初步認識，嘗試構(gòu)造人工神經(jīng)元，組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，對人的智能、思維行為進行研究，試圖從理性角度闡明人腦的高級功能。HechtNielsen關(guān)于人工神經(jīng)網(wǎng)絡(luò)的定義:“神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng),該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的”美國國防高級研究計劃局關(guān)于人工神經(jīng)網(wǎng)絡(luò)的解釋是:“人工神經(jīng)網(wǎng)絡(luò)是一種由許多簡單的并行工作的處理單元組成的系統(tǒng),其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式?！本C合人工神經(jīng)網(wǎng)絡(luò)的來源、特點及各種解釋，可以簡單表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。目前有上百種ANN模型：基本處理單元：人工神經(jīng)元----對生物神經(jīng)元的近似仿真。人工神經(jīng)元有不同的模型：算法在不同程度上或多或少地接近神經(jīng)信息處理的原則。輸出信號的強度大?。悍从吃搯卧獙ο噜弳卧绊懙膹娙?。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)（ANN）。ANN是由大量高度互連的信號或信息處理單元（人工神經(jīng)元）組成的計算系統(tǒng)：用于模擬人腦行為的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，反映人腦功能的許多基本特征。1.對人腦神經(jīng)系統(tǒng)的某種簡化、抽象和模擬；2.理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型。目前ANN的構(gòu)造大體采用如下原則：1.一定數(shù)量的基本單元分層聯(lián)接;2.每個單元的輸入、輸出信號以及綜合處理內(nèi)容比較簡單；3.網(wǎng)絡(luò)的學(xué)習(xí)和知識存儲體現(xiàn)在各單元之間的聯(lián)接強度上。ANN的固有特征：1.信息的處理和記憶分布在整個網(wǎng)絡(luò)上,把硬件與軟件在結(jié)構(gòu)上分開是困難的；2.高度的并行性：大量簡單處理單元并行活動。3.高度的非線性全局作用：網(wǎng)絡(luò)之間互相制約和互相影響，實現(xiàn)從輸入空間到輸出狀態(tài)空間的非線性映射;網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的簡單迭加。4.良好的容錯性與聯(lián)想記憶功能：記憶的信息存儲在神經(jīng)元之間的聯(lián)接（權(quán)值）中；分布式的存儲方式。5.處理單元（神經(jīng)元）包含典型的非線性激活函數(shù);6.魯棒性:高度冗余的并行結(jié)構(gòu)表現(xiàn)出很高的非敏感性。7.自適應(yīng)、自學(xué)習(xí)功能：聯(lián)接模式：神經(jīng)元之間相互聯(lián)接的方式。相互之間聯(lián)接度通過聯(lián)結(jié)權(quán)重體現(xiàn)。ANN中,改變信息處理過程及其能力,實際上就是修改網(wǎng)絡(luò)權(quán)值的過程。神經(jīng)元的重要方面：突觸（聯(lián)接）按照自適應(yīng)改變。至今提出的真實生物神經(jīng)網(wǎng)絡(luò)的人工模型是很簡單的，只是真實生物結(jié)構(gòu)的粗略近似。人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)問題仍是一個困難的尚未解決的問題！是否有必要盡可能精確模擬生物構(gòu)造？是否能通過不完全對應(yīng)于真實生物神經(jīng)系統(tǒng)的模型，取得期望的性質(zhì)？§1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)是一門高度綜合的交叉學(xué)科,其發(fā)展大致分為四個時期:探索時期;第一次研究熱潮時期;低潮時期;第二次研究熱潮時期.一.探索時期:

(40年代)1890年,WilliamJames發(fā)表了第一部詳細論述人腦結(jié)構(gòu)及功能的專著:PrinciplesofPsychology(心理學(xué)原理)對相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究：當一個基本的腦細胞曾經(jīng)一起或相繼被激活過，其中一個受刺激重新激活時會將刺激傳播到另一個；神經(jīng)細胞激活是細胞所有輸入疊加的結(jié)果。1943年，神經(jīng)元理論建模；二值神經(jīng)元模型：神經(jīng)細胞視為二值（MP模型）開關(guān)元件，細胞按不同方式組合聯(lián)接來實現(xiàn)。模型過于簡單。W.C.McCullochandW.A.PittsALogicalCalculationsoftheIdeasLmmanentinNervousActivityBulletinofmathematicalBiophysics,Vol.5:115~133,19431949年，Hebb學(xué)習(xí)法則；腦細胞活動時細胞間的聯(lián)系被加強---通過調(diào)節(jié)神經(jīng)元之間的聯(lián)接強度來實現(xiàn)ANN的學(xué)習(xí)功能。D.O.Hebb

TheOrgnizationofBehaviorJohnWiley,NewYork,1949二.第一次研究熱潮時期:(50年代末~60年代初)1958年：感知器（Perceptron）：模擬人腦的感知和學(xué)習(xí)能力，主要用于模式分類。1959年：自適應(yīng)線性元件（AdaptiveLinearElementAdaline）：感知器的變化形式。從工程實際出發(fā)，在計算機上模擬了這種ANN；硬件實現(xiàn)，第一個用于解決實際問題的ANN。1962年，Rosenblatt著作：ThePrincipleofNeurodynamic詳細介紹感知器網(wǎng)絡(luò)。模型比較簡單，但顯示與當時流行的馮?諾依曼(VonNeumann)計算機的一些不同性質(zhì)：可學(xué)習(xí)性；分布式存儲；連續(xù)計算。感知器應(yīng)用研究：學(xué)習(xí)記憶；文字識別；聲音識別；聲納信號識別。F.Rosenblatt

ThePerceptron:aProbabilistiedModelforInformationStorageandOrganizationinTLBrainPsychologicalReview,Vol.65:386~408,1958B.WidrowandE.HoffAdaptiveSwitchingCircuit,IREWESCONConventionRecordPart4,Computers,Man-MachineSystems:96~104,1960三.低潮時期:(60年代末~70年代)理論上:計算機技術(shù)正處于迅速發(fā)展階段,掩蓋了發(fā)展ANN理論的必要性和迫切性;技術(shù)條件:硬件實現(xiàn)ANN非常困難;人為因素。M.MinskyandS.PapertPerceptrons

MITPress,1969其它研究:神經(jīng)網(wǎng)絡(luò)動態(tài)過程的數(shù)理分析；自組織理論研究；聯(lián)想記憶。四.第二次研究熱潮時期:(80年代~至今)1.Hopfield網(wǎng)絡(luò)模型：用于聯(lián)想記憶和優(yōu)化計算的反饋互連網(wǎng)絡(luò)。網(wǎng)絡(luò)穩(wěn)定性的明確判據(jù)；電子模擬電路實現(xiàn)：神經(jīng)網(wǎng)絡(luò)執(zhí)行的運算，不同于布爾代數(shù)運算----由此興起新一代電子神經(jīng)計算機的研究。2.BP網(wǎng)絡(luò)：（

BackPropagation）解決了感知器不能解決的問題；找到了Minsky提出的問題的解決方法。J.J.Hopfield

NeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilitiesProc.Natl.Acad.Sci.,U.S.A.Vol.79:2554~2558,1982NeuronswithGradedResponsehaveCollectiveComputationalPropertiesLikeThoseofTwo-stateneurous

Proc.Natl.Acad.Sci.,U.S.A.Vol.81:3088~3092,1984D.E.RumelhartandD.E.McClellandParallelDistributedProcessing:ExplorationsintheMicrostructureofCognitionMITPress,CambridgeMA,19861987年6月:IEEE(國際電氣和電工工程師協(xié)會)在SanDiego召開“第一屆神經(jīng)網(wǎng)絡(luò)國際學(xué)術(shù)討論會”;《IEEETransationonNeuralnetworks》同年,國際神經(jīng)網(wǎng)絡(luò)學(xué)會(INNS)成立《NeuralNetworks》迄今為止的ANN研究，大體上分為三個方向：探求人腦神經(jīng)網(wǎng)絡(luò)的生物結(jié)構(gòu)和機制；用微電子學(xué)或光學(xué)器件形成特殊功能網(wǎng)絡(luò)；NN理論作為解決某些問題的手段和方法。我國的NN研究起步于己于1988年；1992年在北京召開----國際網(wǎng)絡(luò)學(xué)會和IEEE神經(jīng)網(wǎng)絡(luò)委員會聯(lián)合學(xué)術(shù)會議（IJCNN）總體上，我國的研究領(lǐng)域、論文數(shù)量，與國外有相當大的差距。IEEE-INNS-ENNS:InternationalJointConferenceonNeuralNetworks,7.24~7.27,2000,Italy論文：526，大陸：10監(jiān)督學(xué)習(xí)24多層感知器17進化計算17時序預(yù)測16模式識別14人臉識別14醫(yī)療應(yīng)用20系統(tǒng)監(jiān)別15機器15硬件實現(xiàn)24通信18新的動向：1.神經(jīng)計算的基礎(chǔ)理論框架以及生理層面的研究仍需深入;2.監(jiān)督學(xué)習(xí):仍有很多研究的問題;非監(jiān)督學(xué)習(xí):起步較晚,發(fā)展空間大;3.新的模型和結(jié)構(gòu):現(xiàn)有網(wǎng)絡(luò)：多層感知機、徑向基函數(shù)網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)、自適應(yīng)諧振理論網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。脈沖神經(jīng)網(wǎng)絡(luò)(SpikingNeuralNetwork)支持向量機(SupportVectorMachine)4.增強ANN的可理解性研究:神經(jīng)計算和機器學(xué)習(xí)界的研究熱點。5.神經(jīng)計算技術(shù)與其它技術(shù),尤其是進化計算技術(shù)的結(jié)合;混合方法和混合系統(tǒng)是研究的熱點。6.應(yīng)用領(lǐng)域的不斷擴大。§1.3人工神經(jīng)網(wǎng)絡(luò)研究的意義神經(jīng)科學(xué)研究長期目標：揭示人腦的工作機制，了解思維的本質(zhì)；近期目標：研究和利用大腦神經(jīng)網(wǎng)絡(luò)的一些特性，設(shè)計出具有類似的某些大腦功能的智能系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)的理論