人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

課時(shí)安排:48學(xué)時(shí),1~16周。參考書目：最新中文書籍；NeuralNetworks:AComprehensiveFoundation(SecondEdition)Simon.Haykin清華大學(xué)出版社,2001;相關(guān)刊物。第一章概述ArtificialNeuralNetwork,簡(jiǎn)記ANN;ConnectionismModel,連接機(jī)制模型ParallalDistributedModel,并行分布處理模型§1.1人工神經(jīng)網(wǎng)絡(luò)概念的提出現(xiàn)代計(jì)算機(jī)有很強(qiáng)的計(jì)算、信息處理能力，但是解決像模式識(shí)別、感知、評(píng)判和決策等復(fù)雜問題的能力卻遠(yuǎn)不如人；只能按人事先編好的程序機(jī)械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)適應(yīng)環(huán)境的能力。

人腦生物進(jìn)化的最高產(chǎn)物；最復(fù)雜、最完善和最有效的信息處理系統(tǒng)；高級(jí)精神活動(dòng)（智能、思維和情緒等）的物質(zhì)基礎(chǔ)；人類認(rèn)識(shí)較少的領(lǐng)域之一。根據(jù)19世紀(jì)末創(chuàng)建的神經(jīng)元學(xué)說：人腦由大約1011～1012

神經(jīng)元和1014～1015個(gè)突觸組成的巨系統(tǒng)。人腦的固有特征：1.并行分布處理單個(gè)神經(jīng)細(xì)胞反應(yīng)速度:10-3s

電子元件計(jì)算速度:10-9s決策過程只需1秒：記憶回溯、語言理解、直覺推理、圖像識(shí)別等；從部分信息構(gòu)造人和物的圖像。100步程序長(zhǎng)度（J.A.Feldman）:串行工作模式?jīng)]有這么快的反應(yīng)能力。2.可塑性和自組織性:突觸的信息傳遞特性可變，細(xì)胞間聯(lián)接是柔軟的。3.系統(tǒng)性:相互作用;調(diào)節(jié)。4.系統(tǒng)的恰當(dāng)退化：少量神經(jīng)元損傷（或正常死亡），網(wǎng)絡(luò)總體功能繼續(xù)有效。人腦與計(jì)算機(jī)信息處理能力的比較1.記憶與聯(lián)想能力2.學(xué)習(xí)與認(rèn)知能力3.信息加工能力4.信息綜合能力5.信息處理速度人腦與計(jì)算機(jī)信息處理機(jī)制的比較1.系統(tǒng)結(jié)構(gòu)2.信號(hào)形式3.信息存儲(chǔ)4.信息處理機(jī)制從大腦組織結(jié)構(gòu)和運(yùn)行機(jī)制的絕妙特點(diǎn)，追求新型的信號(hào)處理系統(tǒng)：超越人的計(jì)算能力，探尋新的信息表示、存儲(chǔ)和處理方式，設(shè)計(jì)全新的計(jì)算處理結(jié)構(gòu)模型；類似于人的識(shí)別、判斷、聯(lián)想和決策的能力，解決傳統(tǒng)的馮·諾依曼計(jì)算機(jī)難以解決的問題。對(duì)神經(jīng)網(wǎng)絡(luò)的分析和研究：揭示人腦的工作機(jī)理；了解神經(jīng)系統(tǒng)進(jìn)行信息處理的本質(zhì)。目的：設(shè)計(jì)類似人腦某些功能的智能系統(tǒng)。微觀（結(jié)構(gòu)）：與生物神經(jīng)網(wǎng)絡(luò)拓?fù)湟恢拢缓暧^功能：與人類智能行為恰當(dāng)對(duì)應(yīng)。用機(jī)器代替人腦的部分勞動(dòng)是當(dāng)今科學(xué)技術(shù)發(fā)展的重要標(biāo)志。僅用人工的機(jī)械系統(tǒng)完全模擬人腦是不可能的！以人腦的組織結(jié)構(gòu)和功能特征為原型，設(shè)法構(gòu)建與人腦結(jié)構(gòu)和功能拓?fù)鋵?duì)應(yīng)的人造智能系統(tǒng)來模擬人類智能行為。原則上講，是智能模擬中一個(gè)很有前途的發(fā)展方向。智能模擬研究的兩條不同途徑：1.心理學(xué)派：人類的智能行為本質(zhì)上是以思維為主要特征的一系列心理活動(dòng)的結(jié)果。這一模式的典型：人工智能學(xué)科智能模擬方式：傳統(tǒng)的馮?諾依曼(VonNeumann)計(jì)算機(jī)體現(xiàn)機(jī)構(gòu)為基礎(chǔ);邏輯推理和符號(hào)操作為特征。在模擬實(shí)現(xiàn)人的學(xué)習(xí)能力、聯(lián)想記憶能力和人腦大規(guī)模并行處理能力等功能時(shí)，遇到困難。2.生理學(xué)模式:典型:人工神經(jīng)網(wǎng)絡(luò),當(dāng)前被認(rèn)為是很有發(fā)展前途的另一種智能模擬方法。人們通過對(duì)人腦神經(jīng)系統(tǒng)的初步認(rèn)識(shí)，嘗試構(gòu)造人工神經(jīng)元，組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，對(duì)人的智能、思維行為進(jìn)行研究，試圖從理性角度闡明人腦的高級(jí)功能。HechtNielsen關(guān)于人工神經(jīng)網(wǎng)絡(luò)的定義:“神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng),該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來處理信息的”美國(guó)國(guó)防高級(jí)研究計(jì)劃局關(guān)于人工神經(jīng)網(wǎng)絡(luò)的解釋是:“人工神經(jīng)網(wǎng)絡(luò)是一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng),其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。”綜合人工神經(jīng)網(wǎng)絡(luò)的來源、特點(diǎn)及各種解釋，可以簡(jiǎn)單表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。目前有上百種ANN模型：基本處理單元：人工神經(jīng)元----對(duì)生物神經(jīng)元的近似仿真。人工神經(jīng)元有不同的模型：算法在不同程度上或多或少地接近神經(jīng)信息處理的原則。輸出信號(hào)的強(qiáng)度大?。悍从吃搯卧獙?duì)相鄰單元影響的強(qiáng)弱。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)（ANN）。ANN是由大量高度互連的信號(hào)或信息處理單元（人工神經(jīng)元）組成的計(jì)算系統(tǒng)：用于模擬人腦行為的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，反映人腦功能的許多基本特征。1.對(duì)人腦神經(jīng)系統(tǒng)的某種簡(jiǎn)化、抽象和模擬；2.理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型。目前ANN的構(gòu)造大體采用如下原則：1.一定數(shù)量的基本單元分層聯(lián)接;2.每個(gè)單元的輸入、輸出信號(hào)以及綜合處理內(nèi)容比較簡(jiǎn)單；3.網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)體現(xiàn)在各單元之間的聯(lián)接強(qiáng)度上。ANN的固有特征：1.信息的處理和記憶分布在整個(gè)網(wǎng)絡(luò)上,把硬件與軟件在結(jié)構(gòu)上分開是困難的；2.高度的并行性：大量簡(jiǎn)單處理單元并行活動(dòng)。3.高度的非線性全局作用：網(wǎng)絡(luò)之間互相制約和互相影響，實(shí)現(xiàn)從輸入空間到輸出狀態(tài)空間的非線性映射;網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的簡(jiǎn)單迭加。4.良好的容錯(cuò)性與聯(lián)想記憶功能：記憶的信息存儲(chǔ)在神經(jīng)元之間的聯(lián)接（權(quán)值）中；分布式的存儲(chǔ)方式。5.處理單元（神經(jīng)元）包含典型的非線性激活函數(shù);6.魯棒性:高度冗余的并行結(jié)構(gòu)表現(xiàn)出很高的非敏感性。7.自適應(yīng)、自學(xué)習(xí)功能：聯(lián)接模式：神經(jīng)元之間相互聯(lián)接的方式。相互之間聯(lián)接度通過聯(lián)結(jié)權(quán)重體現(xiàn)。ANN中,改變信息處理過程及其能力,實(shí)際上就是修改網(wǎng)絡(luò)權(quán)值的過程。神經(jīng)元的重要方面：突觸（聯(lián)接）按照自適應(yīng)改變。至今提出的真實(shí)生物神經(jīng)網(wǎng)絡(luò)的人工模型是很簡(jiǎn)單的，只是真實(shí)生物結(jié)構(gòu)的粗略近似。人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)問題仍是一個(gè)困難的尚未解決的問題！是否有必要盡可能精確模擬生物構(gòu)造？是否能通過不完全對(duì)應(yīng)于真實(shí)生物神經(jīng)系統(tǒng)的模型，取得期望的性質(zhì)？§1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)是一門高度綜合的交叉學(xué)科,其發(fā)展大致分為四個(gè)時(shí)期:探索時(shí)期;第一次研究熱潮時(shí)期;低潮時(shí)期;第二次研究熱潮時(shí)期.一.探索時(shí)期:

(40年代)1890年,WilliamJames發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著:PrinciplesofPsychology(心理學(xué)原理)對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究：當(dāng)一個(gè)基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個(gè)受刺激重新激活時(shí)會(huì)將刺激傳播到另一個(gè)；神經(jīng)細(xì)胞激活是細(xì)胞所有輸入疊加的結(jié)果。1943年，神經(jīng)元理論建模；二值神經(jīng)元模型：神經(jīng)細(xì)胞視為二值（MP模型）開關(guān)元件，細(xì)胞按不同方式組合聯(lián)接來實(shí)現(xiàn)。模型過于簡(jiǎn)單。W.C.McCullochandW.A.PittsALogicalCalculationsoftheIdeasLmmanentinNervousActivityBulletinofmathematicalBiophysics,Vol.5:115~133,19431949年，Hebb學(xué)習(xí)法則；腦細(xì)胞活動(dòng)時(shí)細(xì)胞間的聯(lián)系被加強(qiáng)---通過調(diào)節(jié)神經(jīng)元之間的聯(lián)接強(qiáng)度來實(shí)現(xiàn)ANN的學(xué)習(xí)功能。D.O.Hebb

TheOrgnizationofBehaviorJohnWiley,NewYork,1949二.第一次研究熱潮時(shí)期:(50年代末~60年代初)1958年：感知器（Perceptron）：模擬人腦的感知和學(xué)習(xí)能力，主要用于模式分類。1959年：自適應(yīng)線性元件（AdaptiveLinearElementAdaline）：感知器的變化形式。從工程實(shí)際出發(fā)，在計(jì)算機(jī)上模擬了這種ANN；硬件實(shí)現(xiàn)，第一個(gè)用于解決實(shí)際問題的ANN。1962年，Rosenblatt著作：ThePrincipleofNeurodynamic詳細(xì)介紹感知器網(wǎng)絡(luò)。模型比較簡(jiǎn)單，但顯示與當(dāng)時(shí)流行的馮?諾依曼(VonNeumann)計(jì)算機(jī)的一些不同性質(zhì)：可學(xué)習(xí)性；分布式存儲(chǔ)；連續(xù)計(jì)算。感知器應(yīng)用研究：學(xué)習(xí)記憶；文字識(shí)別；聲音識(shí)別；聲納信號(hào)識(shí)別。F.Rosenblatt

ThePerceptron:aProbabilistiedModelforInformationStorageandOrganizationinTLBrainPsychologicalReview,Vol.65:386~408,1958B.WidrowandE.HoffAdaptiveSwitchingCircuit,IREWESCONConventionRecordPart4,Computers,Man-MachineSystems:96~104,1960三.低潮時(shí)期:(60年代末~70年代)理論上:計(jì)算機(jī)技術(shù)正處于迅速發(fā)展階段,掩蓋了發(fā)展ANN理論的必要性和迫切性;技術(shù)條件:硬件實(shí)現(xiàn)ANN非常困難;人為因素。M.MinskyandS.PapertPerceptrons

MITPress,1969其它研究:神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)過程的數(shù)理分析；自組織理論研究；聯(lián)想記憶。四.第二次研究熱潮時(shí)期:(80年代~至今)1.Hopfield網(wǎng)絡(luò)模型：用于聯(lián)想記憶和優(yōu)化計(jì)算的反饋互連網(wǎng)絡(luò)。網(wǎng)絡(luò)穩(wěn)定性的明確判據(jù)；電子模擬電路實(shí)現(xiàn)：神經(jīng)網(wǎng)絡(luò)執(zhí)行的運(yùn)算，不同于布爾代數(shù)運(yùn)算----由此興起新一代電子神經(jīng)計(jì)算機(jī)的研究。2.BP網(wǎng)絡(luò)：（

BackPropagation）解決了感知器不能解決的問題；找到了Minsky提出的問題的解決方法。J.J.Hopfield

NeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilitiesProc.Natl.Acad.Sci.,U.S.A.Vol.79:2554~2558,1982NeuronswithGradedResponsehaveCollectiveComputationalPropertiesLikeThoseofTwo-stateneurous

Proc.Natl.Acad.Sci.,U.S.A.Vol.81:3088~3092,1984D.E.RumelhartandD.E.McClellandParallelDistributedProcessing:ExplorationsintheMicrostructureofCognitionMITPress,CambridgeMA,19861987年6月:IEEE(國(guó)際電氣和電工工程師協(xié)會(huì))在SanDiego召開“第一屆神經(jīng)網(wǎng)絡(luò)國(guó)際學(xué)術(shù)討論會(huì)”;《IEEETransationonNeuralnetworks》同年,國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)(INNS)成立《NeuralNetworks》迄今為止的ANN研究，大體上分為三個(gè)方向：探求人腦神經(jīng)網(wǎng)絡(luò)的生物結(jié)構(gòu)和機(jī)制；用微電子學(xué)或光學(xué)器件形成特殊功能網(wǎng)絡(luò)；NN理論作為解決某些問題的手段和方法。我國(guó)的NN研究起步于己于1988年；1992年在北京召開----國(guó)際網(wǎng)絡(luò)學(xué)會(huì)和IEEE神經(jīng)網(wǎng)絡(luò)委員會(huì)聯(lián)合學(xué)術(shù)會(huì)議（IJCNN）總體上，我國(guó)的研究領(lǐng)域、論文數(shù)量，與國(guó)外有相當(dāng)大的差距。IEEE-INNS-ENNS:InternationalJointConferenceonNeuralNetworks,7.24~7.27,2000,Italy論文：526，大陸：10監(jiān)督學(xué)習(xí)24多層感知器17進(jìn)化計(jì)算17時(shí)序預(yù)測(cè)16模式識(shí)別14人臉識(shí)別14醫(yī)療應(yīng)用20系統(tǒng)監(jiān)別15機(jī)器15硬件實(shí)現(xiàn)24通信18新的動(dòng)向：1.神經(jīng)計(jì)算的基礎(chǔ)理論框架以及生理層面的研究仍需深入;2.監(jiān)督學(xué)習(xí):仍有很多研究的問題;非監(jiān)督學(xué)習(xí):起步較晚,發(fā)展空間大;3.新的模型和結(jié)構(gòu):現(xiàn)有網(wǎng)絡(luò)：多層感知機(jī)、徑向基函數(shù)網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)、自適應(yīng)諧振理論網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。脈沖神經(jīng)網(wǎng)絡(luò)(SpikingNeuralNetwork)支持向量機(jī)(SupportVectorMachine)4.增強(qiáng)ANN的可理解性研究:神經(jīng)計(jì)算和機(jī)器學(xué)習(xí)界的研究熱點(diǎn)。5.神經(jīng)計(jì)算技術(shù)與其它技術(shù),尤其是進(jìn)化計(jì)算技術(shù)的結(jié)合;混合方法和混合系統(tǒng)是研究的熱點(diǎn)。6.應(yīng)用領(lǐng)域的不斷擴(kuò)大。§1.3人工神經(jīng)網(wǎng)絡(luò)研究的意義神經(jīng)科學(xué)研究長(zhǎng)期目標(biāo)：揭示人腦的工作機(jī)制，了解思維的本質(zhì)；近期目標(biāo)：研究和利用大腦神經(jīng)網(wǎng)絡(luò)的一些特性，設(shè)計(jì)出具有類似的某些大腦功能的智能系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)的理論