人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座

課時安排:48課時,1~16周。參考書目：最新漢字書籍；NeuralNetworks:AComprehensiveFoundation(SecondEdition)Simon.Haykin清華大學(xué)出版社,;相關(guān)刊物。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第1頁第一章概述ArtificialNeuralNetwork,簡記ANN;ConnectionismModel,連接機制模型ParallalDistributedModel,并行分布處理模型人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第2頁§1.1人工神經(jīng)網(wǎng)絡(luò)概念提出當(dāng)代計算機有很強計算、信息處理能力，不過處理像模式識別、感知、評判和決議等復(fù)雜問題能力卻遠(yuǎn)不如人；只能按人事先編好程序機械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)適應(yīng)環(huán)境能力。

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第3頁人腦生物進(jìn)化最高產(chǎn)物；最復(fù)雜、最完善和最有效信息處理系統(tǒng)；高級精神活動（智能、思維和情緒等）物質(zhì)基礎(chǔ)；人類認(rèn)識較少領(lǐng)域之一。依據(jù)19世紀(jì)末創(chuàng)建神經(jīng)元學(xué)說：人腦由大約1011～1012

神經(jīng)元和1014～1015個突觸組成巨系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第4頁人腦固有特征：1.并行分布處理單個神經(jīng)細(xì)胞反應(yīng)速度:10-3s電子元件計算速度:10-9s決議過程只需1秒：記憶回溯、語言了解、直覺推理、圖像識別等；從部分信息結(jié)構(gòu)人和物圖像。100步程序長度（J.A.Feldman）:串行工作模式?jīng)]有這么快反應(yīng)能力。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第5頁2.可塑性和自組織性:突觸信息傳遞特征可變，細(xì)胞間聯(lián)接是柔軟。3.系統(tǒng)性:相互作用;調(diào)整。4.系統(tǒng)恰當(dāng)退化：少許神經(jīng)元損傷（或正常死亡），網(wǎng)絡(luò)總體功效繼續(xù)有效。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第6頁人腦與計算機信息處理能力比較1.記憶與聯(lián)想能力2.學(xué)習(xí)與認(rèn)知能力3.信息加工能力4.信息綜合能力5.信息處理速度人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第7頁人腦與計算機信息處理機制比較1.系統(tǒng)結(jié)構(gòu)2.信號形式3.信息存放4.信息處理機制人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第8頁從大腦組織結(jié)構(gòu)和運行機制絕妙特點，追求新型信號處理系統(tǒng)：超越人計算能力，探尋新信息表示、存放和處理方式，設(shè)計全新計算處理結(jié)構(gòu)模型；類似于人識別、判斷、聯(lián)想和決議能力，處理傳統(tǒng)馮·諾依曼計算機難以處理問題。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第9頁對神經(jīng)網(wǎng)絡(luò)分析和研究：揭示人腦工作機理；了解神經(jīng)系統(tǒng)進(jìn)行信息處理本質(zhì)。目標(biāo)：設(shè)計類似人腦一些功效智能系統(tǒng)。微觀（結(jié)構(gòu)）：與生物神經(jīng)網(wǎng)絡(luò)拓?fù)湟恢?；宏觀功效：與人類智能行為恰當(dāng)對應(yīng)。用機器代替人腦部分勞動是當(dāng)今科學(xué)技術(shù)發(fā)展主要標(biāo)志。僅用人工機械系統(tǒng)完全模擬人腦是不可能！人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第10頁以人腦組織結(jié)構(gòu)和功效特征為原型，設(shè)法構(gòu)建與人腦結(jié)構(gòu)和功效拓?fù)鋵?yīng)人造智能系統(tǒng)來模擬人類智能行為。標(biāo)準(zhǔn)上講，是智能模擬中一個很有前途發(fā)展方向。智能模擬研究兩條不一樣路徑：1.心理學(xué)派：人類智能行為本質(zhì)上是以思維為主要特征一系列心理活動結(jié)果。這一模式經(jīng)典：人工智能學(xué)科人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第11頁智能模擬方式：傳統(tǒng)馮?諾依曼(VonNeumann)計算機表達(dá)機構(gòu)為基礎(chǔ);邏輯推理和符號操作為特征。在模擬實現(xiàn)人學(xué)習(xí)能力、聯(lián)想記憶能力和人腦大規(guī)模并行處理能力等功效時，碰到困難。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第12頁2.生理學(xué)模式:經(jīng)典:人工神經(jīng)網(wǎng)絡(luò),當(dāng)前被認(rèn)為是很有發(fā)展前途另一個智能模擬方法。人們經(jīng)過對人腦神經(jīng)系統(tǒng)初步認(rèn)識，嘗試結(jié)構(gòu)人工神經(jīng)元，組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，對人智能、思維行為進(jìn)行研究，試圖從理性角度說明人腦高級功效。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第13頁HechtNielsen關(guān)于人工神經(jīng)網(wǎng)絡(luò)定義:“神經(jīng)網(wǎng)絡(luò)是由多個非常簡單處理單元彼此按某種方式相互連接而形成計算系統(tǒng),該系統(tǒng)是靠其狀態(tài)對外部輸入信息動態(tài)響應(yīng)來處理信息”美國國防高級研究計劃局關(guān)于人工神經(jīng)網(wǎng)絡(luò)解釋是:“人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單并行工作處理單元組成系統(tǒng),其功效取決于網(wǎng)絡(luò)結(jié)構(gòu)、連接強度以及各單元處理方式。”綜合人工神經(jīng)網(wǎng)絡(luò)起源、特點及各種解釋，能夠簡單表述為：人工神經(jīng)網(wǎng)絡(luò)是一個意在模仿人腦結(jié)構(gòu)及其功效信息處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第14頁當(dāng)前有上百種ANN模型：基本處理單元：人工神經(jīng)元----對生物神經(jīng)元近似仿真。人工神經(jīng)元有不一樣模型：算法在不一樣程度上或多或少地靠近神經(jīng)信息處理標(biāo)準(zhǔn)。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第15頁輸出信號強度大小：反應(yīng)該單元對相鄰單元影響強弱。人工神經(jīng)元之間經(jīng)過相互聯(lián)接形成網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)（ANN）。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第16頁ANN是由大量高度互連信號或信息處理單元（人工神經(jīng)元）組成計算系統(tǒng)：用于模擬人腦行為復(fù)雜網(wǎng)絡(luò)系統(tǒng)，反應(yīng)人腦功效許多基本特征。1.對人腦神經(jīng)系統(tǒng)某種簡化、抽象和模擬；2.理論化人腦神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型。當(dāng)前ANN結(jié)構(gòu)大致采取以下標(biāo)準(zhǔn)：1.一定數(shù)量基本單元分層聯(lián)接;2.每個單元輸入、輸出信號以及綜合處理內(nèi)容比較簡單；3.網(wǎng)絡(luò)學(xué)習(xí)和知識存放表達(dá)在各單元之間聯(lián)接強度上。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第17頁ANN固有特征：1.信息處理和記憶分布在整個網(wǎng)絡(luò)上,把硬件與軟件在結(jié)構(gòu)上分開是困難；2.高度并行性：大量簡單處理單元并行活動。3.高度非線性全局作用：網(wǎng)絡(luò)之間相互制約和相互影響，實現(xiàn)從輸入空間到輸出狀態(tài)空間非線性映射;網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能簡單迭加。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第18頁4.良好容錯性與聯(lián)想記憶功效：記憶信息存放在神經(jīng)元之間聯(lián)接（權(quán)值）中；分布式存放方式。5.處理單元（神經(jīng)元）包含經(jīng)典非線性激活函數(shù);6.魯棒性:高度冗余并行結(jié)構(gòu)表現(xiàn)出很高非敏感性。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第19頁7.自適應(yīng)、自學(xué)習(xí)功效：聯(lián)接模式：神經(jīng)元之間相互聯(lián)接方式。相互之間聯(lián)接度經(jīng)過聯(lián)結(jié)權(quán)重表達(dá)。ANN中,改變信息處理過程及其能力,實際上就是修改網(wǎng)絡(luò)權(quán)值過程。神經(jīng)元主要方面：突觸（聯(lián)接）按照自適應(yīng)改變。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第20頁至今提出真實生物神經(jīng)網(wǎng)絡(luò)人工模型是很簡單，只是真實生物結(jié)構(gòu)粗略近似。人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)問題仍是一個困難還未處理問題！是否有必要盡可能準(zhǔn)確模擬生物結(jié)構(gòu)？是否能經(jīng)過不完全對應(yīng)于真實生物神經(jīng)系統(tǒng)模型，取得期望性質(zhì)？人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第21頁§1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)是一門高度綜合交叉學(xué)科,其發(fā)展大致分為四個時期:探索時期;第一次研究熱潮時期;低潮時期;第二次研究熱潮時期.人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第22頁一.探索時期:

(40年代)1890年,WilliamJames發(fā)表了第一部詳細(xì)敘述人腦結(jié)構(gòu)及功效專著:PrinciplesofPsychology(心理學(xué)原理)對相關(guān)學(xué)習(xí)、聯(lián)想記憶基本原理做了開創(chuàng)性研究：當(dāng)一個基本腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個受刺激重新激活時會將刺激傳輸?shù)搅硪粋€；神經(jīng)細(xì)胞激活是細(xì)胞全部輸入疊加結(jié)果。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第23頁1943年，神經(jīng)元理論建模；二值神經(jīng)元模型：神經(jīng)細(xì)胞視為二值（MP模型）開關(guān)元件，細(xì)胞按不一樣方式組合聯(lián)接來實現(xiàn)。模型過于簡單。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第24頁W.C.McCullochandW.A.PittsALogicalCalculationsoftheIdeasLmmanentinNervousActivityBulletinofmathematicalBiophysics,Vol.5:115~133,1943人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第25頁1949年，Hebb學(xué)習(xí)法則；腦細(xì)胞活動時細(xì)胞間聯(lián)絡(luò)被加強---經(jīng)過調(diào)整神經(jīng)元之間聯(lián)接強度來實現(xiàn)ANN學(xué)習(xí)功效。D.O.HebbTheOrgnizationofBehaviorJohnWiley,NewYork,1949人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第26頁二.第一次研究熱潮時期:(50年代末~60年代初)1958年：感知器（Perceptron）：模擬人腦感知和學(xué)習(xí)能力，主要用于模式分類。1959年：自適應(yīng)線性元件（AdaptiveLinearElementAdaline）：感知器改變形式。從工程實際出發(fā)，在計算機上模擬了這種ANN；硬件實現(xiàn)，第一個用于處理實際問題ANN。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第27頁1962年，Rosenblatt著作：ThePrincipleofNeurodynamic詳細(xì)介紹感知器網(wǎng)絡(luò)。模型比較簡單，但顯示與當(dāng)初流行馮?諾依曼(VonNeumann)計算機一些不一樣性質(zhì)：可學(xué)習(xí)性；分布式存放；連續(xù)計算。感知器應(yīng)用研究：學(xué)習(xí)記憶；文字識別；聲音識別；聲納信號識別。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第28頁F.RosenblattThePerceptron:aProbabilistiedModelforInformationStorageandOrganizationinTLBrainPsychologicalReview,Vol.65:386~408,1958B.WidrowandE.HoffAdaptiveSwitchingCircuit,IREWESCONConventionRecordPart4,Computers,Man-MachineSystems:96~104,1960人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第29頁三.低潮時期:(60年代末~70年代)理論上:計算機技術(shù)正處于快速發(fā)展階段,掩蓋了發(fā)展ANN理論必要性和迫切性;技術(shù)條件:硬件實現(xiàn)ANN非常困難;人為原因。M.MinskyandS.PapertPerceptronsMITPress,1969其它研究:神經(jīng)網(wǎng)絡(luò)動態(tài)過程數(shù)理分析；自組織理論研究；聯(lián)想記憶。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第30頁四.第二次研究熱潮時期:(80年代~至今)1.Hopfield網(wǎng)絡(luò)模型：用于聯(lián)想記憶和優(yōu)化計算反饋互連網(wǎng)絡(luò)。網(wǎng)絡(luò)穩(wěn)定性明確判據(jù)；電子模擬電路實現(xiàn)：神經(jīng)網(wǎng)絡(luò)執(zhí)行運算，不一樣于布爾代數(shù)運算----由此興起新一代電子神經(jīng)計算機研究。2.BP網(wǎng)絡(luò)：（BackPropagation）處理了感知器不能處理問題；找到了Minsky提出問題處理方法。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第31頁J.J.HopfieldNeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilitiesProc.Natl.Acad.Sci.,U.S.A.Vol.79:2554~2558,1982NeuronswithGradedResponsehaveCollectiveComputationalPropertiesLikeThoseofTwo-stateneurousProc.Natl.Acad.Sci.,U.S.A.Vol.81:3088~3092,1984人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第32頁D.E.RumelhartandD.E.McClellandParallelDistributedProcessing:ExplorationsintheMicrostructureofCognitionMITPress,CambridgeMA,19861987年6月:IEEE(國際電氣和電工工程師協(xié)會)在SanDiego召開“第一屆神經(jīng)網(wǎng)絡(luò)國際學(xué)術(shù)討論會”;《IEEETransationonNeuralnetworks》同年,國際神經(jīng)網(wǎng)絡(luò)學(xué)會(INNS)成立《NeuralNetworks》人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第33頁迄今為止ANN研究，大致上分為三個方向：探求人腦神經(jīng)網(wǎng)絡(luò)生物結(jié)構(gòu)和機制；用微電子學(xué)或光學(xué)器件形成特殊功效網(wǎng)絡(luò)；NN理論作為處理一些問題伎倆和方法。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第34頁我國NN研究起步于己于1988年；1992年在北京召開----國際網(wǎng)絡(luò)學(xué)會和IEEE神經(jīng)網(wǎng)絡(luò)委員會聯(lián)合學(xué)術(shù)會議（IJCNN）總體上，我國研究領(lǐng)域、論文數(shù)量，與國外有相當(dāng)大差距。IEEE-INNS-ENNS:InternationalJointConferenceonNeuralNetworks,7.24~7.27,,Italy論文：526，大陸：10監(jiān)督學(xué)習(xí)24多層感知器17進(jìn)化計算17時序預(yù)測16模式識別14人臉識別14醫(yī)療應(yīng)用20系統(tǒng)監(jiān)別15機器15硬件實現(xiàn)24通信18人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第35頁新動向：1.神經(jīng)計算基礎(chǔ)理論框架以及生理層面研究仍需深入;2.監(jiān)督學(xué)習(xí):仍有很多研究問題;非監(jiān)督學(xué)習(xí):起步較晚,發(fā)展空間大;3.新模型和結(jié)構(gòu):現(xiàn)有網(wǎng)絡(luò)：多層感知機、徑向基函數(shù)網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)、自適應(yīng)諧振理論網(wǎng)絡(luò)、含糊神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第36頁脈沖神經(jīng)網(wǎng)絡(luò)(SpikingNeuralNetwork)支持向量機(SupportVectorMachine)4.增強ANN可了解性研究:神經(jīng)計算和機器學(xué)習(xí)界研究熱點。5.神經(jīng)計算技術(shù)與其它技術(shù),尤其是進(jìn)化計算技術(shù)結(jié)合;混合方法和混合系統(tǒng)是研究熱點。6.應(yīng)用領(lǐng)域不停擴(kuò)大。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第37頁§1.3人工神經(jīng)網(wǎng)絡(luò)研究意義神經(jīng)科學(xué)研究長久目標(biāo)：揭示人腦工作機制，了解思維本質(zhì)；近期目標(biāo)：研究和利用大腦神經(jīng)網(wǎng)絡(luò)一些特征，設(shè)計出含有類似一些大腦功效智能系統(tǒng)。

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)專家講座第38頁神經(jīng)網(wǎng)絡(luò)理論研究是一門新興邊緣和交叉學(xué)科，它產(chǎn)生和發(fā)展首先受其它學(xué)科影響，反過來又勢必