神經(jīng)網(wǎng)絡(第1章--緒論)

1、人工神經(jīng)網(wǎng)絡參考書目p 人工神經(jīng)網(wǎng)絡理論、設計與應用，第2版，韓力群，化學工業(yè)出版社.p 面向MATLAB工具箱的神經(jīng)網(wǎng)絡理論與應用，第3版，叢爽，中國科學技術大學出版社.2022-7-22SZU第一章 緒論p 人腦與電腦p 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 神經(jīng)網(wǎng)絡的基本特征與功能p 神經(jīng)網(wǎng)絡的應用領域2022-7-23SZU1.1 人腦與電腦p 人腦強大or電腦強大？2022-7-24SZU 1997年5月11日，早晨4時50分(北京時間)，一臺名為“深藍”的超級電腦將棋盤上的一個兵走到C4位置時，人類有史以來最偉大的國際象棋名家卡斯帕羅夫不得不沮喪地承認自己輸了。世紀末的一場人機大戰(zhàn)終于以計算機的

2、微弱優(yōu)勢取勝。這場比賽是繼去年卡斯帕羅夫與IBM的超級電腦“深藍”比賽獲勝后，與改進型的“深藍”的第二次較量。 比賽于5月3日-11日在紐約的公平大廈舉行。整個比賽引起了全世界傳媒的巨大關注。比賽吸引人們注視目光的原因之一是世界象棋冠軍卡斯帕羅夫賽前充滿信心，發(fā)誓要為捍衛(wèi)人類之優(yōu)于機器的尊嚴而戰(zhàn)。然而，最后的結果卻是他所捍衛(wèi)的人類尊嚴在一臺冷漠的“藍色巨人”面前被無情地擊潰了。雖然人類的驕傲可以把這場比賽的結果仍然歸咎于人類的勝利，畢竟“深藍”自己也是人類所研制出來的一臺計算機而已，但人類所創(chuàng)造的工具擊潰了人類，并且是在人類引以為驕傲的智慧領域，這在一定程度上帶來了恐懼，并由此引發(fā)了一場有關人

3、類創(chuàng)造物與自身關系的深層討論。 “深藍”是IBM公司生產(chǎn)的世界上第一臺超級國際象棋電腦。是一臺RS6000SP2超級并行處理計算機，計算能力驚人，平均每秒可計算棋局變化2OO萬步。1.1 人腦與電腦p 人腦強大or電腦強大？2022-7-25SZU1.1 人腦與電腦p 錢學森先生認為：人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。l 迄今為止，計算機在解決與形象思維和靈感思維相關的問題時，顯得無能為力。如人臉識別、騎自行車、打籃球等涉及聯(lián)想或經(jīng)驗的問題，人腦可以從中體會那些只可意會不可言傳的直覺和經(jīng)驗，可以根據(jù)情況靈活掌握處理問題的規(guī)則，從而輕而易舉地完成此類任務，而計算機在這方面顯得

4、十分笨拙。2022-7-26SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 記憶與聯(lián)想能力l 學習與認知能力l 信息加工能力l 信息綜合能力l 信息處理速度2022-7-27SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 記憶與聯(lián)想能力2022-7-28SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 學習與認知能力2022-7-29SZU人腦具有從實踐中不斷抽取知識、總結經(jīng)驗的能力。人腦對經(jīng)驗作出反應從而改變行為的能力就是學習與認知能力。計算機所完成的所有工作都是嚴格按照事先編制的程序進行的，因此它的功能和結果都是確定不變的，執(zhí)行同一程序所得到的永遠是同一個

5、結果。它不可能在不斷重復的過程中總結或積累任何經(jīng)驗，因此不會主動提高自己解決問題的能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息加工能力2022-7-210SZU人腦具有復雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認識可以逾越現(xiàn)實條件下邏輯所無法越過的認識屏障，產(chǎn)生諸如直覺判斷或靈感一類的思維活動。計算機沒有非邏輯加工功能，因而不能逾越有限條件下邏輯的認識屏障。計算機的邏輯加工能力也僅限于二值邏輯，缺乏辯證邏輯能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息綜合能力2022-7-211SZU人腦善于對客觀世界千變萬化的信息和知識進行歸納、類比和概括，綜合起

6、來解決問題。人腦的這種綜合判斷過程往往是一種對信息的邏輯加工和非邏輯加工相結合的過程。它不僅遵循確定性的邏輯思維原則，而且可以經(jīng)驗地、模糊地甚至是直覺地作出一個判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造力的基礎。計算機的信息綜合能力取決于它所執(zhí)行的程序，由于不存在能完全描述人的經(jīng)驗和直覺地數(shù)學模型，因此計算機難以達到人腦所具有的融會貫通的信息綜合能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息處理速度2022-7-212SZU人腦的信息處理是建立在大規(guī)模并行處理基礎上的，這種并行處理所能夠實現(xiàn)的高度復雜的信息處理能力遠非傳統(tǒng)的以空間復雜性代替時間復雜性的多處理機并行處理系統(tǒng)所

7、能達到的。神經(jīng)細胞間信息的傳遞速度只能達到毫秒級，而現(xiàn)代計算機中電子元件的計算速度是納秒級。似乎計算機的處理速度遠高于人腦，事實上在數(shù)值處理等只需要串行算法就能解決的應用方面確實如此。然而在處理文字、圖像、聲音等類信息的能力與速度卻遠不如人腦。1.1 人腦與電腦p 人腦與電腦信息處理機制的比較l 系統(tǒng)結構l 信號形式l 信息存儲l 信息處理機制2022-7-213SZU1.1 人腦與電腦p 人腦與電腦信息處理機制比較l 系統(tǒng)結構2022-7-214SZU人腦在漫長的進化過程中形成了規(guī)模宏大、結構精細的群體結構，即神經(jīng)網(wǎng)絡。腦科學研究結果表明，人腦的神經(jīng)網(wǎng)絡是由數(shù)百億神經(jīng)元的相互連接組合而成。每

8、個神經(jīng)元相當于一個超微型信息處理與存儲機構，大量神經(jīng)隱患廣泛連接后形成的神經(jīng)網(wǎng)絡可以進行各種極其復雜的思維活動。計算機是一種由各種二值邏輯門電路構成的按串行方式工作的邏輯機器，由運算器、控制器、存儲器和輸入輸出設備組成，其信息處理是建立在馮諾依曼體系基礎上，基于程序存取進行工作的。1.1 人腦與電腦p 人腦與電腦信息處理機制比較l 信號形式2022-7-215SZU人腦中的信號形式具有模擬量和離散脈沖兩種形式。模擬量信號具有模糊性特點，有利于信息的整合和非邏輯加工，這類信息處理方式難以用現(xiàn)有的數(shù)學方法進行充分描述，因而很難用計算機進行模擬。計算機中信息的表達采用離散的二進制數(shù)和二值邏輯形式。然

9、而客觀世界存在的事物關系并非都可以分解為二值邏輯的關系，還存在著各種模糊邏輯關系和非邏輯關系。計算機對這類信息的處理是難以勝任的。1.1 人腦與電腦p 人腦與電腦信息處理機制比較l 信息存儲2022-7-216SZU人腦的信息不是集中存儲于一個特定的區(qū)域，而是分散地存儲于整個系統(tǒng)中。此外，人腦中存儲的信息不是相互孤立的，而是聯(lián)想式的。人腦這種分布式、聯(lián)想式的信息存儲方式使人類非常擅長于從失真和缺省的模式中恢復出正確的模式。計算機的信息是集中存儲在存儲器中，且存儲單元之間相互孤立。1.1 人腦與電腦p 人腦與電腦信息處理機制比較l 信息處理機制2022-7-217SZU人腦采用了信息存儲與信息處

10、理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲信息的影響，處理后的信息又留記在神經(jīng)元中稱為記憶。這種信息處理-存儲的構建模式是廣泛分布在大量神經(jīng)元上同時進行的，因此呈現(xiàn)出來的整體信息處理能力不僅能快速完成各種極復雜的信息識別和處理任務，而且能產(chǎn)生高度復雜而奇妙的效果。計算機采用的是有限集中的串行信息處理機制，即所有信息處理都集中在一個或幾個CPU中進行。CPU通過總線同內外存儲器進行順序“個別對話”，存取指令或數(shù)據(jù)，因而時間利用率較低。1.1 人腦與電腦p 人工神經(jīng)網(wǎng)絡（ANN-Artificial Neural Networks）l 人工神經(jīng)網(wǎng)絡是一種旨在模仿人腦結構及其功能的信息處理

11、系統(tǒng)。l 為敘述方便，人工神經(jīng)網(wǎng)絡通常簡稱為神經(jīng)網(wǎng)絡。2022-7-218SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 啟蒙時期（1890-1969）p 低潮時期（1969-1982）p 復興時期（1982-1986）p 新時期（1987-）2022-7-219SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 啟蒙時期（1890-1969）2022-7-220SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-221SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-222SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-223SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-224SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 低潮

12、時期（1969-1982）2022-7-225SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-226SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-227SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 復興時期（1982-1986）2022-7-228SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-229SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-230SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史p 新時期（1987-）2022-7-231SZU1.2 人工神經(jīng)網(wǎng)絡發(fā)展簡史2022-7-232SZU1.3 神經(jīng)網(wǎng)絡的基本特征與功能p 神經(jīng)網(wǎng)絡的基本特征l 結構特征：并行處理、分布式存儲與容錯性l 能力特征：自

13、學習、自組織與自適應性2022-7-233SZU1.3 神經(jīng)網(wǎng)絡的基本特征與功能p 神經(jīng)網(wǎng)絡的基本功能l 聯(lián)想記憶l 非線性映射l 分類與識別l 優(yōu)化計算l 知識處理2022-7-234SZU1.4 神經(jīng)網(wǎng)絡的應用領域p 信息處理領域l 信號處理、模式識別、數(shù)據(jù)壓縮p 自動化領域l 系統(tǒng)辨識、神經(jīng)控制器、智能檢測p 工程領域l 汽車工程、軍事工程、化學工程、水利工程p 經(jīng)濟領域p 醫(yī)學領域2022-7-235SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-236SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-237SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-238SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-239SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-240SZU1.4 神經(jīng)網(wǎng)絡的應用領域2022-7-241SZU第一章 小結p 什么是人工神經(jīng)網(wǎng)絡l 在對