第1章-緒論資料課件

人工神經(jīng)網(wǎng)絡基礎主講：李忠教授ArtificialNeuralNetwork參考文獻：將宗禮，人工神經(jīng)網(wǎng)絡導論，北京：高等教育出版社，2003丁士圻，郭麗華，人工神經(jīng)網(wǎng)絡基礎，哈爾濱工程大學出版社，2008焦李成.神經(jīng)網(wǎng)絡的應用與實現(xiàn).西安:西安科技大學出版社，2005胡守仁.神經(jīng)網(wǎng)絡導論.北京:國防科技大學出版社，1993韓力群，人工神經(jīng)網(wǎng)絡理論、設計及應用（第二版），化學工業(yè)出版社，2007。（教材）ISBN:9787502595234近年“計算機學報”、“軟件學報”、“模式識別”、“自動化學報”等相關文獻Q1：為什么開這門課？

Q2:這門課能干什么？A1：選修課，掙學分，課程建設，補充課程庫，知識傳承。A2：分類聚類，自動控制，聯(lián)想記憶，數(shù)據(jù)壓縮，趨勢預測，解決難題。前言現(xiàn)代計算機對于那些特征明確、推理或者運算規(guī)則清楚的可編程問題，可以高速有效地求解，在數(shù)值計算與邏輯運算方面拓展了人腦能力。隨著人腦科學的深入研究，推動了人工神經(jīng)網(wǎng)絡的研究與應用。第一章緒論1.1人腦與計算機1.2人工神經(jīng)網(wǎng)絡的發(fā)展史1.3神經(jīng)網(wǎng)絡的基本特征與功能1.4人工神經(jīng)網(wǎng)絡的主要應用領域1人腦與計算機人類具有高度發(fā)達的大腦，大腦是思維活動的物質(zhì)基礎，思維是人類智能的集中體現(xiàn)。人腦思維具有三種方式：邏輯思維、形象思維、靈感思維

-----錢學森邏輯思維是概念、判斷與推理，即將信息抽象為概念，再根據(jù)邏輯規(guī)則進行推理。這可以使用串行指令由機器完成。例如：1997年的國際象棋人機大戰(zhàn)：深藍

PK卡斯帕洛夫2006年8月，浪潮天梭超級計算機

PK5位中國象棋大師聯(lián)隊(柳大華、卜風波、徐天紅、張強、汪洋

)然而，在形象思維和靈感思維方面，計算機表現(xiàn)差強人意。小檔案：IBM生產(chǎn)，CPU：RS6000SP2數(shù)據(jù)處理方式：并行速度：200萬步/秒最新：360萬億次/秒1997年5月11日深藍戰(zhàn)勝卡斯帕羅夫

1997年5月11日，早晨4時50分(北京時間)，一臺名為“深藍”的超級電腦將棋盤上的一個兵走到C4位置時，人類有史以來最偉大的國際象棋名家卡斯帕羅夫不得不沮喪地承認自己輸了。世紀末的一場人機大戰(zhàn)終于以計算機的微弱優(yōu)勢取勝。這場比賽是繼去年卡斯帕羅夫與IBM的超級電腦“深藍”比賽獲勝后，與改進型的“深藍”的第二次較量。比賽于5月3日--11日在紐約的公平大廈舉行。整個比賽引起了全世界傳媒的巨大關注。比賽吸引人們注視目光的原因之一是世界象棋冠軍卡斯帕羅夫賽前充滿信心，發(fā)誓要為捍衛(wèi)人類之優(yōu)于機器的尊嚴而戰(zhàn)。然而，最后的結果卻是他所捍衛(wèi)的人類尊嚴在一臺冷漠的1.4噸重的龐然大物

“藍色巨人”面前被無情地擊潰了。雖然人類的驕傲可以把這場比賽的結果仍然歸咎于人類的勝利，畢竟“深藍”自己也是人類所研制出來的一臺計算機而已，但人類所創(chuàng)造的工具擊潰了人類，并且是在人類引以為驕傲的智慧領域，這在一定程度上帶來了恐懼，并由此引發(fā)了一場有關人類創(chuàng)造物與自身關系的深層討論?！吧钏{”是IBM公司生產(chǎn)的世界上第一臺超級國際象棋電腦。是一臺RS6000SP2超級并行處理計算機，計算能力驚人，平均每秒可計算棋局變化200萬步。

卡斯帕羅夫曾分別于1996年和1997年同IBM公司超級計算機“深藍”兩次展開“人機大戰(zhàn)”，結果卡斯帕羅夫一勝一負。在1997年的那場著名比賽中，卡斯帕羅夫以2.5∶3.5的總比分在“深藍”面前敗下陣來，引起全球轟動。一些人甚至認為，這標志著電腦的智能已經(jīng)開始超越人腦。2003年1月26日，卡斯帕羅夫花了不到4個小時，僅用27回合，就輕取名為“小深”的計算機軟件棋手，在引人注目的新一輪“人機大戰(zhàn)”中以1∶0暫告領先。由以色列科學家開發(fā)的“小深”每秒能思考300萬步棋并能以更接近人類棋手的方式對奕，曾連續(xù)三次在國際象棋計算機大賽中奪冠，人稱電腦“棋王”。之后這臺電腦被拆卸。

右為“深藍”現(xiàn)場操作者許峰雄博士：“深藍之父”、微軟亞洲研究院的高級研究員，綽號：CB——“瘋狂的鳥”。他在1980年畢業(yè)于臺灣大學，1989獲得卡耐基梅隆大學計算機博士學位。他和同伴在1997年研制出大型計算機“深藍”，拉開電腦與人腦的“世紀之戰(zhàn)”，以“深藍”戰(zhàn)勝國際象棋世界冠軍卡斯帕羅夫而告終，轟動全世界。2003年春，許峰雄加盟微軟亞洲研究院。

五大師將出征：汪洋、張強、卜風波、徐天紅、柳大華

2006年8月9日，在首屆浪潮杯中國象棋人機大戰(zhàn)中，經(jīng)過三個小時的激烈搏戰(zhàn)，1臺浪潮天梭高性能服務器以微弱優(yōu)勢擊敗了由柳大華等五位中國象棋特級大師組成的人類大師隊。在十局比賽中，大師隊2勝5平3負，最終以9∶11的總比分負于浪潮天梭。比賽現(xiàn)場類人機器人豐田機器人樂隊美女阿莫西蛇形機器人

1956年正式提出人工智能（artificialintelligence,AI）是前沿學科。

20世紀三大科學技術成就：空間技術原子能技術

人工智能綜合計算機科學、控制論、信息論、神經(jīng)心理學、哲學、語言學等棋天大圣Excel格式樣本數(shù)據(jù)1.1.1人腦與電腦比較1、記憶與聯(lián)想能力人腦電腦

1.4×1011個神經(jīng)細胞存儲器隨機順序聯(lián)想記憶無過濾無自聯(lián)恢復無創(chuàng)造性無

2、學習與認知能力計算機被動執(zhí)行程序

3、信息加工能力電腦不具備非邏輯加工能力

4、信息綜合能力歸納、類比、概括、綜合5、信息處理速度人腦信息傳遞速度為毫秒級，而電腦為納秒級，對于串行算法，電腦確實快。而對于并行算法、模式識別等，電腦就差遠了PK1.1.2人腦與計算機信息處理機制比較四個方面1、系統(tǒng)結構：簡單與復雜2、信號形式：二值邏輯與模糊邏輯3、信息存儲：集中與分散4、信息處理機制：串行與協(xié)同1.1.3什么是人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡(ANN)只是對人腦的簡化、抽象和模擬。

ANN是人類對其大腦神經(jīng)網(wǎng)絡認識理解的基礎上人工構造的能夠實現(xiàn)某種功能的神經(jīng)網(wǎng)絡。它是理論化的人腦神經(jīng)網(wǎng)絡的數(shù)學模型，是基于模仿大腦神經(jīng)網(wǎng)絡結構和功能而建立的一種信息處理系統(tǒng)。它實際上是由大量簡單處理單元并聯(lián)組合而成的復雜網(wǎng)絡，具有高度的非線性特征。人工神經(jīng)網(wǎng)絡吸取了生物神經(jīng)網(wǎng)絡的許多優(yōu)點，它的主要特點如下：高度的并行性高度的非線性全局作用良好的容錯性與聯(lián)想記憶功能很強的自適應、自學習功能1.2人工神經(jīng)網(wǎng)絡的發(fā)展史人工神經(jīng)網(wǎng)絡的研究是人類探索模仿腦神經(jīng)系統(tǒng)信息處理智能裝置的一個相當重要的領域。縱觀其發(fā)展歷程，幾經(jīng)興衰，我們可以大致將它劃分為四個時期：第一是啟蒙期第二是低潮期第三是復興期第四是高潮期

1.2.1啟蒙期(1890年—1969年)

1890年從著名美國心理學家W.James的《心理學原理》研究開始，到1969年。

1943年，生理學家W.S.McCulloch和數(shù)學家W.A.Pitts發(fā)表的《神經(jīng)活動中所蘊含思想的邏輯活動》從信息處理角度提出形式神經(jīng)元的數(shù)學模型，M-P模型。開創(chuàng)了一個新時代。

1949年心理學家DonaldOlding

Hebb出版《行為構成》一書，首次提出連接權訓練算法。

1958年計算機學家FrankRosenblatt提出了“感知機(perceptron)”，這是一個三層結構的神經(jīng)網(wǎng)絡。

1960年BernardWidrow和MarcianHoff發(fā)表《自適應開關電路》一文，提出了Adaline模型，即自適應線性單元，設計了一個精巧的學習訓練算法—--誤差平方和最小。1.2.2低潮期(1969年—1982年)

1969年人工智能創(chuàng)始人M.Minsky

和S.Papert

合著的《感知機》（Perceptrons）一書，指出ANN只能用于線性問題求解，而對非線性問題，需要隱含層，但理論上無法證明。為ANN的研究潑了一盆冷水。開始了長達10年的低潮期。研究資金大量減少！

1969年，美國波士頓大學的S.GrossBerg及其夫人提出著名的自適應共振理論，在之后若干年中，陸續(xù)提出ARTI，II，III三個版本的系統(tǒng)。

1972年，芬蘭的T.Kohonen和美國的J.Anderson提出了自組織映射(SOM)理論。

1980年日本的福島邦彥發(fā)表了《新認知機》一文，其后不斷進行改進。1.2.3復興期(1982年—1987年)

人工神經(jīng)網(wǎng)絡研究的復興標志是：

1982年，美國加州工學院物理學家JohnJ.Hopfield博士發(fā)表的一篇突破性學術論文，提出了一個強有力的網(wǎng)絡模型，引入了能量函數(shù)，這與電子電路存在對應關系。

1986年發(fā)表DavidE.Rumelhart及其小組發(fā)表了《并行分布式處理》一書，提出神經(jīng)網(wǎng)絡的三個特征：結構、傳遞函數(shù)和訓練方法。也就是在這一時期，Rumelhart等人提出BP算法，對神經(jīng)網(wǎng)絡的復蘇和發(fā)展起到了關鍵性作用。

1987年6月，首屆國際ANN學術會議在美國加州圣地亞哥召開，與會代表1600多人，成立了國際神經(jīng)網(wǎng)絡學會INNS，之后每年一次。不久，《NeuralNetwork》創(chuàng)刊.重要的是，計算機技術飛速發(fā)展，促成了NN技術的研究和應用普及。1.2.4新時期(1987年—)我國最早關于NN的著作是涂序彥在1980年出版的《生物控制論》一書，其中一章介紹了神經(jīng)網(wǎng)絡。1988年，北大非線性研究中心發(fā)起舉辦“神經(jīng)網(wǎng)絡學習與識別”會議；1990年召開“中國首屆神經(jīng)網(wǎng)絡學術大會”；1991年在南京召開第二屆，成立神經(jīng)網(wǎng)絡學會。今年在廈門召開的第19屆。

1.2.5國內(nèi)研究概況1.3人工神經(jīng)網(wǎng)絡的主要應用領域

隨著人工神經(jīng)網(wǎng)絡技術的發(fā)展，其用途日益廣泛，應用領域也在不斷拓展，已在各工程領域中得到廣泛的應用。主要應用如下：（1）模式信息處理和模式識別人工神經(jīng)網(wǎng)絡特別適宜解算這類問題，形成了新的模式信息處理技術。它在各領域中廣泛應用是神經(jīng)網(wǎng)絡技術發(fā)展的重要側面。（2）最優(yōu)化問題計算人工神經(jīng)網(wǎng)絡中有相當一部分模型是非線性動態(tài)系統(tǒng)，若將所計算問題的目標函數(shù)與網(wǎng)絡某種能量函數(shù)對應起來，網(wǎng)絡動態(tài)向能量函數(shù)極小值方向移動的過程則可視作優(yōu)化問題的解算過程。網(wǎng)絡的動態(tài)過程就是優(yōu)化問題計算過程，穩(wěn)態(tài)點則是優(yōu)化問題的局部或全局最優(yōu)動態(tài)過程解。（3）信息的智能化處理神經(jīng)網(wǎng)絡適宜于處理具有殘缺結構和含有錯誤成分的模式，能夠在信源信息含糊、不確定、不完整，存在矛盾及假象等復雜環(huán)境中處理模式。網(wǎng)絡所具有的自學習能力使得傳統(tǒng)專家系統(tǒng)技術應用較為困難的知識獲取工作轉換為網(wǎng)絡的變結構調(diào)節(jié)過程，從而大大方便了知識庫中知識的記憶和抽提。（4）復雜控制神經(jīng)網(wǎng)絡在諸如機器人運動控制等復雜控制問題方面有獨到之處。較之傳統(tǒng)數(shù)字計算機的離散控制方式，更適宜于組成快速實時自適應控制系統(tǒng)。（5）信號處理神經(jīng)網(wǎng)絡的自學習和自適應能力使其成為對各類信號進行多用途加工處理的一種天然工具，尤其在處理連續(xù)時序模擬信號方