人工神經(jīng)網(wǎng)絡(luò)01緒論課件

1張凱副教授人工神經(jīng)網(wǎng)絡(luò)

(ArtificalNeuralNetwork)2第一章神經(jīng)網(wǎng)絡(luò)概述1.人工智能與神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)的基本概念3.人工神經(jīng)網(wǎng)絡(luò)研究的歷史4.人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域人工智能人工智能（ArtificialIntelligence，簡記為AI）最初在1956年被引入。它研究怎樣讓計算機模仿人腦從事推理、設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題。感覺器官神經(jīng)系統(tǒng)認知效應(yīng)器官外部世界決策神經(jīng)系統(tǒng)思維器官典型的“智力生成過程”信息獲取信息傳遞信息認知信息執(zhí)行外部世界信息再生信息傳遞認識論信息知識智能策略狹義智能本體論信息認識論信息智能策略智能行為人類智力的信息本質(zhì)人工智能71.感知與認識客觀事物、客觀世界和自我的能力2.通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力3.理解知識，運用知識和經(jīng)驗分析、解決問題的能力4.聯(lián)想、推理、判斷、決策的能力5.運用語言進行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測、洞察事物發(fā)展變化的能力2023/4/89人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預(yù)測和認識“主動”和“被動”之分。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎(chǔ)。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力2023/4/810人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力預(yù)測、洞察事物發(fā)展、變化的能力人工神經(jīng)網(wǎng)絡(luò)從以下四個方面去模擬人的智能行為1.物理結(jié)構(gòu)：人工神經(jīng)元將模擬生物神經(jīng)元的功能2.計算模擬：人腦的神經(jīng)元有局部計算和存儲的功能，通過連接構(gòu)成一個系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M行大規(guī)模并行處理3.存儲與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強度來實現(xiàn)記憶存儲功能，同時為概括、類比、推廣提供有力的支持4.訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過程，自動從實踐中獲得相關(guān)知識人工智能生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)絡(luò)2023/4/817人工神經(jīng)網(wǎng)絡(luò)的概念定義(1)Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化。人工神經(jīng)網(wǎng)絡(luò)的概念處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。人工神經(jīng)網(wǎng)絡(luò)的概念定義(2)Rumellhart，McClelland，Hinton人工神經(jīng)網(wǎng)絡(luò)的概念1）

一組處理單元（PE或AN）；2）

處理單元的激活狀態(tài)（ai）；3）

每個處理單元的輸出函數(shù)（fi）；4）

處理單元之間的聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激

活值的激活規(guī)則（Fi）；7）

通過經(jīng)驗修改聯(lián)接強度的學(xué)習(xí)規(guī)則；8）

系統(tǒng)運行的環(huán)境（樣本集合）。2023/4/823人工神經(jīng)網(wǎng)絡(luò)的概念Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。神經(jīng)網(wǎng)絡(luò)的計算能力有以下優(yōu)點：(1)大規(guī)模并行分布式結(jié)構(gòu)(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出25神經(jīng)網(wǎng)絡(luò)的優(yōu)點非線性

人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射

每個樣本由一個惟一的輸入信號和相應(yīng)期望響應(yīng)組成。從一個訓(xùn)練集中隨機選取一個樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號以適當(dāng)?shù)慕y(tǒng)計準(zhǔn)則產(chǎn)生的實際響應(yīng)之間的偏差。神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力有教師學(xué)習(xí)事先有一批正確的輸入輸出數(shù)據(jù)對，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(BackPropagation,簡寫為BP)算法。29無教師學(xué)習(xí)自組織學(xué)習(xí)：使網(wǎng)絡(luò)具有某種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(SelfOrganizationMapping,簡寫為SOM)算法。無監(jiān)督競爭學(xué)習(xí)：將處理單元劃分為幾個競爭塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點之間有抑制連接，從而當(dāng)外界對不同塊的一個單元施加刺激后，將激活不同塊中互聯(lián)最強的一組單元，得到對該刺激的一個整體回憶。神經(jīng)網(wǎng)絡(luò)發(fā)展的四個時期啟蒙時期（1890～1969）低潮時期（1969～1982）復(fù)興時期（1982～1986）高潮時期（1987～）

31從19世紀(jì)末開始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計算機科學(xué)以及人工智能學(xué)之間的聯(lián)系。人工神經(jīng)網(wǎng)絡(luò)的研究歷史1890年，美國心理學(xué)家WilliamJames發(fā)表了第一部詳細論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(PrinciplesofPsychology)，對相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。32啟蒙時期33啟蒙時期1943，心理學(xué)家麥克洛奇(McCulloch)和數(shù)理邏輯學(xué)家皮茲(Pitts)從信息處理的角度出發(fā)，提出了形似神經(jīng)元的著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《BulletinofMethematicalBiophysics》，從此開創(chuàng)了神經(jīng)科學(xué)理論的新時代。啟蒙時期這種單個神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)可以實現(xiàn)邏輯運算，包括三種基本運算：邏輯乘法(又稱“與”運算)、邏輯加法(又稱“或”運算)和邏輯否定(又稱“非”運算)。它開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。2023/4/83435啟蒙時期1949年，心理學(xué)家赫布（Hebb）在《行為構(gòu)成》（OrganizationofBehavior）一書中提出了連接權(quán)訓(xùn)練算法，即Hebb算法。啟蒙時期Hebb提出神經(jīng)元之間突觸聯(lián)系強度可變的假設(shè)。他認為學(xué)習(xí)過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。根據(jù)這一假說提出了改變神經(jīng)元連接強度的Hebb規(guī)則。它對以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。Hebb的學(xué)習(xí)算法在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。2023/4/836啟蒙時期1957年，羅森布蘭特(Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。啟蒙時期Rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實踐。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機連接，這符合動物學(xué)習(xí)的自然環(huán)境。這是第一個真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。啟蒙時期1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng)線性單元（Adaline），這是一個連續(xù)取值的線性網(wǎng)絡(luò)。TedHoffBernardWidrow2023/4/840啟蒙時期MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器(Perceptron)?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。低潮時期1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了《感知器》一書，對感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。低潮時期60年代末，美國著名人工智能學(xué)者Minsky和Papart對Rosenblatt的工作進行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對于非線性或其他分類會遇到很大的困難。這時應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個有效的學(xué)習(xí)算法非常困難，Minsky斷言這種感知器無科學(xué)研究價值可言，包括多層的也沒有什么意義。2023/4/842低潮時期匯編語言中xoreax,eax1

xor

1

=

0

因為1和1相同

0

xor

0

=

0

因為0和0相同

1

xor

0

=

1

因為1和0不同

0

xor

1

=

1

因為1和0不同初始化清0。速度比賦值快。低潮時期一、交換兩個整數(shù)的值而不必用第三個參數(shù)二、奇偶判斷三、格雷碼(Graycode)

格雷碼(Graycode)是由貝爾實驗室的FrankGray在1940年提出，用于在PCM(PusleCodeModulation)方法傳送訊號時防止出錯。四、奇數(shù)分頻電路低潮時期這個結(jié)論對當(dāng)時的神經(jīng)網(wǎng)絡(luò)研究無疑是一個沉重的打擊，客觀上對神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時當(dāng)時的微電子技術(shù)也無法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。2023/4/845低潮時期然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年Grossberg等提出了自適應(yīng)共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展奠定了理論基礎(chǔ)。2023/4/84647低潮時期1969年，美國學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。低潮時期ART競爭神經(jīng)網(wǎng)絡(luò)見到一個人。如果我們認識這個人，我們馬上就能知道認識他！該怎么理解呢？其實，大腦已經(jīng)存在了這個人的面孔的印象，看到這個人，我們的大腦有個搜索對比的過程或者說是回憶的過程，如果能夠搜索到（回憶），那么恭喜你，你認出這個人了…相反，如果這個人是陌生人，大腦慘了，搜索了半天，沒有搜到（回憶），罷工了，不認識，還是陌生人，不要生氣，大腦沒有罷工，它已默默將這個人的面孔存儲起來了！如果你后續(xù)跟這個人還有更多聯(lián)系的話，比如再見面或者一起說話、交往，大腦對這個人的記憶會逐漸加強！實際生活中，我們會有對某個人好像在哪兒見過面的感覺，其實這種感覺正是大腦對這個人的記憶還不夠強烈所產(chǎn)生的！49低潮時期1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。50低潮時期腦科學(xué)的研究表明，人類大腦皮層中的細胞群存在著廣泛地自組織現(xiàn)象。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對不同感官輸入模式的輸入信號具有敏感性，從而形成大腦中各種不同的感知路徑。并且這種神經(jīng)元所具有的特性不是完全來自生物遺傳，而是很大程度上依賴于后天的學(xué)習(xí)和訓(xùn)練。低潮時期自組織映射網(wǎng)絡(luò)(Self-OrganizingFeatureMaps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。Kohonen認為處于空間中不同區(qū)域的神經(jīng)元有不同的分工,當(dāng)一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時,將會分為不同的反應(yīng)區(qū)域,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競爭型神經(jīng)網(wǎng)絡(luò)，采用無監(jiān)督學(xué)習(xí)算法進行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛地應(yīng)用于樣本分類、排序和樣本檢測方面。低潮時期1979年，福島邦彥（Fukushima）提出了認知機（Necognitron）理論。認知機(Neocognitron)由Fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過無導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點是參數(shù)不易選擇。主要用于字符識別。低潮時期1977，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB(Brain-State-in-a-Box)模型。BSB模型是一種結(jié)點之間存在橫向連接和結(jié)點自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲任何模擬向量模式。低潮時期1974，韋伯斯（Werbos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。復(fù)興時期1982年，美國加州工程學(xué)院物理學(xué)家Hopfield在美國科學(xué)院院刊上發(fā)表論文，提出了一個用于聯(lián)想記憶及優(yōu)化計算的新途徑—Hopfield模型,。復(fù)興時期1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上復(fù)興時期1984年對Hopfield模型進行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實現(xiàn)硬件奠定了基礎(chǔ)。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決TSP組合優(yōu)化問題。復(fù)興時期Hopfield模型的動作原理是：

只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個必定減小的能量函數(shù)達到極小值時，狀態(tài)才達到穩(wěn)定而不再變化。58復(fù)興時期1984年，Hopfield設(shè)計并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個神經(jīng)元可以用運算放大器來實現(xiàn)。他同時進行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問題，引起世人震驚。這些成果使對神經(jīng)網(wǎng)絡(luò)的研究重新進入了一個新的興盛時期。復(fù)興時期1985年，UCSD的Sejnowsky、Rumelhart、Hinton等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。復(fù)興時期1986年，Rumelhart和McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。歷史總結(jié)神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。2023/4/862歷史總結(jié)上世紀(jì)40年代興奮與抑制型神經(jīng)元模型（Mcculloch，Pitts）神經(jīng)元連接強度的修改規(guī)則（Hebb）上世紀(jì)50年代、60年代感知機（Rosenblatt）和自適應(yīng)性元件（Widrow）上世紀(jì)70年代Perceptron一書出版（Minsky和Papert）研究處于低潮上世紀(jì)80年代后Rumelhart，Mcclelland以及Hopfield等取得突破性進展(1)開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度。(2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法(3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。(4)進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。新時期研究熱點問題理論方面支持向量機和核方法(SVMandKernelMethods)圖模型(GraphicalModels)

統(tǒng)計學(xué)習(xí)方法(StatisticalLearningAlgorithm)

高斯過程（GaussianProcess)

泛化問題和模型選擇

(GeneralizationandModelSelection)

貝葉斯學(xué)習(xí)(BayesianLearning)

遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks)等65新時期研究熱點問題66實際應(yīng)用

圖象處理(ImageProcessing)

人臉識別(FaceRecognition)

語音信號處理(VoiceProcessing)

時間序列分析(TimeSeriesAnalysis)

機器人控制(RobotControl)等

新時期研究熱點問題國家自然科學(xué)基金資助2006年有42項研究課題2005年有40項研究課題2004年有32項研究課題2003年有26項研究課題2002年有26項研究課題2001年有18項研究課題2000年有20項研究課題1999年有22項研究課題67神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來越多的國內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個研究熱點和重點。

681988年，《NeuralNetworks》創(chuàng)刊1990年，《IEEETransactionsonNeuralNetworks》創(chuàng)刊

國際學(xué)術(shù)期刊《IEEETrans.onNeuralNetworks》《NeuralNetworks》主要內(nèi)容第一章：引論智能的概念、智能系統(tǒng)的特點及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點、發(fā)展歷史、及其應(yīng)用領(lǐng)域。

主要內(nèi)容第二章神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓撲特性，存儲類型及映象。主要內(nèi)容第三章感知器感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法主要內(nèi)容第四章線性神經(jīng)網(wǎng)絡(luò)和LMS算法自適應(yīng)線性神經(jīng)元ADALINE(AdaptiveLinearNeuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表,其學(xué)習(xí)算法稱之為LMS(leastmeansquares最小均方差)算法或Widrow-Hoff學(xué)習(xí)規(guī)則。主要內(nèi)容第五章BP神經(jīng)網(wǎng)絡(luò)BP（ＥrrorBackpropagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進討論；BP網(wǎng)絡(luò)中的幾個重要問題。主要內(nèi)容第六章Hopfield網(wǎng)絡(luò)

離散型Hopfield網(wǎng)絡(luò)和連續(xù)性Hopfield網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計算；用能量函數(shù)評價網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問題(TSP問題)。主要內(nèi)容第七章Boltzmann機網(wǎng)絡(luò)

Boltzmann機將模擬退火算法引入Hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點跳出局部最優(yōu)，而達到全局最優(yōu)化。學(xué)習(xí)以統(tǒng)計學(xué)和概率方法研究隨機神經(jīng)網(wǎng)絡(luò)。2023/4/878主要內(nèi)容第八章自適應(yīng)共振理論人腦的穩(wěn)定性與可塑性問題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實現(xiàn)；訓(xùn)練討論。神經(jīng)網(wǎng)絡(luò)的基本特征神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。1.結(jié)構(gòu)特征——并行處理、分布式存儲與容錯性2.能力特征——自學(xué)習(xí)、自組織與自適應(yīng)性792023/4/880學(xué)習(xí)能力(Learning)

人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法2023/4/881基本特征的自動提取由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。泛化（Generalization）能力與抽象能力神經(jīng)網(wǎng)絡(luò)的基本功能聯(lián)想記憶82由于神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是通過其突觸權(quán)值和連接結(jié)構(gòu)來表達信息的記憶。這種分布式存儲使得神經(jīng)網(wǎng)絡(luò)能存儲較多的復(fù)雜模式和恢復(fù)記憶的信息。聯(lián)想記憶自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲（記憶）多種模式信息，當(dāng)輸入某個已存儲模式的部分信息或帶有噪聲干擾的信息時，網(wǎng)絡(luò)能通過動態(tài)聯(lián)想過程回憶起該模式的全部信息。神經(jīng)網(wǎng)絡(luò)的基本功能異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲了多個模式對，每一對模式均由兩部分組成，當(dāng)輸入某個模式對的一部分時，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對應(yīng)的另一部分。聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的基本功能85神經(jīng)網(wǎng)絡(luò)的基本功能86神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射

設(shè)計合理的神經(jīng)網(wǎng)絡(luò)通過對系統(tǒng)輸入輸出樣本對進行自動學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。87神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射88神經(jīng)網(wǎng)絡(luò)的基本功能分類與辨識

對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。89神經(jīng)網(wǎng)絡(luò)的基本功能優(yōu)化計算

指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達到最小值。90神經(jīng)網(wǎng)絡(luò)的基本功能知識處理

神經(jīng)網(wǎng)絡(luò)的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過自組織過程加強自身，構(gòu)建適合于表達所發(fā)現(xiàn)的規(guī)律。信號處理神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號處理（自適應(yīng)濾波、時間序列預(yù)測等）和非線性信號處理（非線性濾波、非線性預(yù)測等）模式識別模式識別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神經(jīng)網(wǎng)絡(luò)在這兩個方面都有許多成功的應(yīng)用，例如對圖象、語音的處理以及手寫字的識別等。ANN應(yīng)用領(lǐng)域—信息領(lǐng)域數(shù)據(jù)壓縮神經(jīng)網(wǎng)絡(luò)可以對待傳送（或待存儲）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲），接收（或使用）時再將其轉(zhuǎn)換為原始模式。92ANN應(yīng)用領(lǐng)域—信息領(lǐng)域汽車工程神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機燃燒系統(tǒng)中。軍事工程神經(jīng)網(wǎng)絡(luò)已應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域?；瘜W(xué)工程神經(jīng)網(wǎng)絡(luò)在制藥、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。ANN應(yīng)用領(lǐng)域—工程領(lǐng)域水利工程水力發(fā)電過程辨識和控制、河川徑流預(yù)測、河流水質(zhì)分類、水資源規(guī)劃等實際問題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。94ANN應(yīng)用領(lǐng)域—工程領(lǐng)域檢測數(shù)據(jù)分析利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測系統(tǒng)可用來提供腦電棘波的實時檢測和癲癇的預(yù)報。生物活性研究用神經(jīng)網(wǎng)絡(luò)對生物學(xué)檢測數(shù)據(jù)進行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對分子致癌活性進行預(yù)報。醫(yī)學(xué)專家系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來解決醫(yī)學(xué)專家系統(tǒng)中的知識表示、獲取和并行推理等問題。ANN應(yīng)用領(lǐng)域—醫(yī)學(xué)領(lǐng)域信貸分析神經(jīng)網(wǎng)絡(luò)評價系統(tǒng)將公司貸款申請表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實際的信用情況作為輸出評價，用數(shù)以千計的歷史數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練后，可給出準(zhǔn)確的評價結(jié)果。市場預(yù)測神經(jīng)網(wǎng)絡(luò)的市場預(yù)測已經(jīng)廣泛應(yīng)用于股票和期貨價格的預(yù)測中。ANN應(yīng)用領(lǐng)域—經(jīng)濟學(xué)領(lǐng)域自動控制是上世紀(jì)中形成和發(fā)展起來的一門新興學(xué)科，它是一門涉及到諸如數(shù)學(xué)、計算機、信息、電工、電子等眾多領(lǐng)域的交叉學(xué)科。它的應(yīng)用和影響，已經(jīng)遍及很多的技術(shù)和社會科學(xué)領(lǐng)域。在自動控制發(fā)展的過程中，計算機科學(xué)一直對它產(chǎn)生著巨大的影響。隨著科學(xué)技術(shù)的發(fā)展，對控制系統(tǒng)智能化的要求也越來越高。97人工神經(jīng)網(wǎng)絡(luò)與自動控制神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)滲透到自動化控制領(lǐng)域的各個方面，包括系統(tǒng)辨識、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯控制等。系統(tǒng)辨識傳統(tǒng)的辨識方法，對于一般的非線性系統(tǒng)的辨識是很困難的，而神經(jīng)網(wǎng)絡(luò)卻為此提供了一個有力的工具。與傳統(tǒng)的基于算法的辨識方法相比，神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識具有如下特點：

(1)由于神經(jīng)網(wǎng)絡(luò)可以任意精度逼近非線性函數(shù)，故它可以為非線性系統(tǒng)的辨識提供一個通用的模式人工神經(jīng)網(wǎng)絡(luò)與自動控制

(2)神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識是非算法式的，神經(jīng)網(wǎng)絡(luò)本身就是辨識模型，其可調(diào)參數(shù)反映在網(wǎng)絡(luò)內(nèi)部的連接權(quán)上。不需要建立以實際系統(tǒng)數(shù)學(xué)模型為基礎(chǔ)的辨識格式，故可以省去辨識前對系統(tǒng)建模這一步驟。

(3)神經(jīng)網(wǎng)絡(luò)作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現(xiàn)，可應(yīng)用于在線控制。99人工神經(jīng)網(wǎng)絡(luò)與自動控制神經(jīng)控制器控制器在實施控制系統(tǒng)中起著大腦的作用神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的等智能特點，非常適合做控制器。對于復(fù)雜的非線性系統(tǒng)，神經(jīng)控制器所能達到的控制效果往往明顯好于常規(guī)控制器。故障診斷與容錯控制神經(jīng)網(wǎng)絡(luò)故障診斷與容錯控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經(jīng)網(wǎng)絡(luò)；另一種是用神經(jīng)網(wǎng)絡(luò)直接構(gòu)成具有容錯能力的控制器。人工神經(jīng)網(wǎng)絡(luò)與自動控制《機器學(xué)習(xí)》

T.M.Mitchell駕駛汽車的人工神經(jīng)網(wǎng)絡(luò)人臉識別的人工神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識別的人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問題在逼近非線性函數(shù)問題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實時控制的需要，必須予以解決對于控制器和辨識器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無理論指導(dǎo)難點問題105參考書目參考書目107參考書目SimonHaykin著,葉世偉,史忠植譯.神經(jīng)網(wǎng)絡(luò)原理.機械工業(yè)出版社,2004GeorgeF.Luger著,史忠植等譯.人工智能——復(fù)雜問題求解的結(jié)構(gòu)和策略.機械工業(yè)出版社,中信出版社蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論.高等教育出版社，2001胡守仁，余少博，戴葵.神經(jīng)網(wǎng)絡(luò)導(dǎo)論.國防科技大學(xué)出版社，1993韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用.化學(xué)工業(yè)出版社，2002王旭，王宏，王文輝.人工神經(jīng)元網(wǎng)絡(luò)原理與應(yīng)用.東北大學(xué)出版社，2000徐麗娜.神經(jīng)網(wǎng)絡(luò)控制.哈爾濱工業(yè)大學(xué)出版社，1999閻平凡，張長水.人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算.清華大學(xué)出版社，著名學(xué)者108Prof.MichaelI.Jordan美國加州大學(xué)伯克利分校獲加州大學(xué)博士學(xué)位研究方向:圖模型、變分方法、機器學(xué)習(xí)等。曾在麻省理工學(xué)院工作11年。已發(fā)表200多篇科技論文。國際上許多神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)方面的專家都曾師從Jordan教授，包括香港中文大學(xué)的徐雷教授。著名學(xué)者109Prof.BernhardScholkopf德國MaxPlanck生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位

研究方向:機器學(xué)習(xí)、感知器、支持向量機和核方法。Scholkopf教授是國際著名雜志JournalofMachineLearningResearch、IEEETrans.OnPatternAnalysisandMachineIntelligence,和InternationalJournalofComputerVision編輯委員會成員。

著名學(xué)者110Prof.LawrenceSaul加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位研究方向：機器學(xué)習(xí)、模式識別、神經(jīng)網(wǎng)絡(luò)、語音處理等。Saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡已被應(yīng)用于很多實際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進入計算機科學(xué)的前1%，另外他也是著名國際期刊JournalofMachineLearningResearch編委會成員和發(fā)起人之一。著名學(xué)者111Prof.YoshuaBengio加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向:多層感知機、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等

Bengio教授是