中科院學(xué)習(xí)課件 模式識別 第六章資料

1、第六章 人工神經(jīng)網(wǎng)絡(luò)共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計算機(jī)）。人是地球上具有最高智慧的動物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計算機(jī)所無法取代的。長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計算機(jī)，雖然到目前對大腦的內(nèi)部工作機(jī)理(j l)還不甚完全清楚，但對其結(jié)構(gòu)已有所了解。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元

2、組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。現(xiàn)已明確大腦的學(xué)習(xí)過程(guchng)就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息做自適應(yīng)變化的過程(guchng)，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿，但這種模

3、仿目前還處于極低的水平。按美國神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元具有局部內(nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)(dod)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。每個處理單元有一個單一的輸出聯(lián)接，輸出信號可以是任何需要的數(shù)學(xué)模型。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計算機(jī)的區(qū)別在一般的計算機(jī)中，通常有一個中央處理器，它可訪問其存儲器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行(zhxng)該指令，最后將計算

4、結(jié)果存入指定的存儲單元中。任何動作都按照確定的操作程序，以串行方式執(zhí)行。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計算機(jī)的區(qū)別在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒有確定的存儲器，而是由許多互連的簡單處理單元組成。每個處理單元的處理功能只是求其所有輸入信號的加權(quán)和，當(dāng)該和值超過某一閾值時，輸出(shch)呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)并不執(zhí)行指令序列，它對并行加載的輸入信號也按并行方式來處理和響應(yīng)，結(jié)果也不存儲在特定的存儲單元中。當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個狀態(tài)就是所求的結(jié)果。

5、目前還沒有用硬件真正實現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡(luò)，對它的實現(xiàn)還是基于一般計算機(jī)的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡(luò)并行快速的特點(diǎn)。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)訓(xùn)練時，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至(zhzh)加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對訓(xùn)練好的網(wǎng)絡(luò)輸入一個信號，它就可以正確回憶出相應(yīng)輸出，得到識別結(jié)果。共二百七十六頁6.1 概述(i sh)

6、6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機(jī)實例輸入裝置是一個閱讀窗口，當(dāng)它沿文本的一行移動時，每次前移一個字母，但每個瞬間輸入七個相鄰的字母（包括空格和句號）信息。由于英文字母的發(fā)音與其前后字母有關(guān)，所以(suy)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時，只要求每次七個字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡(luò)的輸出相應(yīng)狀態(tài)驅(qū)動一個語音綜合發(fā)生器）。訓(xùn)練時，將一篇有1024個字的文本一行一行通過閱讀窗口，并要求對應(yīng)每個字母時人工神經(jīng)網(wǎng)絡(luò)的輸出結(jié)點(diǎn)能輸出相應(yīng)音素的狀態(tài)值。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀(lngd)機(jī)實例這樣通過十遍閱讀（訓(xùn)練），可以達(dá)到輸出可理解的語

7、音。通過50遍閱讀（訓(xùn)練），可以達(dá)到95%的精確度。訓(xùn)練過程中聽上去像小孩學(xué)說話一樣，由不清楚到清楚。訓(xùn)練完成后，再閱讀從未見過的課文，朗讀精度仍可達(dá)78%，完全可以聽懂。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人臉識別實例用10個人的照片，每個人都在不同的角度照5張照片，共有50張照片的輸入信息。對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個照片信息作為輸入時，代表10個人的10個結(jié)點(diǎn)中相應(yīng)的一個結(jié)點(diǎn)輸出最大，每個人的5張照片都對應(yīng)著同一個結(jié)點(diǎn)的最大輸出。經(jīng)過訓(xùn)練后，再對原來的10個人中的一個從不同角度拍照（尺寸(ch cun)不變），進(jìn)行識別，結(jié)果是他本人對應(yīng)的結(jié)點(diǎn)的輸出比其它9

8、個結(jié)點(diǎn)的輸出都高得多。共二百七十六頁6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)總結(jié)和討論傳統(tǒng)計算機(jī)采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個(du )處理器并行工作，還是會把許多時間浪費(fèi)在完成串行操作上，而且問題的并行化分解和并行程序的編寫也是一個難題。雖然至今開發(fā)出的超型計算機(jī)，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認(rèn)識面孔、學(xué)習(xí)說話、識別圖像等。盡管人工神經(jīng)網(wǎng)絡(luò)還是生物大腦的極低水平的模仿，但在圖像識別、語音識別、記憶、預(yù)測以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應(yīng)用前景，可以完成傳統(tǒng)計算機(jī)不易實現(xiàn)的智能性工作。共二百七十六頁

9、6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國(mi u)神經(jīng)生理學(xué)家Warren Mcculloch和數(shù)學(xué)家Walter Pitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。該文指出，腦細(xì)胞的活動像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單，但它給人們一個信念，即大腦的活動是靠腦細(xì)

10、胞的組合連接實現(xiàn)的。當(dāng)時，不少研究人員轉(zhuǎn)向解剖學(xué)和生理學(xué)去尋找建立智能機(jī)的思路。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1949年，心理學(xué)家Donala Hebb寫了一本書：“The Organization of Behavior”。在該書中，他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路(sl)每當(dāng)通過參與某種活動時將被加強(qiáng)，這就是后來的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起到了二

11、十世紀(jì)50年代，隨著計算機(jī)的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開始在計算機(jī)上進(jìn)行(jnxng)模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開始時失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實驗上取得了一定程度的成功。在此情況下，人們開始醞釀人工智能的項目。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1956年，一個人工智能研究項目（Dartmouth Summer）給人工智能領(lǐng)域，同時也給神經(jīng)計算領(lǐng)域以巨大推動。人們提出兩條研究思路采用高級人工智能方法，試圖建立描述智能機(jī)功

12、能的計算機(jī)程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實現(xiàn)智能化。這宣告(xungo)了人工神經(jīng)網(wǎng)絡(luò)的誕生。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期 感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計算機(jī)專家Frank Rosenblatt開始從事感知器的研究(ynji)，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師Bernard Widrow和Marcian Haff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)算法（ Widro

13、w- Haff算法）。該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報，成為第一個用于實際問題的神經(jīng)網(wǎng)絡(luò)。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期 感知器模型和人工神經(jīng)網(wǎng)絡(luò)1962年，Rosenblatt出版了一本書“The Principles of Neurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實驗可以模仿人的某些特性，并斷言它可以學(xué)會任何它可以表示的功能。1967年，Stephen Grossberg通過對生理學(xué)的研究，開發(fā)了一種稱作Avalanche（雪崩網(wǎng)）的神經(jīng)網(wǎng)絡(luò)模型，可以執(zhí)

14、行連續(xù)語音識別和控制機(jī)器人手臂的運(yùn)動。在這一時期，由于感知器的某些進(jìn)展和對神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實現(xiàn)智能的關(guān)鍵，許多部門開始大批地投入此項研究，希望盡快占領(lǐng)制高點(diǎn)，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮(gocho)。由于當(dāng)時對神經(jīng)網(wǎng)絡(luò)的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機(jī)器人的人類會很快受到機(jī)器人的攻擊）。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(fzhn)反思期 神經(jīng)網(wǎng)絡(luò)的低潮1969年，Marvin Minsky和Seymour Papert合著了一本書“Perception”，分析了當(dāng)時的簡單感知器，指出它有非常嚴(yán)重

15、的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時，批評的聲音高漲，導(dǎo)致了停止對人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期 神經(jīng)網(wǎng)絡(luò)的低潮雖然如此，二十世紀(jì)70年代到80年代早期，仍有一些堅信神經(jīng)網(wǎng)絡(luò)的人堅持他們的工作，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。神經(jīng)生理學(xué)家James Anderson開發(fā)的盒中腦模型(mxng)（Brain-State-in-a-Box，BSB）。日本學(xué)者Kunihik Fukushima開發(fā)的用于視覺

16、圖形識別的認(rèn)知器模型（Neocognitron）。電氣工程師Teuvo Kohonen開發(fā)的與BSB類似的網(wǎng)絡(luò)模型。Grossberg, Rumelhart, McClelland, Marr, Amari和Cooper等人的工作。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期 Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，John Hopfield向美國科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報告，主要內(nèi)容就是建議收集和重視以前對神經(jīng)網(wǎng)絡(luò)的工作，其中特別強(qiáng)調(diào)了每種模型的實用性。根據(jù)對神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解， Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作

17、的，可以做些什么(shn me)，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國軍方的興趣。當(dāng)時，人工智能對自動制導(dǎo)車的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個問題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期 Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1984年，Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumel

18、hart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出(t ch)了所謂的Bolziman機(jī)。1986年， Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。1990年12月，國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識與應(yīng)用研究期二十世紀(jì)90年代后，神經(jīng)網(wǎng)絡(luò)的研究趨于平緩，主要問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確(jngqu)存在可信度的問題共二百七十六頁6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識與應(yīng)用研究期主要研究內(nèi)容開發(fā)(kif)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)

19、實際運(yùn)行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡(luò)的計算功能分布(fnb)在多個處理單元上，而傳統(tǒng)的計算機(jī)通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計算機(jī)的串行工作方式來模擬，

20、所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實現(xiàn)快速處理。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識的分布存儲在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。在計算機(jī)中，只要(zhyo)給定一個地址就可以得到一個或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識的分布存儲當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配(ppi)最好的知識存儲為其解。這猶如人們辨認(rèn)潦草的筆記，這

21、些筆記可以是變形的、失真的和缺損的。人類根據(jù)聯(lián)想善于正確識別圖形，人工神經(jīng)網(wǎng)絡(luò)也具有這種能力。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識的分布存儲聯(lián)想記憶的兩個主要特點(diǎn)存儲大量復(fù)雜數(shù)據(jù)的能力語音的樣本、可視圖象、機(jī)器人的活動、時空圖形的狀態(tài)、社會的情況(qngkung)等；可以很快地將新的輸入圖像歸并分類為已存儲圖像的某一類一般計算機(jī)善于高速串行運(yùn)算，但不善于實時的圖形識別。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯性人類大腦具有很強(qiáng)的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會自動死

22、亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識存在整個系統(tǒng)中，而不是(b shi)在一個存儲單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計算機(jī)要強(qiáng)得多。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力小孩在周圍環(huán)境的熏陶下可以學(xué)會很多事情，如通過學(xué)習(xí)可以認(rèn)字、說話、走路、思考(sko)、判斷等。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加

23、到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。好像告訴網(wǎng)絡(luò)：“當(dāng)你看到這個圖形（比如5）時，請給我指示5”。無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對輸入樣本分類。在網(wǎng)絡(luò)訓(xùn)練時，有時只能給出大量(dling)的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力綜合推理(tul)的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力。進(jìn)行數(shù)字圖形的識別時，對于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。共

24、二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計算資金方面的問題。人工神經(jīng)網(wǎng)絡(luò)不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練(xnlin)往往是一個艱難的過程。網(wǎng)絡(luò)的設(shè)計沒有嚴(yán)格確定的方法（一般憑經(jīng)驗），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。脫機(jī)訓(xùn)練往往需要很長時間，為了獲得最佳效果，常常要重復(fù)試驗多次。網(wǎng)絡(luò)收斂性的問題。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)

25、必須克服(kf)時間域順序處理方面的困難。為了解決語音處理、自然語言理解和圖像隨時間的變換情況，需要設(shè)計適于連續(xù)時間環(huán)境的網(wǎng)絡(luò)。硬件限制目前仍是在一般計算機(jī)上用模擬的方法研究人工神經(jīng)網(wǎng)絡(luò)的并行處理過程，然而模擬不是最終目標(biāo)。只有真正的并行硬件處理，才能體現(xiàn)出人工神經(jīng)網(wǎng)絡(luò)的高速高效特點(diǎn)。目前這種硬件的實現(xiàn)還為很好解決。共二百七十六頁6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性正確的訓(xùn)練數(shù)據(jù)的收集大量有代表性樣本的采集正確的預(yù)處理總之，人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科，盡管它只是大腦的低級(dj)近似，但它的許多特點(diǎn)和人類的智能特點(diǎn)類似，有著較強(qiáng)的

26、識別能力和廣泛的應(yīng)用前景。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型，盡管在性能和結(jié)構(gòu)上各有特點(diǎn)，但它們存在很多共同之處。本節(jié)介紹人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語常用表示符號描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)(shxu)概念共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物(shngw)原型大腦簡單的神經(jīng)元共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦簡單的神經(jīng)元神經(jīng)元就是神經(jīng)細(xì)胞，它是動物(dngw)的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成細(xì)胞體：它是神經(jīng)元的本體，內(nèi)

27、有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。樹突：它有大量的分枝，多達(dá)103數(shù)量級，長度較短（通常不超過1毫米），用以接收來自其它神經(jīng)元的信號。軸突：它用以輸出信號，有些較長（可達(dá)1米以上），軸突的遠(yuǎn)端也有分枝，可與多個神經(jīng)元相連。突觸：它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位，通常是一個神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細(xì)胞體。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元間信號的傳遞神經(jīng)元間的信號通過突觸傳遞。通過它，一個神經(jīng)元內(nèi)傳送的沖擊信號將在下一個神經(jīng)元內(nèi)引起響應(yīng)(xingyng)，使下一個神經(jīng)元興奮，或

28、阻止下一個神經(jīng)元興奮。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制一個神經(jīng)元有兩種狀態(tài)興奮和抑制平時(pngsh)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負(fù)。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)

29、網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號。神經(jīng)元興奮時往往不是只發(fā)一個脈沖，而是發(fā)出一串脈沖，如果(rgu)把一串脈沖看成是一個調(diào)頻信號，脈沖的密度是可以表達(dá)連續(xù)量的。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦大腦及大腦皮層的結(jié)構(gòu)研究證明，大腦中大約有1000個不同的模塊，每個模塊包含有50*106個神經(jīng)元。我們可以假設(shè)每個模塊就是眾多神經(jīng)網(wǎng)絡(luò)中的一類。大腦的主要計算機(jī)構(gòu)是大腦皮層，在其斷面上一般有36層神經(jīng)細(xì)胞排列，大約10萬個神經(jīng)元組成(z ch

30、n)一組。在一個典型的腦模型中，大約有500個神經(jīng)網(wǎng)絡(luò)進(jìn)行計算工作，平均一個神經(jīng)元向其它神經(jīng)元發(fā)出2000個突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強(qiáng)度是隨機(jī)的，隨著對外部世界的響應(yīng)而逐漸形成。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦總之，大腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是極其復(fù)雜的，其工作機(jī)理仍未完全搞清。認(rèn)知器模型的發(fā)明者Kunihiko Fukushima描述了建立人工神經(jīng)網(wǎng)絡(luò)模型的原則：“我們(w men)試圖忠實地遵循生理的證據(jù)。我們(w men)分析或模擬所建模型的性能，并將它與大腦的某種性能進(jìn)行比較。如果我們(w

31、 men)發(fā)現(xiàn)模型與大腦在性能方面的差異，我們(w men)就變化我們(w men)的初始假設(shè)和修改模型，并重復(fù)這一過程直到模型的性能與大腦的性能具有相同的方式?！惫捕倨呤?.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元（PE）就是人工(rngng)神經(jīng)元，也稱為結(jié)點(diǎn)，通常用圓圈表示。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的結(jié)構(gòu)和功能與生物神經(jīng)元有類似之處，可以說是生物神經(jīng)元的一階近似。處理(chl)單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個處理(chl)功能中的若干個。處理單元的功能對每個輸入信號進(jìn)行處理以確定

32、其強(qiáng)度（加權(quán)）；確定所有輸入信號的組合效果（求和）；確定其輸出（轉(zhuǎn)移特性）。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元對生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵(jl)）一樣，處理單元也有很多輸入信號，并且同時加到處理單元上，處理單元以輸出作為響應(yīng)。處理單元的輸出像實際神經(jīng)元一樣，輸出響應(yīng)不但受輸入信號的影響，同時也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個額外輸入（稱為偏置項）共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元對生物神經(jīng)元的模擬處理單元的每一個輸入都經(jīng)過相關(guān)的加權(quán)，以影響輸入的激勵作用(zuyng

33、)，這有些像生物神經(jīng)元中突觸的可變強(qiáng)度，它確定了輸入信號的強(qiáng)度，一般把它看作連接強(qiáng)度的測度。處理單元的初始加權(quán)可以根據(jù)確定的規(guī)則進(jìn)行調(diào)解修正，這也像生物神經(jīng)元中的突觸強(qiáng)度可受外界因素影響一樣。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)(jigu)和功能共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能輸入信號來自外部（用黑色圓點(diǎn)表示(biosh)輸入端點(diǎn)）或別的處理單元的輸出，在數(shù)學(xué)上表示(biosh)為行向量xx = (x1, x2, xN)其中xi為第i個輸入的激勵電平，N表示輸入

34、數(shù)目。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本(jbn)結(jié)構(gòu)和功能連接到結(jié)點(diǎn)j的加權(quán)表示為加權(quán)向量Wj=(W1j, W2j, WNj)其中Wij表示從結(jié)點(diǎn)i（或第i個輸入點(diǎn)）到結(jié)點(diǎn)j的加權(quán)，或稱i與j結(jié)點(diǎn)之間的連接強(qiáng)度。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能考慮到內(nèi)部(nib)閾值j，用x0=-1的固定偏置輸入點(diǎn)表示，其連接強(qiáng)度取W0j= j。于是，可得輸入的加權(quán)和為共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能如果(

35、rgu)向量x和Wj分別包含了x0和W0j，則有x = (x0, x1, xN)Wj=(W0j, W1j, WNj)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)(jigu)和功能于是sj可表示為x和Wj的點(diǎn)積或內(nèi)積 sj= xWj這一結(jié)果是標(biāo)量，它由兩個向量的內(nèi)積得到，可以作為兩個向量相似程度的測量。如果向量處于相同的方向，則其內(nèi)積最大；如果向量處于相反的方向，則其內(nèi)積最小。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能處理單元的激勵(jl)電平sj通過一個轉(zhuǎn)移函數(shù)F()，得到處理單

36、元的最后輸出值yj共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)F()也稱激勵函數(shù)、傳輸(chun sh)函數(shù)或限幅函數(shù)，其作用就是將可能的無限域變換到一指定的有限范圍內(nèi)輸出，這類似于生物神經(jīng)元具有的非線性轉(zhuǎn)移特性。常用的轉(zhuǎn)移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)(hnsh)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)最簡單的轉(zhuǎn)移函數(shù)y = F(s) = ks其中(qzhng)y為輸出值

37、，s為輸入信號的加權(quán)和，k是一個常數(shù)，表示直線的斜率。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡(xip)函數(shù)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)(hnsh)當(dāng)線性函數(shù)值限定在(-r r)的范圍內(nèi)時，線性函數(shù)就變?yōu)榉蔷€性斜坡函數(shù)。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)(hnsh)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)(hnsh)硬限幅函

38、數(shù)的一種共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元符號(fho)函數(shù)（sgn()）共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元符號(fho)函數(shù)（sgn()）硬限幅函數(shù)的一種共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)(hnsh)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)(hnsh)S型函數(shù)的一種y = F(s) = 1/(1+e-s)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單

39、元可以把該型函數(shù)看作為處理單元定義了一個非線性增益，增益的大小決定于曲線在給定s點(diǎn)的斜率。當(dāng)s由負(fù)無窮增到0時，增益由0增至最大；當(dāng)s由0增到正無窮時，增益又由最大返回到0。Grossberg在1973年發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡(luò)既能處理小信號(xnho)，也能處理大信號(xnho)。該函數(shù)的中間高增益區(qū)解決了處理小信號的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵信號；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切(zhngqi)函數(shù)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.

40、2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù)S型函數(shù)的一種y = tand(s)=(es- e-s)/(es+e-s)相對(xingdu)于Sigmoid函數(shù)，它是原點(diǎn)對稱的。當(dāng)s=0時有y=0，即同時具有雙級輸出。當(dāng)要求輸出(-1 1)范圍的信號時，它常被采用。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元討論人工神經(jīng)網(wǎng)絡(luò)處理單元是生物神經(jīng)元的簡單近似，在模仿生物神經(jīng)網(wǎng)絡(luò)時，具備了生物神經(jīng)元的某些特性。至于模仿效果，還需進(jìn)一步研究，修改模型。人工神經(jīng)網(wǎng)絡(luò)處理單元忽略了生物神經(jīng)元的很多特征(tzhng)。它沒有考慮影響系統(tǒng)動態(tài)特性的時間延遲，而認(rèn)為一個輸入立即產(chǎn)生

41、一個輸出。它沒有包括同步機(jī)能和神經(jīng)元的頻率調(diào)制功能的影響。其它未知的生物神經(jīng)元的功能和特性。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)雖然單個處理單元可以處理簡單的圖形檢測功能，但更強(qiáng)的識別處理能力(nngl)是來自多個結(jié)點(diǎn)“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。這里的“連成”，是靠輸入至結(jié)點(diǎn)或者結(jié)點(diǎn)至結(jié)點(diǎn)間的信號傳輸通路實現(xiàn)的，這一通路相當(dāng)于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號。以后我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權(quán)值，稱為“連接權(quán)”，反映連接的強(qiáng)度。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的

42、拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)最簡單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)(ji din)形成一層。左邊的黑色圓點(diǎn)只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號表示為行向量：x = (x1, x2, xN)，其中每一分量通過加權(quán)連接到各結(jié)點(diǎn)。每一個結(jié)點(diǎn)均可產(chǎn)生一個加權(quán)和。輸入和結(jié)點(diǎn)間采用全連接，并且(bngqi)都是前饋連接。實際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)(wnglu)

43、在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是N x n，N是輸入信號向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點(diǎn)數(shù)。由第三個輸入連接到第二個結(jié)點(diǎn)的連接權(quán)表示為W32。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號的加權(quán)和表示為：s是各結(jié)點(diǎn)加權(quán)和的行向量，s=(s1, s2, sn)。輸出向量(xingling) y=(y1, y2, yn)，其中yj=F(sj)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)的計算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，

44、但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是(zhn sh)模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)?tu p)結(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時，層間的轉(zhuǎn)移函數(shù)(hnsh)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)強(qiáng)。

45、在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權(quán)矩陣得到網(wǎng)絡(luò)的輸出y=(xW1) W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個加權(quán)矩陣的乘積。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)中，接收輸入信號的層稱為輸入層。它不計入網(wǎng)絡(luò)層數(shù)，因為它只起著輸入信號緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。實際情況中，層與層之間可能(knng)有部分連接的情況。共二

46、百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸(hugu)型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸(hugu)型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一層反饋網(wǎng)絡(luò)中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接。相對于一層反饋網(wǎng)絡(luò)的為多層反饋網(wǎng)絡(luò)，其連接不限于一層之內(nèi)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基

47、礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)非回歸型網(wǎng)絡(luò)與回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）的比較非回歸型網(wǎng)絡(luò)不需存儲記憶，它的輸出只是由當(dāng)前的輸入和加權(quán)值確定。而在反饋網(wǎng)絡(luò)中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當(dāng)前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶，即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應(yīng)用的網(wǎng)絡(luò)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶存儲就是將信息或圖形存在某種存儲器中，而回憶則是將已存儲的信息按某種方式(fngsh)恢復(fù)出來。為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。共二百七十六頁6.2 人

48、工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(cn ch)和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲圖形的類型在計算機(jī)中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進(jìn)制數(shù)據(jù)或連續(xù)信息。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲的兩類圖形空間圖形(kngjin txng)的存儲存儲單個空間靜態(tài)圖像，如一幅畫面。時空圖形的存儲存儲一系列隨時間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲的圖形大多是空間圖形，因它是構(gòu)成時空圖形的基礎(chǔ)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.

49、2.4 存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲人工神經(jīng)網(wǎng)絡(luò)中的圖形存儲器與計算機(jī)中存儲器的差別在計算機(jī)中，一般采用RAM，將數(shù)據(jù)信息(xnx)存在確定地址的存儲單元內(nèi)，有了地址就可檢索數(shù)據(jù)。在人工神經(jīng)網(wǎng)絡(luò)中，則是用內(nèi)容尋址存儲器和聯(lián)想存儲器來存儲圖形信息。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲內(nèi)容尋址存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中形成的，相當(dāng)于通過訓(xùn)練將信息存儲在加權(quán)矩陣W中。訓(xùn)練一旦完成，數(shù)據(jù)就相當(dāng)于變換到加權(quán)矩陣的穩(wěn)定狀態(tài)中，因此這種存儲是長期存儲。聯(lián)想(linxing)存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的回憶操作中出現(xiàn)的。當(dāng)對網(wǎng)絡(luò)輸入激勵信

50、號時，作為回憶結(jié)果，網(wǎng)絡(luò)的輸出給出一個響應(yīng)狀態(tài)。這一響應(yīng)狀態(tài)實際上也相當(dāng)于一個所需的存儲數(shù)據(jù)（響應(yīng)），因此這種存儲為短期存儲。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念回憶是人類智能的一個主要特征，要想回憶某個人或某件事，通?？赏ㄟ^聯(lián)想進(jìn)行。當(dāng)看到一本書的封面顏色(yns)和作者時，會聯(lián)想到這是一本什么書（書的內(nèi)容）。當(dāng)丟失東西時，可以通過聯(lián)想到過什么地方，做過什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個特點(diǎn)，就是不管是哪本書，還是與東西有關(guān)的地點(diǎn)和事情，都是經(jīng)歷過的，相應(yīng)的記憶才有可能聯(lián)想出所需的結(jié)果。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

51、(jch)6.2.4 存儲和回憶回憶的概念聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個事物的全部特征。他聯(lián)想：由一件事情(sh qing)聯(lián)想到另一件事情(sh qing)。在人工神經(jīng)網(wǎng)絡(luò)中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念自聯(lián)想變換要求通過訓(xùn)練已在W中的存儲向量圖形(txng)A1, A2, Ap來實現(xiàn)。該變換可由失真或缺損的向量圖形Ai (i=1,2,p)，聯(lián)想回憶Ai，即當(dāng)Ai 為輸入激勵時，能得到輸出響應(yīng)Ai。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念他

52、聯(lián)想變換要求通過訓(xùn)練已在W中的存儲向量圖形對(A1, B1), (A2, B2), (Ap, Bp)來實現(xiàn)。對這種網(wǎng)絡(luò)，聯(lián)想回憶是從激勵(jl)A1, A2, Ap（可能是失真的或不完善的）獲得B1, B2, Bp的響應(yīng)（或相反），即共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念在他聯(lián)想變換中，可以定義兩種基本的回憶機(jī)制(jzh)最近鄰回憶內(nèi)插回憶共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念最近鄰回憶尋找與外部激勵A(yù)i最佳匹配的（距離最近的）已存儲的輸入，并按這一輸入求得相應(yīng)的輸出，即 ，其中Ai與Ai有如下關(guān)系(gun x

53、)： 這里d()可指Ai與Ai間的歐式距離。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念內(nèi)插回憶是在接受一個輸入激勵時，從已存儲的輸入圖形集中找到一個內(nèi)插值，并從該輸入的內(nèi)插值得到一個相應(yīng)的內(nèi)插輸出。假如內(nèi)插是線性的，則可表示(biosh)為其中A和B可由圖形對(Ai, Bi)和(Ai+1, Bi+1)內(nèi)插得到，即 且 。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(cn ch)和回憶回憶的概念在人工神經(jīng)網(wǎng)絡(luò)中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4

54、 存儲和回憶回憶的概念前饋回憶輸入(shr)激勵只需通過一次存儲矩陣就可產(chǎn)生所需的響應(yīng)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲和回憶回憶的概念反饋回憶輸入激勵通過存儲矩陣W產(chǎn)生響應(yīng)，該響應(yīng)作為激勵再反饋通過W，這樣依次循環(huán)，直到激勵和響應(yīng)停止變化為止，即得到(d do)所要求的響應(yīng)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)的最主要特征(tzhng)之一是它可以學(xué)習(xí)。任何一個人工神經(jīng)網(wǎng)絡(luò)模型要實現(xiàn)某種功能的操作，就必須對它進(jìn)行訓(xùn)練，讓它學(xué)會要做的事情，并把這些知識記憶（存儲）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習(xí)或訓(xùn)練的實質(zhì)就是加

55、權(quán)矩陣隨外部激勵（環(huán)境）做自適應(yīng)的變化。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）因為學(xué)習(xí)和訓(xùn)練的實質(zhì)是變動加權(quán)值，因此很多文獻(xiàn)中學(xué)習(xí)和訓(xùn)練的概念是混用的。嚴(yán)格來說，兩者是有區(qū)別的，訓(xùn)練通常是指調(diào)整網(wǎng)絡(luò)加權(quán)的操作動作和過程，這個過程對網(wǎng)絡(luò)來講就是學(xué)習(xí)。比如(br)舉辦一個訓(xùn)練班對學(xué)生進(jìn)行某種技能的訓(xùn)練，對學(xué)生來講，它是在該班內(nèi)學(xué)習(xí)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)被訓(xùn)練后，它每加入一組輸入就會產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓(xùn)練就是相繼加入輸入向量，并按預(yù)定

56、規(guī)則調(diào)整網(wǎng)絡(luò)加權(quán)。在進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)的各加權(quán)都收斂(shulin)到一個確定值，以便每個輸入向量都會產(chǎn)生一個要求的輸出向量。調(diào)整加權(quán)所遵循的預(yù)定規(guī)則就是訓(xùn)練算法。有指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練(xnlin)（學(xué)習(xí)）有指導(dǎo)的訓(xùn)練對有指導(dǎo)的訓(xùn)練算法，不但需要訓(xùn)練用的輸入向量，同時還要求與之對應(yīng)的表示所需要輸出的目標(biāo)向量。輸入向量與對應(yīng)的目標(biāo)向量一起稱作一個訓(xùn)練對。通常訓(xùn)練一個網(wǎng)絡(luò)需要很多訓(xùn)練對，這些訓(xùn)練對組成訓(xùn)練組。當(dāng)加上一個輸入向量時，要計算網(wǎng)絡(luò)的實際輸出，并同相應(yīng)的目標(biāo)向量做比較，根據(jù)比較結(jié)果的誤差，按規(guī)定的算法改變加權(quán)。

57、把訓(xùn)練組中的每個向量對相繼加入，對每個向量都計算誤差并調(diào)節(jié)加權(quán)，直到訓(xùn)練組中的誤差都達(dá)到可接受的最低值為止。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)(xux)）無指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練不要求有目標(biāo)向量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認(rèn)為無指導(dǎo)的訓(xùn)練是在生物上更有道理的訓(xùn)練算法。1984年，Kohonen等人提出了無指導(dǎo)的訓(xùn)練算法。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)(zhdo)的訓(xùn)練因為無指導(dǎo)的訓(xùn)練不要求輸出的目標(biāo)向量，因此無需比較產(chǎn)

58、生控制誤差。訓(xùn)練組只是由輸入向量組成。訓(xùn)練算法也修改網(wǎng)絡(luò)的加權(quán)，使得產(chǎn)生的輸出具有某種可理解的規(guī)律性。比如，訓(xùn)練組的某兩個向量非常類似時，它們將會產(chǎn)生相同的輸出。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練這個訓(xùn)練過程實質(zhì)上是抽取訓(xùn)練組的某種統(tǒng)計特性，并把輸入向量按圖形類似程度分為不同的類別。從給定的一類中取一個(y )向量加到網(wǎng)絡(luò)上，它將產(chǎn)生一個(y )特定的輸出。在訓(xùn)練之前，沒有辦法知道哪種類型的輸入向量將產(chǎn)生哪種特定的輸出，但通過這種訓(xùn)練，網(wǎng)絡(luò)的輸出總是變換為一個可理解的序列形式。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2

59、.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法目前應(yīng)用的訓(xùn)練算法很多，其中有很大部分是早期的Hebb算法的變形。人們?nèi)栽谝陨飳W(xué)習(xí)訓(xùn)練的模式作為目標(biāo)，繼續(xù)探索新的算法。可以相信，真正(zhnzhng)的生物學(xué)習(xí)訓(xùn)練過程肯定比目前常用的訓(xùn)練算法復(fù)雜得多。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一 Hebb算法Hebb算法是由Donald Hebb提出的一種最早的訓(xùn)練算法。Hebb認(rèn)為，如果源和目的神經(jīng)元都被激活(j hu)（或抑制），它們之間的突觸的強(qiáng)度就會增強(qiáng)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)

60、）訓(xùn)練算法之一 Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡單描述：如果一個處理單元從另一個處理單元接收激勵信號，而且兩者處于相同的激勵電平（數(shù)學(xué)上具有相同的符號(fho)），那么處理單元之間的加權(quán)就應(yīng)當(dāng)增強(qiáng)。共二百七十六頁6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一 Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡單描述(mio sh)：按數(shù)學(xué)表示，就是兩結(jié)點(diǎn)的連接權(quán)將按兩結(jié)點(diǎn)的激勵電平的乘積來改變其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值； Wij(n+1)是第(n+1)次調(diào)節(jié)后從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值；為訓(xùn)練速率系數(shù)；yi為結(jié)點(diǎn)i