第八講 人工神經網(wǎng)絡(精簡版)

1、人工神經網(wǎng)絡內容安排內容安排一、生物神經元二、人工神經網(wǎng)絡結構三、神經網(wǎng)絡基本學習算法神經計算n大腦模型生物神經系統(tǒng)生物神經系統(tǒng)n生物神經系統(tǒng)是一個有高度組織和相互作用的數(shù)生物神經系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細胞組織群體。人類大腦的神經細胞大量巨大的細胞組織群體。人類大腦的神經細胞大約在約在10101111一一10101313個左右。神經細胞也稱神經元，是個左右。神經細胞也稱神經元，是神經系統(tǒng)的基本單元，它們按不同的結合方式構神經系統(tǒng)的基本單元，它們按不同的結合方式構成了復雜的神經網(wǎng)絡。通過神經元及其聯(lián)接的可成了復雜的神經網(wǎng)絡。通過神經元及其聯(lián)接的可塑性，使得大腦具有學習、記憶和

2、認知等各種智塑性，使得大腦具有學習、記憶和認知等各種智能。能。生物神經系統(tǒng)生物神經系統(tǒng)n生物神經元主要由以下幾個部分組成：生物神經元主要由以下幾個部分組成：n胞體，是神經細胞的本體胞體，是神經細胞的本體; ;n樹突樹突，用以接受來自其它細胞元的信號用以接受來自其它細胞元的信號; ;n軸突，用以輸出信號，與多個神經元連接軸突，用以輸出信號，與多個神經元連接; ;n突觸，是一個神經元與另一個神經元相聯(lián)系的特殊部突觸，是一個神經元與另一個神經元相聯(lián)系的特殊部位，通過神經元軸突的端部靠化學接觸和電接觸將信位，通過神經元軸突的端部靠化學接觸和電接觸將信號傳遞給下一個神經元的樹突或胞體。號傳遞給下一個神經

3、元的樹突或胞體。 生物神經元示意圖 生物神經元的基本工作機制生物神經元的基本工作機制 一個神經元有兩種狀態(tài)一個神經元有兩種狀態(tài)- -興奮和抑制。平時處于抑制興奮和抑制。平時處于抑制狀態(tài)的神經元，其樹突和胞體接受其它神經元經由突觸狀態(tài)的神經元，其樹突和胞體接受其它神經元經由突觸傳來的興奮電位，多個輸入在神經元中以代數(shù)和的方式傳來的興奮電位，多個輸入在神經元中以代數(shù)和的方式疊加；如輸入興奮總量超過閾值，神經元被激發(fā)進入興疊加；如輸入興奮總量超過閾值，神經元被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經元。元。一個神經元的興奮和抑制兩種狀

4、態(tài)是由細胞膜內外之間不同的電位差來表征的。一個神經元的興奮和抑制兩種狀態(tài)是由細胞膜內外之間不同的電位差來表征的。在抑制狀態(tài)，細胞膜內外之間有內負外正的電位差，這個電位差大約在在抑制狀態(tài)，細胞膜內外之間有內負外正的電位差，這個電位差大約在-50-100mv之間。在興奮狀態(tài)，則產生內正外負的相反電位差，這時表現(xiàn)為約之間。在興奮狀態(tài)，則產生內正外負的相反電位差，這時表現(xiàn)為約60100mv的電脈沖。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的電脈沖。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的興奮電脈沖寬度一般大約為的興奮電脈沖寬度一般大約為1ms。 生物神經特性生物神經特性(

5、1)(1)并行分布處理的工作模式并行分布處理的工作模式 實際上大腦中單個神經元的信息處理速度是很慢的，每次約實際上大腦中單個神經元的信息處理速度是很慢的，每次約1 1毫秒毫秒(ms)(ms)，比通常的電子門電路要慢幾個數(shù)量級。每個神經元的處理功，比通常的電子門電路要慢幾個數(shù)量級。每個神經元的處理功能也很有限，估計不會比計算機的一條指令更復雜。能也很有限，估計不會比計算機的一條指令更復雜。 但是人腦對某但是人腦對某一復雜過程的處理和反應卻很快，一般只需幾百毫秒。例如要判定一復雜過程的處理和反應卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需人眼看到的兩個圖形是否一樣，實

6、際上約需400ms400ms，而在這個處理過，而在這個處理過程中，與腦神經系統(tǒng)的一些主要功能，如視覺、記億、推理等有關。程中，與腦神經系統(tǒng)的一些主要功能，如視覺、記億、推理等有關。按照上述神經元的處理速度，如果采用串行工作模式，就必須在幾按照上述神經元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內完成，這實際上是不可能辦到的。因此只能把它看成百個串行步內完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經元所組成的超高密度的并行處理系統(tǒng)。例如在一是一個由眾多神經元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如張照片尋找一個

7、熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有的技術，是不可能在短時間內完成的。由用計算機來處理，以現(xiàn)有的技術，是不可能在短時間內完成的。由此可見，大腦信息處理的并行速度已達到了極高的程度此可見，大腦信息處理的并行速度已達到了極高的程度生物神經特性生物神經特性(2)(2)神經系統(tǒng)的可塑性和自組織性。神經系統(tǒng)的可塑性和自組織性。 神經系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程神經系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關。例如，人的幼年時期約在有關。例如，人的幼年時期約在9 9歲左右，學習語言的能歲左右，學習語言的能力十分強，說明在幼年時期，大腦的可塑性和柔軟性特別力十分

8、強，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接良好。從生理學的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經系統(tǒng)的自組織特性上。例狀態(tài)的變化，同時還表現(xiàn)在神經系統(tǒng)的自組織特性上。例如在某一外界信息反復刺激下接受該信息的神經細胞之如在某一外界信息反復刺激下接受該信息的神經細胞之間的突觸結合強度會增強。這種可塑性反映出大腦功能既間的突觸結合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓練和學習而得有先天的制約因素，也有可能通過后天的訓練和學習而得到加強。神經網(wǎng)絡的學習機制就是基于這種可塑性現(xiàn)象，到加強。神

9、經網(wǎng)絡的學習機制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結合強度來實現(xiàn)的。并通過修正突觸的結合強度來實現(xiàn)的。生物神經特性生物神經特性(3)(3)信息處理與信息存貯合二為一。信息處理與信息存貯合二為一。 大腦中的信息處理與信息存貯是有機結合在一起的，而不像現(xiàn)行計大腦中的信息處理與信息存貯是有機結合在一起的，而不像現(xiàn)行計算機那樣存貯地址和存貯內容是彼此分開的。由于大腦神經元兼有算機那樣存貯地址和存貯內容是彼此分開的。由于大腦神經元兼有信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址而后再調出所存內容的問題，而且還可以由一部分內

10、容恢復全部內容而后再調出所存內容的問題，而且還可以由一部分內容恢復全部內容. .(4)(4)信息處理的系統(tǒng)性信息處理的系統(tǒng)性 大腦是一個復雜的大規(guī)模信息處理系統(tǒng)，單個的元大腦是一個復雜的大規(guī)模信息處理系統(tǒng)，單個的元“神經元神經元”不能不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)些子系統(tǒng)可以調節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)就

11、存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調各種信息處理功能就存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調各種信息處理功能生物神經特性生物神經特性(5)(5)能接受和處理模糊的、模擬的、隨機的信息。能接受和處理模糊的、模擬的、隨機的信息。(6)(6)求滿意解而不是精確解求滿意解而不是精確解. .人類處理日常行為時，往往都不人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。題為原則，即求得滿意解就行了。(7)(7)系統(tǒng)具有魯棒性和容錯性系統(tǒng)具有魯棒性和容錯性人工神經網(wǎng)絡結構人工神經網(wǎng)絡結構n人工神經網(wǎng)絡人工神經網(wǎng)

12、絡n人工神經元模型人工神經元模型n常見響應函數(shù)常見響應函數(shù)n人工神經網(wǎng)絡典型結構人工神經網(wǎng)絡典型結構人工神經網(wǎng)絡的進展n初創(chuàng)階段（二十世紀四十年代至六十年代） n19431943年，美國心理學家W. S. MccullochW. S. Mcculloch和數(shù)理邏輯學家W. Pitts 合作，以數(shù)學邏輯為研究手段，探討了客觀事件在神經網(wǎng)絡的形式問題，在此基礎上提出了神經元的數(shù)學模型，即MP （Mcculloch-PittsMcculloch-Pitts）模型。 n 19601960年，威德羅和霍夫率先把神經網(wǎng)絡用于自動控制研究。n過度階段（二十世紀六十年代初至七十年代）n M. MinskyM.

13、 Minsky和S. PapertS. Papert經過多年的潛心研究,于19691969年出版了影響深遠的Perceptron一 書，從理論上證明了以單層感知機為代表的網(wǎng)絡系統(tǒng)在某些能力方面的局限性。 n 6060年代末期至8080年代中期，神經網(wǎng)絡控制與整個神經網(wǎng)絡研究一樣，處于低潮n高潮階段（二十世紀八十年代）n 19821982和19841984年，美國加州理工學院的生物物理學家，J. Hopfield在美國科學院院刊發(fā)表的兩篇文章，有力地推動了人工神經網(wǎng)絡的研究與應用，并引發(fā)了研究神經網(wǎng)絡的一次熱潮。 n 8080年代后期以來，隨著人工神經網(wǎng)絡研究的復蘇和發(fā)展，對神經網(wǎng)絡控制的研究也

14、十分活躍。 這方面的研究進展主要在神經網(wǎng)絡自適應控制和模糊神經網(wǎng)絡控制及其在機器人控制中的應用上n平穩(wěn)發(fā)展階段（二十世紀九十年代以后） 人工神經網(wǎng)絡的進展1.1.可以充分逼近任意復雜的非線性關系可以充分逼近任意復雜的非線性關系2. 2. 所有定量或定性的信息都等勢分布貯存于所有定量或定性的信息都等勢分布貯存于 網(wǎng)絡內的各神經網(wǎng)絡內的各神經元，故有很強的魯棒性和容錯性元，故有很強的魯棒性和容錯性3. 3. 采用并行分布處理方法，使得快速進行大量運算成為可能采用并行分布處理方法，使得快速進行大量運算成為可能4. 4. 可學習和自適應不知道或不確定的系統(tǒng)可學習和自適應不知道或不確定的系統(tǒng)5. 5.

15、能夠同時處理定量、定性知識。能夠同時處理定量、定性知識。6. 6. 可以通過軟件和硬件實現(xiàn)?？梢酝ㄟ^軟件和硬件實現(xiàn)。人工神經網(wǎng)絡的特性人工神經網(wǎng)絡人工神經網(wǎng)絡 n直觀理解直觀理解 神經網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡神經網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構結構它一般由大量神經元組成它一般由大量神經元組成n每個神經元只有一個輸出，可以連接到很多其他的每個神經元只有一個輸出，可以連接到很多其他的神經元神經元n每個神經元輸入有多個連接通道，每個連接通道對每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數(shù)應于一個連接權系數(shù) n概念概念人工神經網(wǎng)絡是反映人腦結構及功能的一種抽人工神經

16、網(wǎng)絡是反映人腦結構及功能的一種抽象數(shù)學模型，是由大量神經元節(jié)點互連而成的象數(shù)學模型，是由大量神經元節(jié)點互連而成的復雜網(wǎng)絡，用以模擬人類進行知識的表示與存復雜網(wǎng)絡，用以模擬人類進行知識的表示與存儲以及利用知識進行推理的行為。儲以及利用知識進行推理的行為。人工神經網(wǎng)絡（人工神經網(wǎng)絡（ANNANN）可以看成是以人工神經元）可以看成是以人工神經元為結點，用有向加權弧連接起來的有向圖。在為結點，用有向加權弧連接起來的有向圖。在此有向圖中此有向圖中，人工神經元人工神經元就是對就是對生物神經元生物神經元的的模擬，而模擬，而有向弧有向弧則是則是軸突軸突突觸突觸樹突樹突對的模對的模擬。有向弧的擬。有向弧的權值權

17、值表示相互連接的兩個人工神表示相互連接的兩個人工神經元間經元間相互作用的強弱相互作用的強弱。人工神經元模型 n通用模型通用模型n求和操作求和操作n激勵函數(shù)激勵函數(shù)f( )yf sn激勵函數(shù)的基本作用激勵函數(shù)的基本作用控制輸入對輸出的激活作用控制輸入對輸出的激活作用對輸入、輸出進行函數(shù)轉換對輸入、輸出進行函數(shù)轉換將可能無限域的輸入變換成指定的有限將可能無限域的輸入變換成指定的有限范圍內的輸出范圍內的輸出為輸出變換函數(shù)，也叫激勵函數(shù)，往往為輸出變換函數(shù)，也叫激勵函數(shù)，往往采用采用0 0、1 1二值函數(shù)或形函數(shù)，這三種函二值函數(shù)或形函數(shù)，這三種函數(shù)都是連續(xù)和非線性的，如下圖。數(shù)都是連續(xù)和非線性的，如

18、下圖。001,( )0,xxf xxxb. Sigmoidb. Sigmoid型激發(fā)函數(shù)稱為西格莫伊德（型激發(fā)函數(shù)稱為西格莫伊德（SigmoidSigmoid）函數(shù)，簡稱函數(shù)，簡稱S S型函數(shù)，其輸入輸出特性常用對數(shù)曲線型函數(shù)，其輸入輸出特性常用對數(shù)曲線或正切曲線等表示。這類曲線反映了神經元的飽和或正切曲線等表示。這類曲線反映了神經元的飽和特性。特性。S S型函數(shù)是最常用的激發(fā)函數(shù)，它便于應用梯型函數(shù)是最常用的激發(fā)函數(shù)，它便于應用梯度技術進行搜索求解。度技術進行搜索求解。1( ),0( )11axf xf xe閾值型閾值型對于這種模型，神經元沒有內部狀態(tài)，激發(fā)函數(shù)對于這種模型，神經元沒有內部狀

19、態(tài)，激發(fā)函數(shù) 為一階躍函數(shù)，如上圖（為一階躍函數(shù)，如上圖（a a）所示。這時，輸出為：）所示。這時，輸出為：1( ),1( )11axaxef xf xec. c. 雙曲正切函數(shù)（見圖（雙曲正切函數(shù)（見圖（c c）來取代常規(guī)形）來取代常規(guī)形函數(shù)，因為形函數(shù)的輸出均為正值，而雙曲正函數(shù)，因為形函數(shù)的輸出均為正值，而雙曲正切函數(shù)的輸出值可為正或負。雙曲正切函數(shù)如下切函數(shù)的輸出值可為正或負。雙曲正切函數(shù)如下式所示：式所示： 人工神經網(wǎng)絡結構人工神經網(wǎng)絡結構n人工神經網(wǎng)絡是具有下列特性的有向圖人工神經網(wǎng)絡是具有下列特性的有向圖 n 對于每個節(jié)點對于每個節(jié)點i i 存在一個狀態(tài)變量存在一個狀態(tài)變量x x

20、i i ； n從節(jié)點從節(jié)點j j 至節(jié)點至節(jié)點i ,i ,存在一個連接權系數(shù)存在一個連接權系數(shù)w wijij；n對于每個節(jié)點對于每個節(jié)點i i ，存在一個閾值，存在一個閾值 i i； n對于每個節(jié)點對于每個節(jié)點 i i ，定義一個變換函數(shù)，定義一個變換函數(shù)f fi i ；對于最一；對于最一般的情況，此函般的情況，此函 數(shù)取如下的形式數(shù)取如下的形式神經網(wǎng)絡的基本特性和結構n神經元的模型確定之后，一個神經網(wǎng)絡的神經元的模型確定之后，一個神經網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓撲結構及特性及能力主要取決于網(wǎng)絡的拓撲結構及學習方法學習方法n人工神經網(wǎng)絡連接的幾種基本形式人工神經網(wǎng)絡連接的幾種基本形式前向

21、網(wǎng)絡前向網(wǎng)絡 (a) (a) 從輸出到輸入有反饋的前向網(wǎng)絡從輸出到輸入有反饋的前向網(wǎng)絡 (b)(b)n用來存儲某種模式序列用來存儲某種模式序列層內互連前向網(wǎng)絡層內互連前向網(wǎng)絡 (c)(c)n限制層內同時動作的神經元；分類功能限制層內同時動作的神經元；分類功能相互結合型網(wǎng)絡相互結合型網(wǎng)絡 (d)(d) 人工神經網(wǎng)絡典型結構x1x2xny1y2ynx1x2xny1y2yna）b）x1x2xny1y2ynx1x2x3x4y1y2y3y4c）d）n人工神經網(wǎng)絡最具有吸引力的特點是它的人工神經網(wǎng)絡最具有吸引力的特點是它的學習能力。學習是神經網(wǎng)絡研究的一個重學習能力。學習是神經網(wǎng)絡研究的一個重要內容，神經

22、網(wǎng)絡的適應性是通過學習實要內容，神經網(wǎng)絡的適應性是通過學習實現(xiàn)的現(xiàn)的. .人工神經網(wǎng)絡的學習過程就是對它人工神經網(wǎng)絡的學習過程就是對它的訓練過程的訓練過程. . 神經網(wǎng)絡基本學習算法什么是學習？什么是學習？ 學習就是對信息進行編碼學習就是對信息進行編碼, ,其目的就是其目的就是通過向有限個例子（訓練樣本）的學習來通過向有限個例子（訓練樣本）的學習來找到隱藏在例子背后（即產生這些例子）找到隱藏在例子背后（即產生這些例子）的規(guī)律（如函數(shù)形式）。的規(guī)律（如函數(shù)形式）。 當樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時，系統(tǒng)會對當樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時，系統(tǒng)會對這些改變進行自適應或自組織的學習，在這些改變進行自適應或自組織的

23、學習，在神經網(wǎng)絡中表現(xiàn)為突觸的改變。神經網(wǎng)絡中表現(xiàn)為突觸的改變。 按突觸修正假說，神經網(wǎng)絡在拓撲結構按突觸修正假說，神經網(wǎng)絡在拓撲結構固定時，其學習歸結為連接權的變化。固定時，其學習歸結為連接權的變化。主要學習算法n神經網(wǎng)絡基本學習算法神經網(wǎng)絡基本學習算法分為：分為：有師學習（監(jiān)督學習）有師學習（監(jiān)督學習）無師學習（非監(jiān)督學習）無師學習（非監(jiān)督學習）強化學習強化學習n有師學習有師學習 有師（監(jiān)督）就是對每一個輸入有師（監(jiān)督）就是對每一個輸入Xi, 都假都假定我們已經知道它的期望輸出定我們已經知道它的期望輸出Yi,這個這個Yi可以可以理解為監(jiān)督信號，也叫理解為監(jiān)督信號，也叫“教師信號教師信號”。

24、對每。對每一個輸入一個輸入Xi及其對其估計的期望輸出及其對其估計的期望輸出Yi，就，就構成了一個訓練樣本。根據(jù)這若干組訓練樣構成了一個訓練樣本。根據(jù)這若干組訓練樣本本（Xi，Yi），），對人工神經網(wǎng)絡進行訓練，對人工神經網(wǎng)絡進行訓練，利用學習系統(tǒng)的誤差（利用學習系統(tǒng)的誤差（ 期望輸出與實際輸出期望輸出與實際輸出之差），不斷校正學習系統(tǒng)的行為（即突觸之差），不斷校正學習系統(tǒng)的行為（即突觸權值），直到誤差滿足要求，算法停止。有權值），直到誤差滿足要求，算法停止。有師學習算法主要有師學習算法主要有 規(guī)則、規(guī)則、BPBP算法、算法、LVQLVQ算算法等。法等。 其關鍵之處，就是將教師信號加入到了其關鍵

25、之處，就是將教師信號加入到了網(wǎng)絡中網(wǎng)絡中.n無師學習無師學習 無師學習不需要知道期望輸出。在訓練無師學習不需要知道期望輸出。在訓練過程中，只要向神經網(wǎng)絡提供輸入模式，神過程中，只要向神經網(wǎng)絡提供輸入模式，神經網(wǎng)絡就能夠自動地適應連接權，以便按照經網(wǎng)絡就能夠自動地適應連接權，以便按照相似特征把輸入模式分組聚集。無師學習算相似特征把輸入模式分組聚集。無師學習算法主要在自適應諧振理論法主要在自適應諧振理論ART等自組織競爭等自組織競爭型網(wǎng)絡中采用。型網(wǎng)絡中采用。n 強化學習強化學習 人類通常從與外界環(huán)境的交互中學習。人類通常從與外界環(huán)境的交互中學習。強化學強化學習技術是從控制理論、統(tǒng)計學、心理學等相

26、關學科習技術是從控制理論、統(tǒng)計學、心理學等相關學科發(fā)展而來，最早可以追溯到巴甫洛夫的條件反射實發(fā)展而來，最早可以追溯到巴甫洛夫的條件反射實驗。驗。所謂強化（所謂強化（reinforcement）學習是指從環(huán)境）學習是指從環(huán)境狀態(tài)到行為映射的學習，以使系統(tǒng)行為從環(huán)境中獲狀態(tài)到行為映射的學習，以使系統(tǒng)行為從環(huán)境中獲得的累積獎勵值最大。我們并沒有直接告訴主體要得的累積獎勵值最大。我們并沒有直接告訴主體要做什么或者要采取哪個動作做什么或者要采取哪個動作,而是主體通過看哪個動而是主體通過看哪個動作得到了最多的獎勵來自己發(fā)現(xiàn)。主體的動作的影作得到了最多的獎勵來自己發(fā)現(xiàn)。主體的動作的影響不只是立即得到的獎勵

27、，而且還影響接下來的動響不只是立即得到的獎勵，而且還影響接下來的動作和最終的獎勵。作和最終的獎勵。強化學習模型i: inputr: reward s: statea: action狀態(tài) sisi+1ri+1獎勵 ri行為行為 aia0a1a2s0s1s2s3基本原理是：如果主體的某個行為策略導基本原理是：如果主體的某個行為策略導致環(huán)境正的獎賞（強化信號），那么主體致環(huán)境正的獎賞（強化信號），那么主體以后產生這個行為策略的趨勢便會加強以后產生這個行為策略的趨勢便會加強. . n監(jiān)督學習與非監(jiān)督學習的區(qū)別：監(jiān)督學習與非監(jiān)督學習的區(qū)別： 在監(jiān)督學習中，假定我們知道每一輸入對應的在監(jiān)督學習中，假定我們

28、知道每一輸入對應的期望輸出，并利用學習系統(tǒng)的誤差，不斷校正系統(tǒng)期望輸出，并利用學習系統(tǒng)的誤差，不斷校正系統(tǒng)的行為；的行為； 在非監(jiān)督學習中，我們不知道學習系統(tǒng)的期望在非監(jiān)督學習中，我們不知道學習系統(tǒng)的期望輸出輸出。n監(jiān)督學習與強化學習的區(qū)別：監(jiān)督學習與強化學習的區(qū)別：p Supervised Learning Learn from examples provided by a knowledgable external supervisor.p Reinforcement Learning Learn from interaction learn from its own experience

29、, and the objective is to get as much reward as possible. The learner is not told which actions to take, but instead must discover which actions yield the most reward by trying them. 人工神經網(wǎng)絡基本模型1. MP1. MP模型模型 MPMP模型屬于一種閾值元件模型，它是由模型屬于一種閾值元件模型，它是由美國美國Mc CullochMc Culloch和和PittsPitts提出的最早神經元模提出的最早神經元模型之

30、一。型之一。MPMP模型是大多數(shù)神經網(wǎng)絡模型的模型是大多數(shù)神經網(wǎng)絡模型的基礎。基礎。 標準MP模型 njijjiivwu1)(iiufv w wij ij 代表神經元代表神經元i i與神經元與神經元j j之間的連接強度之間的連接強度( (模擬模擬生物神經元之間突觸連接強度生物神經元之間突觸連接強度) )，稱之為連接權；，稱之為連接權； u ui i代表神經元代表神經元i i的活躍值，即神經元狀態(tài)；的活躍值，即神經元狀態(tài)； v vj j代表神經元代表神經元j j的輸出，即是神經元的輸出，即是神經元i i的一個輸?shù)囊粋€輸入；入； i i代表神經元代表神經元i i的閾值。的閾值。 函數(shù)函數(shù)f f表達

31、了神經元的輸入輸出特性。在表達了神經元的輸入輸出特性。在MPMP模型模型中，中，f f定義為階躍函數(shù)：定義為階躍函數(shù)： 0,00,1iiiuuv 如果把閾值如果把閾值 i i看作為一個特殊的權值，看作為一個特殊的權值，則可改寫為則可改寫為: :其中，其中，w w0i 0i-i-i，v v0 01 1 為用連續(xù)型的函數(shù)表達神經元的非線性為用連續(xù)型的函數(shù)表達神經元的非線性變換能力，常采用變換能力，常采用s s型函數(shù)型函數(shù): :)(0jnjjiivwfviuieuf11)( MPMP模型在發(fā)表時并沒有給出一個學習算法來調整模型在發(fā)表時并沒有給出一個學習算法來調整神經元之間的連接權。但是，我們可以根據(jù)

32、需要，采神經元之間的連接權。但是，我們可以根據(jù)需要，采用一些常見的算法來調整神經元連接權，以達到學習用一些常見的算法來調整神經元連接權，以達到學習目的。下面介紹的目的。下面介紹的HebbHebb學習規(guī)則就是一個常見學習算學習規(guī)則就是一個常見學習算法。法。 HebbHebb學習規(guī)則學習規(guī)則 神經網(wǎng)絡具有學習功能。對于人工神經網(wǎng)絡而言，神經網(wǎng)絡具有學習功能。對于人工神經網(wǎng)絡而言，這種學習歸結為神經元連接權的變化。調整這種學習歸結為神經元連接權的變化。調整w wij ij的原則的原則為：若第為：若第i i和第和第j j個神經元同時處于興奮狀態(tài)，則它們個神經元同時處于興奮狀態(tài)，則它們之間的連接應當加強

33、，即：之間的連接應當加強，即： wwij ijuui iv vj j 這一規(guī)則與這一規(guī)則與“條件反射條件反射”學說一致，并已得到神經細學說一致，并已得到神經細胞學說的證實。胞學說的證實。 是表示學習速率的比例常數(shù)。是表示學習速率的比例常數(shù)。 2 2 感知器模型感知器模型 感知器是一種早期的神經網(wǎng)絡模型，由美國感知器是一種早期的神經網(wǎng)絡模型，由美國學者學者F.RosenblattF.Rosenblatt于于19571957年提出年提出. .感知器中第一感知器中第一次引入了學習的概念，使人腦所具備的學習次引入了學習的概念，使人腦所具備的學習功能在基于符號處理的數(shù)學到了一定程度的功能在基于符號處理的

34、數(shù)學到了一定程度的模擬，所以引起了廣泛的關注。模擬，所以引起了廣泛的關注。n 簡單感知器簡單感知器 簡單感知器模型實際上仍然是簡單感知器模型實際上仍然是MPMP模型的結模型的結構，但是它通過采用監(jiān)督學習來逐步增強模構，但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力，達到所謂學習的目的。式劃分的能力，達到所謂學習的目的。其結構如下圖所示其結構如下圖所示 感知器處理單元對感知器處理單元對n n個輸入進行加權和操作即：個輸入進行加權和操作即： 其中，其中，WWi i為第為第i i個輸入到處理單元的連接權值，個輸入到處理單元的連接權值， 為閾值。為閾值。 f f取階躍函數(shù)取階躍函數(shù). .)(0inii

35、ixwfv 感知器在形式上與感知器在形式上與MPMP模型差不多，它模型差不多，它們之間的區(qū)別在于神經元間連接權的變化。們之間的區(qū)別在于神經元間連接權的變化。感知器的連接權定義為可變的，這樣感知感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。利用簡單感知器就被賦予了學習的特性。利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。器可以實現(xiàn)邏輯代數(shù)中的一些運算。 Y=f(w Y=f(w1 1x x1 1+w+w2 2x x2 2-)-)(1)“(1)“與與”運算。當取運算。當取w w1 1w w2 21 1， 1.51.5時，上式完成邏輯時，上式完成邏輯“與與”的運算。的運算。 (2)“(2)

36、“或或”運算，運算， 當取當取w wl lw w2 21 1， 0.50.5時，上式完成時，上式完成邏輯邏輯“或或”的運算。的運算。(3)“(3)“非非”運算，運算， 當取當取w wl l=-1=-1，w w2 20 0， -1 -1時，完成邏時，完成邏輯輯“非非”的運算。的運算。 與許多代數(shù)方程一樣，上式也具有一與許多代數(shù)方程一樣，上式也具有一定的幾何意義。對于一個兩輸入的簡單定的幾何意義。對于一個兩輸入的簡單感知器，每個輸入取值為感知器，每個輸入取值為0 0和和1 1，如上面，如上面結出的邏輯運算，所有輸入樣本有四個，結出的邏輯運算，所有輸入樣本有四個，記為記為(x1(x1，x2)x2)：

37、(0 (0，0) 0)，(0 (0，1) 1)，(1 (1，0) 0)，(1 (1，1) 1)，構成了樣本輸入空間。例如，在，構成了樣本輸入空間。例如，在二維平面上，對于二維平面上，對于“或或”運算，各個樣運算，各個樣本的分布如下圖所示。本的分布如下圖所示。直線直線 1 1 * * x x1 1+1 +1 * * x x2 2 - 0.5 - 0.5 0 0將二維平面分為兩部分，上部為激發(fā)區(qū)將二維平面分為兩部分，上部為激發(fā)區(qū)(y (y，=1=1，用表示用表示) )，下部為抑制區(qū)，下部為抑制區(qū)(y (y0 0，用表示，用表示) )。 nRoseblattRoseblatt已經證明，如果兩類模式是

38、線性可已經證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），分的（指存在一個超平面將它們分開），則算法一定收斂則算法一定收斂. .n可以把感知器看作是可以把感知器看作是n n維實例空間（即點空維實例空間（即點空間）中的超平面決策面間）中的超平面決策面. .n對于超平面一側的實例，感知器輸出對于超平面一側的實例，感知器輸出1 1，對，對于另一側的實例，輸出于另一側的實例，輸出-1.-1.基于神經網(wǎng)絡的知識表示和推理基于神經網(wǎng)絡的知識表示和推理1 1、基于神經網(wǎng)絡的知識表示、基于神經網(wǎng)絡的知識表示 基于神經網(wǎng)絡系統(tǒng)中知識的表示方法與傳統(tǒng)人基于神經網(wǎng)絡系統(tǒng)中知識的表示方法與傳統(tǒng)人工智能系

39、統(tǒng)中所用的方法（如產生式、框架、語工智能系統(tǒng)中所用的方法（如產生式、框架、語義網(wǎng)絡等）完全不同，傳統(tǒng)人工智能系統(tǒng)中所用義網(wǎng)絡等）完全不同，傳統(tǒng)人工智能系統(tǒng)中所用的方法是知識的顯式表示，而神經網(wǎng)絡中的知識的方法是知識的顯式表示，而神經網(wǎng)絡中的知識表示是一種隱式的表示方法。在這里，知識并不表示是一種隱式的表示方法。在這里，知識并不像產生式系統(tǒng)中獨立地表示為每一條規(guī)則，而是像產生式系統(tǒng)中獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡中表示。將某一問題的若干知識在同一網(wǎng)絡中表示。n例如，在有些神經網(wǎng)絡系統(tǒng)中，知識是用神經網(wǎng)例如，在有些神經網(wǎng)絡系統(tǒng)中，知識是用神經網(wǎng)絡所對應有向權圖的鄰接矩陣

40、及閾值向量表示的。絡所對應有向權圖的鄰接矩陣及閾值向量表示的。如對下圖所示的異或邏輯的神經網(wǎng)絡來說，其鄰如對下圖所示的異或邏輯的神經網(wǎng)絡來說，其鄰接矩陣為：接矩陣為： 異或邏輯的神經網(wǎng)絡表示001.0041.0700001.1351.100000002.10200003.12100000 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0 如果用產生工規(guī)則描述，則該網(wǎng)絡代表下述如果用產生工規(guī)則描述，則該網(wǎng)絡代表下述的的4 4條規(guī)則：條規(guī)則：

41、 一般而言一般而言, ANN, ANN與經典計算方法相比并非優(yōu)越與經典計算方法相比并非優(yōu)越, , 只有當常規(guī)方只有當常規(guī)方法解決不了或效果不佳時法解決不了或效果不佳時ANNANN方法才能顯示出其優(yōu)越性。尤其對方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng)問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng), ,如故障診斷、如故障診斷、特征提取和預測等問題特征提取和預測等問題, ANN, ANN往往是最有利的工具。另一方面往往是最有利的工具。另一方面, , ANNANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題, , 表現(xiàn)表現(xiàn)

42、出極大的靈活性和自適應性。出極大的靈活性和自適應性。細胞體突觸軸突樹突圖12.2 生物神經元功能模型輸入輸出信息處理電脈沖形成傳輸黑箱 下面討論一個用于醫(yī)療診斷的例子。假設系統(tǒng)的下面討論一個用于醫(yī)療診斷的例子。假設系統(tǒng)的診斷模型只有六種癥狀、兩種疾病、三種治療方案。診斷模型只有六種癥狀、兩種疾病、三種治療方案。對網(wǎng)絡訓練樣本是選擇一批合適的病人并從病歷中對網(wǎng)絡訓練樣本是選擇一批合適的病人并從病歷中采集如下信息：采集如下信息：（1 1）癥狀：對每一癥狀只采集有、無及沒有記）癥狀：對每一癥狀只采集有、無及沒有記錄這三種信息。錄這三種信息。（2 2）疾?。簩γ恳患膊∫仓徊杉?、無及沒有）疾?。簩γ恳?/p>

43、疾病也只采集有、無及沒有記錄這三種信息。記錄這三種信息。（3 3）治療方案：對每一治療方案只采集是否采）治療方案：對每一治療方案只采集是否采用這兩種信息。用這兩種信息。n其中，對其中，對“有有”、“無無”、“沒有記錄沒有記錄”分別用分別用+1+1，-1 -1，0 0表示。這樣對每一個病人就可以構成一個訓練表示。這樣對每一個病人就可以構成一個訓練樣本。樣本。n假設根據(jù)癥狀、疾病及治療方案間的因果關系以及假設根據(jù)癥狀、疾病及治療方案間的因果關系以及通過訓練本對網(wǎng)絡的訓練得到了下圖所示的神經網(wǎng)通過訓練本對網(wǎng)絡的訓練得到了下圖所示的神經網(wǎng)絡。絡。n其中其中,x ,x1 1,x ,x2 2, , ，x x6 6 為癥狀；為癥狀；x x7 7, x, x8 8 為疾病名；為疾病名； x x9 9, x, x1010, , x x1111為治療方案；為治療方案；x xa a, x, xb b, x, xc c是附加層，這是由是附加層，這是由 于學習于學習算法的需要算法的需要 而增加的。在此網(wǎng)絡中，而增加的。在此網(wǎng)絡中， x x1 1，x x2 2, , ， x x6 6是輸入層；是輸入層； x x9 9, x, x1010,x ,x1111是輸出層；兩者之間以疾病是輸出層；兩者之間以疾病名作為中間層。名作為中間層。一個醫(yī)療診斷系統(tǒng)