人工神經(jīng)網(wǎng)絡(luò)講稿

1、主要內(nèi)容主要內(nèi)容多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄈ斯ど窠?jīng)元網(wǎng)絡(luò)人工神經(jīng)元網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 生物神經(jīng)元生物神經(jīng)元引言引言1、引言、引言工業(yè)革命以來，人類大量采用機(jī)器來減輕人們的體力工業(yè)革命以來，人類大量采用機(jī)器來減輕人們的體力勞動，并獲得巨大效益。同樣，人類為了通過使用某勞動，并獲得巨大效益。同樣，人類為了通過使用某種機(jī)器來減輕腦力勞動，也一直進(jìn)行著不懈努力。種機(jī)器來減輕腦力勞動，也一直進(jìn)行著不懈努力。20世紀(jì)世紀(jì)40年代，由于計算機(jī)的發(fā)明和使用，使人類的文明年代，由于計算機(jī)的發(fā)明和使用，使人類的文明進(jìn)入計算機(jī)時代，在一定程度上減輕了人們的腦力勞動進(jìn)入

2、計算機(jī)時代，在一定程度上減輕了人們的腦力勞動神經(jīng)元網(wǎng)絡(luò)作為人工智能的一個分支，在神經(jīng)元網(wǎng)絡(luò)作為人工智能的一個分支，在近幾十年來，受到人們的廣泛重視。近幾十年來，受到人們的廣泛重視。智能計算的核心問題是關(guān)于人腦功能的模擬問題。目前認(rèn)為，人類智能計算的核心問題是關(guān)于人腦功能的模擬問題。目前認(rèn)為，人類的大腦中的神經(jīng)元對于人腦的智能起著關(guān)鍵的作用，這些神經(jīng)元的的大腦中的神經(jīng)元對于人腦的智能起著關(guān)鍵的作用，這些神經(jīng)元的數(shù)量非常多，組成了十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)。數(shù)量非常多，組成了十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)。 1、引言、引言智能的定義眾所周知人類是具有智能的，因?yàn)槿祟惸軌蛴洃浭挛?，能夠有目地進(jìn)行一些活動，能夠通過學(xué)習(xí)獲

3、得知識，并能在后續(xù)的學(xué)習(xí)中不斷地豐富知識，還有一定的能力運(yùn)用這些知識去探索未知的東西，去發(fā)現(xiàn)、去創(chuàng)新。粗略地講，智能智能是個體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。也可以說，智能是個體認(rèn)識客觀事物和運(yùn)用知識解決問題的能力。1、引言、引言感知和認(rèn)識感知和認(rèn)識客觀事物、客觀世界和自我的能力客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)感知是智能的基礎(chǔ)最基本的能力最基本的能力通過通過學(xué)習(xí)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識的能力取得經(jīng)驗(yàn)與積累知識的能力這是人類在世界中能夠不斷發(fā)展的最基本能力這是人類在世界中能夠不斷發(fā)展的最基本能力聯(lián)想、推理、判斷、決策語言的能力聯(lián)想、推理、判斷、決策語言的能力理

4、解理解知識，知識，運(yùn)用運(yùn)用知識和經(jīng)驗(yàn)知識和經(jīng)驗(yàn)分析分析、解決解決問題的能力問題的能力這一能力可以算作是智能的高級形式這一能力可以算作是智能的高級形式是人類對世界進(jìn)行適當(dāng)改造、推動社會不斷發(fā)展的能力是人類對世界進(jìn)行適當(dāng)改造、推動社會不斷發(fā)展的能力這是智能高級形式的又一方面這是智能高級形式的又一方面主動與被動之分。聯(lián)想、推理、判斷、決策的能力是主動的基礎(chǔ)。主動與被動之分。聯(lián)想、推理、判斷、決策的能力是主動的基礎(chǔ)。按照上面的描述，人類個體的智能是一種綜合能力。具體來講，可以包按照上面的描述，人類個體的智能是一種綜合能力。具體來講，可以包括一下八個方面的能力：括一下八個方面的能力：1、引言、引言通過通

5、過學(xué)習(xí)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識的能力取得經(jīng)驗(yàn)與積累知識的能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力實(shí)時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力實(shí)時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力預(yù)測，洞察事物發(fā)展、變化的能力預(yù)測，洞察事物發(fā)展、變化的能力人工智能的定義人工智能的定義人工智能（人工智能（Artificial Intelligence，AI）最初是在）最初是在1956年被引入的。它研究怎樣讓計算機(jī)模仿人腦從事推理、年被引入的。它研究怎樣讓計算機(jī)模仿人腦從事推理、設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題，設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題，簡單地來說，人工智能就

6、是研究如何讓計算機(jī)模仿人腦進(jìn)行簡單地來說，人工智能就是研究如何讓計算機(jī)模仿人腦進(jìn)行工作。工作。2、生物神經(jīng)元、生物神經(jīng)元 圖圖2-1 神經(jīng)元的解剖神經(jīng)元的解剖在人體內(nèi)，神經(jīng)元的結(jié)在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非是完全相同構(gòu)形式并非是完全相同的；但是，無論結(jié)構(gòu)形的；但是，無論結(jié)構(gòu)形式如何，神經(jīng)元都是式如何，神經(jīng)元都是 由一些基本的成份組成由一些基本的成份組成的。的。從圖中從圖中 可以看出：神可以看出：神經(jīng)元是由細(xì)胞體，樹突經(jīng)元是由細(xì)胞體，樹突和軸突三部分組成和軸突三部分組成2、生物神經(jīng)元、生物神經(jīng)元突觸，是一個神經(jīng)元與另一突觸，是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進(jìn)行個神經(jīng)元之間相聯(lián)系并進(jìn)行信息

7、傳送的結(jié)構(gòu)。信息傳送的結(jié)構(gòu)。突觸的存在說明：兩個神經(jīng)突觸的存在說明：兩個神經(jīng)元的細(xì)胞質(zhì)并不直接連通，元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時也把種結(jié)構(gòu)接口的。有時也把突觸看作是神經(jīng)元之間的連突觸看作是神經(jīng)元之間的連 接。接。 圖圖2-2 突觸結(jié)構(gòu)突觸結(jié)構(gòu)2生物神經(jīng)元生物神經(jīng)元 目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸有4種不同的行為。神經(jīng)元的4種生物行為有： u 能處于抑制或興奮狀態(tài)能處于抑制或興奮狀態(tài)；u 能產(chǎn)生爆發(fā)和平臺兩種情況能產(chǎn)生爆發(fā)和平臺兩種情況u 能產(chǎn)生抑制后的反沖能產(chǎn)生抑制后的反沖u 具有適應(yīng)性。具有適應(yīng)性。 突觸的

8、4種生物行為有：u 能進(jìn)行信息綜合能進(jìn)行信息綜合u 能產(chǎn)生漸次變化的傳送能產(chǎn)生漸次變化的傳送u 有電接觸和化學(xué)接觸等多種連接方式有電接觸和化學(xué)接觸等多種連接方式u 會產(chǎn)生延時激發(fā)。會產(chǎn)生延時激發(fā)。 目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬，其它行為尚未考慮。 2生物神經(jīng)元生物神經(jīng)元2.1神經(jīng)元的興奮與抑制神經(jīng)元的興奮與抑制 2.2神經(jīng)元的信息傳遞及閥值特性神經(jīng)元的信息傳遞及閥值特性2.3神經(jīng)元的信息綜合特性神經(jīng)元的信息綜合特性圖2-3.神經(jīng)元的興奮過程電位變化3神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 iiWWO()f( )iiiiXXOfW X輸入權(quán)值，表示連接強(qiáng)

9、度激活值閾值輸出式中表示激活函數(shù)或輸出函數(shù)從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處理單元，而且，它對信息多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個簡單的數(shù)學(xué)模型。可以把神經(jīng)元抽象為一個簡單的數(shù)學(xué)模型。v9、 人的價值，在招收誘惑的一瞬間被決定。人的價值，在招收誘惑的一瞬間被決定。2022-3-62022-3-6Sunday, March 06, 2022v10、低頭要有勇氣，抬頭要有低氣。、低頭要有勇氣，抬頭要有低氣。2022

10、-3-62022-3-62022-3-63/6/2022 8:05:19 PMv11、人總是珍惜為得到。、人總是珍惜為得到。2022-3-62022-3-62022-3-6Mar-226-Mar-22v12、人亂于心，不寬余請。、人亂于心，不寬余請。2022-3-62022-3-62022-3-6Sunday, March 06, 2022v13、生氣是拿別人做錯的事來懲罰自己。、生氣是拿別人做錯的事來懲罰自己。2022-3-62022-3-62022-3-62022-3-63/6/2022v14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2022年年3月月6日星期日日星期日2

11、022-3-62022-3-62022-3-6v15、一個人炫耀什么，說明他內(nèi)心缺少什么。、一個人炫耀什么，說明他內(nèi)心缺少什么。2022年年3月月2022-3-62022-3-62022-3-63/6/2022v16、業(yè)余生活要有意義，不要越軌。、業(yè)余生活要有意義，不要越軌。2022-3-62022-3-6March 6, 2022v17、一個人即使已登上頂峰，也仍要自強(qiáng)不息。、一個人即使已登上頂峰，也仍要自強(qiáng)不息。2022-3-62022-3-62022-3-62022-3-63神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型vW權(quán)矢量（權(quán)矢量（weight vector）vX輸入矢量（輸入矢量（input

12、 vector）12nWWWW12nXXXX()activation functionTf W X 激活函數(shù)（）()TnetW Xf net設(shè)是權(quán)與輸入的矢量積（標(biāo)量）這樣激活函數(shù)可以寫成 ，這里為了表達(dá)簡單沒有寫出閾值3神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 比較常用的是激活函數(shù)可歸結(jié)為三種比較常用的是激活函數(shù)可歸結(jié)為三種形式：閥值型、形式：閥值型、S型和線性型。型和線性型。10()00netf netnet10()10netf netnet激活函數(shù)：激活函數(shù)：閾值型：閾值型：3神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型 S型（型（Sigmoid）激活函數(shù)）激活函數(shù)S 2()1,() (0,1)1 exp(

13、)f netf netnet單 極 型 型 激 活 函 數(shù) ：S 2(),()( 1,1)1 exp()f netf netnet 雙 極 型 型 激 活 函 數(shù)：3神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型線性型激活函數(shù)線性型激活函數(shù)()f netnet神經(jīng)元的特點(diǎn)：神經(jīng)元的特點(diǎn)：u是一多輸入、單輸出元件是一多輸入、單輸出元件u具有非線性的輸入輸出特性具有非線性的輸入輸出特性u具有可塑性，其塑性變化的變化部分主要是權(quán)值（具有可塑性，其塑性變化的變化部分主要是權(quán)值（Wi）的變）的變 化，這相當(dāng)于生物神經(jīng)元的突觸變化部分化，這相當(dāng)于生物神經(jīng)元的突觸變化部分u神經(jīng)元的輸出響應(yīng)是各個輸入值的綜合作用結(jié)果神經(jīng)元

14、的輸出響應(yīng)是各個輸入值的綜合作用結(jié)果u輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network ANN）是對人類大腦系統(tǒng)的一階特性的一種描述，簡單地講，它是對人類大腦系統(tǒng)的一階特性的一種描述，簡單地講，它是一個數(shù)學(xué)模型可以用電子線路來實(shí)現(xiàn)也可以用計算是一個數(shù)學(xué)模型可以用電子線路來實(shí)現(xiàn)也可以用計算機(jī)程序來模擬，是人工智能研究的一種方法。機(jī)程序來模擬，是人工智能研究的一種方法。 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出：u信息的分布表示信息的分布表示u運(yùn)算的全局并

15、行和局部操作運(yùn)算的全局并行和局部操作u處理的非線性處理的非線性人工神經(jīng)網(wǎng)絡(luò)的三大特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的三大特點(diǎn)：人工神經(jīng)網(wǎng)絡(luò)的定義人工神經(jīng)網(wǎng)絡(luò)的定義： 人工神經(jīng)網(wǎng)絡(luò)是一個人工神經(jīng)網(wǎng)絡(luò)是一個并行，分布處理結(jié)構(gòu)并行，分布處理結(jié)構(gòu)，它由處理單元及稱為聯(lián)接，它由處理單元及稱為聯(lián)接的無向信號通道互連而成。這些處理單元的無向信號通道互連而成。這些處理單元(PEProcessing Element)具有局部內(nèi)存，并可以完成局部操作、每個處理單元有一個單具有局部內(nèi)存，并可以完成局部操作、每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分支成希望個數(shù)的許多并行聯(lián)接，一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分支成

16、希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出且這些并行聯(lián)接都輸出相同的信號相同的信號，即相應(yīng)處理單元的信號，信號的大小，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化，處理單元的輸出信號可以是不因分支的多少而變化，處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型任何需要的數(shù)學(xué)模型，每個處理單元中進(jìn)行的操作必須是每個處理單元中進(jìn)行的操作必須是完全局部的完全局部的。也就是說，它必須僅僅依。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。元局部內(nèi)存中的值。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)

17、絡(luò)4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò) 按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò) 按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)確定型網(wǎng)絡(luò) 按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)關(guān)聯(lián)網(wǎng)絡(luò) 按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模

18、型和智能型組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。模型。人工神經(jīng)網(wǎng)絡(luò)的分類人工神經(jīng)網(wǎng)絡(luò)的分類：4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)第一種：前饋網(wǎng)絡(luò)（第一種：前饋網(wǎng)絡(luò)（Feedforward Network）1212ij1,Wijiji(1,2,)( )( )TnTmniijjjXXXXOO OOnetW XimOWXO tWX t 輸入矢量：輸出矢量：表示神經(jīng)元 與 之間的連接權(quán)， 為目的神經(jīng)元， 為源神經(jīng)元第 個神經(jīng)元的激活值為：經(jīng)非線性映射可得到神經(jīng)元的輸出：下面介紹幾種常見的神經(jīng)網(wǎng)絡(luò)。下面介紹幾種常見的神經(jīng)網(wǎng)絡(luò)。 表示一個非線性激活函數(shù)，每個神經(jīng)元的激活函表示一個非線性激活函數(shù)，

19、每個神經(jīng)元的激活函數(shù)是算子的分量，激活函數(shù)是標(biāo)量，是輸入矢量數(shù)是算子的分量，激活函數(shù)是標(biāo)量，是輸入矢量和權(quán)矢量之積。和權(quán)矢量之積。 前饋網(wǎng)絡(luò)沒有反饋，可以連成多層網(wǎng)，前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)沒有反饋，可以連成多層網(wǎng)，前饋網(wǎng)絡(luò)通常是有教師提供信息，提供期望值，可以從誤通常是有教師提供信息，提供期望值，可以從誤差信號來修正權(quán)值，直到誤差小于允許范圍。差信號來修正權(quán)值，直到誤差小于允許范圍。( )00111210( )02122200( )11fWWW nfWWW nWfWmWmWmn其中：算子，權(quán)矩陣：( )f4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 對于輸入對于輸入X（t）僅在初始時刻不為零的情況，這種網(wǎng)）僅在初始

20、時刻不為零的情況，這種網(wǎng)絡(luò)也可以保持有輸出信號。所以絡(luò)也可以保持有輸出信號。所以 ，即，即 在在t0時，輸入可以取消或被系統(tǒng)自動保持。如果我時，輸入可以取消或被系統(tǒng)自動保持。如果我們這里只考慮們這里只考慮 ，則在，則在t0時，沒有輸入的情時，沒有輸入的情況，可將下一時刻的輸出寫成：況，可將下一時刻的輸出寫成： ，為，為方便起見，也可將網(wǎng)絡(luò)的輸出狀態(tài)表示成：方便起見，也可將網(wǎng)絡(luò)的輸出狀態(tài)表示成： (0)(0)OX(0)0X()( )O ttFWO t 1(1,2,3,)kkOF WOk第二種：反饋網(wǎng)絡(luò)第二種：反饋網(wǎng)絡(luò)4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)第三種：相互結(jié)合型網(wǎng)絡(luò)第三種：相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)

21、合型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，它是網(wǎng)狀結(jié)構(gòu)相互結(jié)合型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，它是網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，構(gòu)成網(wǎng)絡(luò)中的各個神經(jīng)元都可能相互雙相網(wǎng)絡(luò)，構(gòu)成網(wǎng)絡(luò)中的各個神經(jīng)元都可能相互雙相聯(lián)接，所有的神經(jīng)元即作輸入，同時也用輸出。聯(lián)接，所有的神經(jīng)元即作輸入，同時也用輸出。這種網(wǎng)絡(luò)如果在某一時刻從外部加一個輸入信號，這種網(wǎng)絡(luò)如果在某一時刻從外部加一個輸入信號，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到收斂于某個穩(wěn)定值為止。直到收斂于某個穩(wěn)定值為止。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)第四種：混合型網(wǎng)絡(luò)第四種：混合型網(wǎng)絡(luò) 前面所講的前饋網(wǎng)絡(luò)和上述的相互結(jié)合型網(wǎng)絡(luò)分前面所講的前饋網(wǎng)絡(luò)和上

22、述的相互結(jié)合型網(wǎng)絡(luò)分別是典型的層狀解構(gòu)網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，介于別是典型的層狀解構(gòu)網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，介于兩種網(wǎng)絡(luò)中間的一種連接方式，如圖所示：它是兩種網(wǎng)絡(luò)中間的一種連接方式，如圖所示：它是在前饋網(wǎng)絡(luò)的同一層間各神經(jīng)元又有互聯(lián)的結(jié)構(gòu)，在前饋網(wǎng)絡(luò)的同一層間各神經(jīng)元又有互聯(lián)的結(jié)構(gòu)，所以稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)互聯(lián)的目所以稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)互聯(lián)的目的是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制的數(shù)的是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制的數(shù)目，已完成特定功能。例如：視網(wǎng)膜的神經(jīng)元網(wǎng)目，已完成特定功能。例如：視網(wǎng)膜的神經(jīng)元網(wǎng)絡(luò)就有許多這種連接形式。絡(luò)就有許多這種連接形式。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)

23、網(wǎng)絡(luò)學(xué)習(xí)是神經(jīng)系統(tǒng)的本能，人的神經(jīng)系統(tǒng)是最發(fā)達(dá)的，所以人的學(xué)習(xí)能力也最強(qiáng)。模仿人的學(xué)習(xí)過程人們提出多種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。u有教師學(xué)習(xí)u無教師學(xué)習(xí)4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程：4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)211()QMkjkjkjyyEMQ關(guān)于綜合誤差有各種不同的定義，但本質(zhì)上都是一致的。這里介紹兩種：關(guān)于綜合誤差有各種不同的定義，但本質(zhì)上都是一致的。這里介紹兩種：第一種：均方根標(biāo)準(zhǔn)誤差（第一種：均方根標(biāo)準(zhǔn)誤差（Root-mean-square normalized error, RMS誤差誤差）式中：式中： 模式模式k第第j個輸出單元的期望值；個輸出單元的

24、期望值； 模式模式k第第j個輸出單元的實(shí)際值；個輸出單元的實(shí)際值； M樣本模式對個數(shù)；樣本模式對個數(shù)； Q輸出單元個數(shù)。輸出單元個數(shù)。kjykjy第二種：誤差平方和第二種：誤差平方和式中：式中：M樣本模式對個數(shù)；樣本模式對個數(shù)；Q輸出單元個數(shù)。輸出單元個數(shù)。2111()2QkkjkjjMkkEyyEE神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 神經(jīng)元網(wǎng)絡(luò)的最大特點(diǎn)就是它具有神經(jīng)元網(wǎng)絡(luò)的最大特點(diǎn)就是它具有學(xué)習(xí)的能力學(xué)習(xí)的能力，在學(xué)習(xí)，在學(xué)習(xí)過程中，主要是網(wǎng)絡(luò)的連接權(quán)的值產(chǎn)生了相應(yīng)的變化，學(xué)過程中，主要是網(wǎng)絡(luò)的連接權(quán)的值產(chǎn)生了相應(yīng)的變化，學(xué)習(xí)到的內(nèi)容也是記憶在連接權(quán)之中。習(xí)到的內(nèi)容也是記憶在連接權(quán)之

25、中。 (,)iirr W X d令為令為Wij第第i個神經(jīng)元的第個神經(jīng)元的第j個輸入連接權(quán)，這個輸入可以是個輸入連接權(quán)，這個輸入可以是外來的輸入信號，也可以試來自其他神經(jīng)元的輸出。學(xué)習(xí)信外來的輸入信號，也可以試來自其他神經(jīng)元的輸出。學(xué)習(xí)信號號r是是Wi和和X的函數(shù)，有時也包括教師信號的函數(shù)，有時也包括教師信號di，所以有，所以有權(quán)矢量的變化是由學(xué)習(xí)步驟按時間權(quán)矢量的變化是由學(xué)習(xí)步驟按時間t，t+1，一步一步進(jìn)行計算的。在，一步一步進(jìn)行計算的。在時刻時刻t連接權(quán)的變化量為：連接權(quán)的變化量為：( )( ),( ),( )( )iiiiW tcr W tX t d t X t其中其中c是一個正數(shù)，稱

26、為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。是一個正數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則離散學(xué)習(xí)步驟可寫成：離散學(xué)習(xí)步驟可寫成：1,kkkkkkiiiiWWcr WXdX(1)( )( ),( ),( )( )iiiiiW tW tcr W tX t d t X t從時刻從時刻t到下一個時刻（到下一個時刻（t+1），連接權(quán)按下式計算），連接權(quán)按下式計算:其中其中c是一個正的常數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。是一個正的常數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則權(quán)分量用下式調(diào)整：權(quán)分量用下式調(diào)整：或或 abWab()()TiTiirf W XWcf W X

27、 X()TijijWcf W X X(1,2, )ijijWcO Xjn當(dāng)兩個神經(jīng)元同時興奮時，突觸的傳遞效率加強(qiáng)，那么在人工神經(jīng)網(wǎng)絡(luò)當(dāng)兩個神經(jīng)元同時興奮時，突觸的傳遞效率加強(qiáng)，那么在人工神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為連接權(quán)的增加。以中就表現(xiàn)為連接權(quán)的增加。以a表示神經(jīng)元表示神經(jīng)元A的激活值（輸出），的激活值（輸出），b表示表示神經(jīng)元神經(jīng)元B的激活值，的激活值，Wab表示兩個神經(jīng)元的連接權(quán)，則表示兩個神經(jīng)元的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則的數(shù)學(xué)表達(dá)式為：的數(shù)學(xué)表達(dá)式為：根據(jù)根據(jù)Hebb學(xué)習(xí)規(guī)則，學(xué)習(xí)信號學(xué)習(xí)規(guī)則，學(xué)習(xí)信號r等于神經(jīng)元的輸出：等于神經(jīng)元的輸出：感知機(jī)（感知機(jī)（Perceptron）學(xué)習(xí)規(guī)

28、則）學(xué)習(xí)規(guī)則這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號是期望值與神經(jīng)這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號是期望值與神經(jīng)元實(shí)際響應(yīng)之差學(xué)習(xí)規(guī)則如下圖所示。元實(shí)際響應(yīng)之差學(xué)習(xí)規(guī)則如下圖所示。sgn()sgn()sgn()(1,2, )iiTiiTiiijTiiijrdOOW XWcdW X XWcdW X Xjn注意：這個規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。注意：這個規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。感知機(jī)（感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則）學(xué)習(xí)規(guī)則在這一規(guī)則下，在這一規(guī)則下，Oi僅當(dāng)不正確的情況下才進(jìn)行權(quán)調(diào)整，誤差僅當(dāng)不正確的情況下才進(jìn)行權(quán)調(diào)整，誤差是學(xué)習(xí)的必要條件。由于期望值（是學(xué)習(xí)的必要條件。由于期望值（di

29、）與響應(yīng)值（）與響應(yīng)值（ Oi ）均為均為+1或者或者-1，所以權(quán)調(diào)整量為：，所以權(quán)調(diào)整量為：2iWcX 1 sgn()1TiidW X ，1 sgn()1TiidW X ，sgn()TiidW X這里這里“”號，號，“”號，號，當(dāng)當(dāng)權(quán)值無變化。初始權(quán)可為任意值。權(quán)值無變化。初始權(quán)可為任意值。Delta學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。學(xué)習(xí)信號為：學(xué)習(xí)信號為： ()()TTiiirdf W Xf W X()()TTiif W Xf netnetW X是激活函數(shù)對的導(dǎo)數(shù)221()21()2iiTiiEdOEdf W X21()

30、()2TiiiEdOf W X X 誤差梯度矢量：誤差梯度矢量：這個學(xué)習(xí)規(guī)則可從這個學(xué)習(xí)規(guī)則可從Oi與與di最小方差得出。最小方差得出。方差：方差：Delta學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則這個規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行的，可以稱為連續(xù)感知器訓(xùn)練這個規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行的，可以稱為連續(xù)感知器訓(xùn)練規(guī)則，它可以進(jìn)一步推廣到多層。規(guī)則，它可以進(jìn)一步推廣到多層。一般要求一般要求c取較小的值，是在權(quán)空間，按負(fù)的方向轉(zhuǎn)動權(quán)矢量。取較小的值，是在權(quán)空間，按負(fù)的方向轉(zhuǎn)動權(quán)矢量。()()(1,2, )TiiijijEdO f W X XjnW iWc E 2()()iiiiWc dOfnet XTiinetW

31、 X2()()(1,2, )ijiiijWc dOfnet Xjn梯度矢量分量：梯度矢量分量：由于最小誤差要求權(quán)變換是負(fù)梯度方向，所以取式由于最小誤差要求權(quán)變換是負(fù)梯度方向，所以取式中中c正常數(shù)。正常數(shù)。神經(jīng)元網(wǎng)絡(luò)的工作過程：神經(jīng)元網(wǎng)絡(luò)的工作過程：這里主要介紹兩種最常用的形式：這里主要介紹兩種最常用的形式：第一種：回想（第一種：回想（recall） 自動聯(lián)想自動聯(lián)想 異聯(lián)想異聯(lián)想第二種：分類（第二種：分類（classification）異聯(lián)想的一種特殊情況異聯(lián)想的一種特殊情況識別識別自動聯(lián)想過程自動聯(lián)想過程 異聯(lián)想過程異聯(lián)想過程分類過程分類過程 識別過程識別過程5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ?/p>

32、層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲誤差逆?zhèn)鞑バＵ椒ㄊ抢脤?shí)際輸出與期望輸出誤差逆?zhèn)鞑バＵ椒ㄊ抢脤?shí)際輸出與期望輸出之差對網(wǎng)絡(luò)的各層連接權(quán)由后向前進(jìn)行校正的一之差對網(wǎng)絡(luò)的各層連接權(quán)由后向前進(jìn)行校正的一種計算方法。理論上講，這種方法可以適用于任種計算方法。理論上講，這種方法可以適用于任意多層的網(wǎng)絡(luò)。意多層的網(wǎng)絡(luò)。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲ 為計算方便，我們首先把網(wǎng)絡(luò)的變量設(shè)置如下：為計算方便，我們首先把網(wǎng)絡(luò)的變量設(shè)置如下：v 輸入模式向量：輸入模式向量：v 希望輸出向量：希望輸出向量： v 中間層各單元輸入激活值向量：中間層各單元輸入激活值向量：v 中間層各單元輸出

33、向量：中間層各單元輸出向量：v 輸出層各單元輸入激活值向量：輸出層各單元輸入激活值向量：v 輸出實(shí)際值向量：輸出實(shí)際值向量：v 輸入層至中間層的連接權(quán)：輸入層至中間層的連接權(quán)：v 中間層至輸出層的連接權(quán)：中間層至輸出層的連接權(quán)：v 中間層各單元的閾值：中間層各單元的閾值：v 輸出層各單元的閾值：輸出層各單元的閾值：v 其中其中12,kkkknAaaa12,kkkkqYyyy12,kkkkpSsss12,kkkkpBbbb12,kkkkqLlll12,kkkkqCcccijWjtVjt1,2, ;1,2, ;1,2, ;1,2,in jp tq km5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆

34、傳播校正方法v 激活函數(shù)才用激活函數(shù)才用S型函數(shù)：型函數(shù)：v 激活函數(shù)的導(dǎo)數(shù)為：激活函數(shù)的導(dǎo)數(shù)為：v 這里的學(xué)習(xí)規(guī)則實(shí)際上是一種這里的學(xué)習(xí)規(guī)則實(shí)際上是一種Delta學(xué)習(xí)規(guī)則，即利用誤學(xué)習(xí)規(guī)則，即利用誤差的負(fù)梯度來調(diào)整連接權(quán)，使其輸出誤差單調(diào)減少。利用差的負(fù)梯度來調(diào)整連接權(quán)，使其輸出誤差單調(diào)減少。利用Delta學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)的梯度，因此有以學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)的梯度，因此有以下推導(dǎo)過程：下推導(dǎo)過程：v 對第對第k個學(xué)習(xí)模式，網(wǎng)絡(luò)的希望輸出與實(shí)際輸出的偏差設(shè)個學(xué)習(xí)模式，網(wǎng)絡(luò)的希望輸出與實(shí)際輸出的偏差設(shè)為：為： 1(1)1xfxe 1(2)fxf xf x()1,2,(3)kk

35、kjjjycjp5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲采用平方和誤差進(jìn)行計算：采用平方和誤差進(jìn)行計算：v按梯度下降原則，中間層至輸出層連接權(quán)的調(diào)整按梯度下降原則，中間層至輸出層連接權(quán)的調(diào)整量應(yīng)為：量應(yīng)為：v展開：展開：2211() / 2() / 2(4)qqkkkkjjjttEyc(5)kjtjtEVV (6)kktjtktjtEcVcV 5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲利用（利用（4）式可得：）式可得：v因?yàn)檩敵鰧拥谝驗(yàn)檩敵鰧拥趖個單元的激活值為：個單元的激活值為：v輸出層第輸出層第t個單元的輸出值為：個單元的輸出值為：v由式（由式（2）可

36、得對于輸出函數(shù)的導(dǎo)數(shù)：）可得對于輸出函數(shù)的導(dǎo)數(shù)：()(7)kkkktttktEycc 1(1,2, )(8)ptjtjtjlVbtq( )(9)ttcf l( )(1)(10)tttflcc5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲所以：所以：v因此，由式（因此，由式（6）（）（7）和（）和（11）可得：）可得：( )(1)(11)kkkkkttttjttjkjttjtcclflbccbVlV(1)(12)kkjttttjVccb 為進(jìn)一步簡化，(1)(13)kkkkkttjttttkkktttEE cdVcclcl011 ,2, , ;1 ,2, , ;1 ,2, ,(14

37、)kkjttjVd btq jpkm 所以：5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ǘ鄬泳W(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒╲同理，由輸入層至中間層連接權(quán)的調(diào)整，仍按梯同理，由輸入層至中間層連接權(quán)的調(diào)整，仍按梯度下降法的原則進(jìn)行度下降法的原則進(jìn)行 ：011,2, ;1,2,kkkijjiijEWeain jpW 同樣也可求出閾值的調(diào)整量：同樣也可求出閾值的調(diào)整量：為中間層各單元的校正誤差kje(1,2, )kttdtq(1,2, )kjjejp以上的推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。以上的推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。對于全部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差對于全

38、部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差E：2111() / 2qmmkkkttkktEEyc BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計算方法網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計算方法u輸入模式順傳播（輸入模式由輸入層經(jīng)中間層輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計算），這一過程主要是利用輸入向輸出層傳播計算），這一過程主要是利用輸入模式求出它所對應(yīng)的實(shí)際輸出模式求出它所對應(yīng)的實(shí)際輸出u輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層），當(dāng)這些實(shí)際的輸出值與希望的層傳向輸入層），當(dāng)這些實(shí)際的輸出值與希望的輸出值不一樣時或者說其誤差大雨所限定的數(shù)值輸出值不一樣時或者說其誤差大雨所

39、限定的數(shù)值時，就要對網(wǎng)絡(luò)進(jìn)行校正。時，就要對網(wǎng)絡(luò)進(jìn)行校正。u循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠嬔h(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠嬎氵^程反復(fù)交替循環(huán)進(jìn)行）算過程反復(fù)交替循環(huán)進(jìn)行）u學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。值）。BP網(wǎng)的學(xué)習(xí)過程利用前面求得的對各個連接權(quán)和閥值進(jìn)行校正利用前面求得的對各個連接權(quán)和閥值進(jìn)行校正的數(shù)學(xué)表達(dá)式，可構(gòu)成的數(shù)學(xué)表達(dá)式，可構(gòu)成BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。BP網(wǎng)絡(luò)的應(yīng)用舉例網(wǎng)絡(luò)的應(yīng)用舉例 “異或異或”（XOR）問題：例如有一個）問題：例如有一個BP網(wǎng)絡(luò)，它由輸入、中間和輸出網(wǎng)絡(luò)，它由輸入、中間和輸出層這

40、三層構(gòu)成，如圖所示。輸入層和中間層各有兩個神經(jīng)元，輸出層有層這三層構(gòu)成，如圖所示。輸入層和中間層各有兩個神經(jīng)元，輸出層有一個神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決一個神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決“異或異或”問題的能力。問題的能力。首先給網(wǎng)絡(luò)的連接權(quán)及首先給網(wǎng)絡(luò)的連接權(quán)及其閾值賦予其閾值賦予-0.1,0.1區(qū)間的隨機(jī)數(shù)，如上圖區(qū)間的隨機(jī)數(shù)，如上圖所示。在初始狀態(tài)下的所示。在初始狀態(tài)下的輸入、輸出結(jié)果如下表輸入、輸出結(jié)果如下表所示所示X1 X2 希望輸出實(shí)際輸出0 000.50 110.51 010.51 100.5X2X1X10.08010.06050.05430.0579-0.0

41、2910.099910.070320.0939BP網(wǎng)絡(luò)的應(yīng)用舉例網(wǎng)絡(luò)的應(yīng)用舉例X1 X2 希望輸出實(shí)際輸出0 000.1190 110.7271 010.7341 100.415這時的平方和誤差可用下式計算：2411()2jjjEyc由于對應(yīng)四個輸入模式的實(shí)際輸出均為由于對應(yīng)四個輸入模式的實(shí)際輸出均為0.5左右，所以全局誤差為左右，所以全局誤差為0.5。下面。下面采用采用BP網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行訓(xùn)練，取。當(dāng)進(jìn)行網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行訓(xùn)練，取。當(dāng)進(jìn)行8000次學(xué)習(xí)后得到下圖所示次學(xué)習(xí)后得到下圖所示的網(wǎng)絡(luò)參數(shù)。的網(wǎng)絡(luò)參數(shù)。這時的全局誤差為0.16584。若輸出小于0.5判為0，大于0.5判為1，則可認(rèn)為

42、此時網(wǎng)絡(luò)已經(jīng)完成了模式記憶，已有正確的分類能力。X2X1X13.6631-5.6523-1.7169-1.8367-5.7174-5.649421.098112.0454BP網(wǎng)絡(luò)的應(yīng)用舉例網(wǎng)絡(luò)的應(yīng)用舉例若當(dāng)進(jìn)一步學(xué)習(xí)達(dá)若當(dāng)進(jìn)一步學(xué)習(xí)達(dá)11050次后，全局誤差減小為次后，全局誤差減小為0.0078。若輸出小于若輸出小于0.1為為0，大于，大于0.9為為1，則可認(rèn)為該網(wǎng)絡(luò)完，則可認(rèn)為該網(wǎng)絡(luò)完全學(xué)會了解決全學(xué)會了解決“異或異或”問題。問題。X1 X2 希望輸出實(shí)際輸出全局誤差0 000.050.00780 110.9411 010.9411 100.078X2X1X1X17.3022-7.7033-

43、3.7261-3.7286-602163-6.177522.243015.4312BP網(wǎng)絡(luò)的應(yīng)用舉例網(wǎng)絡(luò)的應(yīng)用舉例u學(xué)習(xí)收斂速度太慢學(xué)習(xí)收斂速度太慢u不能保證收斂到全局最小點(diǎn)不能保證收斂到全局最小點(diǎn)u網(wǎng)絡(luò)的中間層數(shù)及它的單元數(shù)的選取無理論上的指導(dǎo)，網(wǎng)絡(luò)的中間層數(shù)及它的單元數(shù)的選取無理論上的指導(dǎo)，而是根據(jù)具體經(jīng)驗(yàn)確定的，因此網(wǎng)絡(luò)設(shè)計有時不是最而是根據(jù)具體經(jīng)驗(yàn)確定的，因此網(wǎng)絡(luò)設(shè)計有時不是最佳佳u網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性等。網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性等。BP網(wǎng)絡(luò)的缺點(diǎn)：網(wǎng)絡(luò)的缺點(diǎn)：改進(jìn)：改進(jìn)：u累積誤差校正法累積誤差校正法uS函數(shù)輸出限幅法函數(shù)輸出限幅法u慣性校正法慣性校正法themegalleryv感知