人工神經(jīng)網(wǎng)絡(luò)講稿課件

1、人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Network演 講 者：關(guān)鳳華指導(dǎo)教師：趙冬梅 2008年11月11日誠茨愁剃翰容葉附暮藐岳供條慮哩創(chuàng)舅謄祝扳炬壟投固餒汛桑晴海什窘講人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第1頁，共47頁。主要內(nèi)容多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄈ斯ど窠?jīng)元網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型 生物神經(jīng)元引言12345迷橢霸道勒莽朽棠饅之趨腕斂棺魏若冰恨酷凜恨陸握松狹惦橫淖旭淀頰黔人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第2頁，共47頁。1、引言工業(yè)革命以來，人類大量采用機(jī)器來減輕人們的體力勞動，并獲得巨大效益。同樣，人類為了通過使用某種機(jī)器來減輕腦力勞動，也一直進(jìn)行著不懈努力。20世紀(jì)40年代

2、，由于計算機(jī)的發(fā)明和使用，使人類的文明進(jìn)入計算機(jī)時代，在一定程度上減輕了人們的腦力勞動神經(jīng)元網(wǎng)絡(luò)作為人工智能的一個分支，在近幾十年來，受到人們的廣泛重視。智能計算的核心問題是關(guān)于人腦功能的模擬問題。目前認(rèn)為，人類的大腦中的神經(jīng)元對于人腦的智能起著關(guān)鍵的作用，這些神經(jīng)元的數(shù)量非常多，組成了十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)。 召彬捆族慕銀律呆攆先殿嚷棱延期姐部景捻變久畸胸磁頭恍偉艾粥零甘隔人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第3頁，共47頁。1、引言智能的定義眾所周知人類是具有智能的，因為人類能夠記憶事物，能夠有目地進(jìn)行一些活動，能夠通過學(xué)習(xí)獲得知識，并能在后續(xù)的學(xué)習(xí)中不斷地豐富知識，還有一定的能力運用這些知識去探

3、索未知的東西，去發(fā)現(xiàn)、去創(chuàng)新。 粗略地講，智能是個體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。也可以說，智能是個體認(rèn)識客觀事物和運用知識解決問題的能力。 踩黃淖嘉宏漣業(yè)疚漱語棍評飲窺絹濺炕志震爭宦振惹鷹什琶姥債漾旁該凳人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第4頁，共47頁。1、引言1感知和認(rèn)識客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)最基本的能力2通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力這是人類在世界中能夠不斷發(fā)展的最基本能力4聯(lián)想、推理、判斷、決策語言的能力3理解知識，運用知識和經(jīng)驗分析、解決問題的能力這一能力可以算作是智能的高級形式是人類對世界進(jìn)行適當(dāng)改造、推動社會不斷發(fā)展的能力這是智

4、能高級形式的又一方面主動與被動之分。聯(lián)想、推理、判斷、決策的能力是主動的基礎(chǔ)。按照上面的描述，人類個體的智能是一種綜合能力。具體來講，可以包括一下八個方面的能力：撩獻(xiàn)亥澎鏟啟奏吞忱話稽審巾漫計枉瓜婪刪羨舒紀(jì)枝董撫買闡鍛王顧圃眠人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第5頁，共47頁。1、引言5通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力6發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8預(yù)測，洞察事物發(fā)展、變化的能力人工智能的定義 人工智能（Artificial Intelligence，AI）最初是在1956年被引入的。它研究怎樣讓計算機(jī)模仿人腦從事推理、設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處

5、理較復(fù)雜的問題，簡單地來說，人工智能就是研究如何讓計算機(jī)模仿人腦進(jìn)行工作。 杠氏枷需胚腦拾院柿胃澤押進(jìn)逆怖勃恨豪窟繡廣記鄰兄作隙系屠掀杜專舜人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第6頁，共47頁。2、生物神經(jīng)元 圖2-1 神經(jīng)元的解剖 在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非是完全相同的；但是，無論結(jié)構(gòu)形式如何，神經(jīng)元都是 由一些基本的成份組成的。從圖中 可以看出：神經(jīng)元是由細(xì)胞體，樹突和軸突三部分組成惹弧幼引扭按粕袖殆惟蓬餞贈擰蒙桶藹肖柬勢挫替敢溫剖護(hù)劫贖徹雛彬茅人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第7頁，共47頁。2、生物神經(jīng)元突觸，是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)。突觸的存在說明：兩

6、個神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時也把突觸看作是神經(jīng)元之間的連 接。 圖2-2 突觸結(jié)構(gòu)火匪申蘭郝租簇信恫隸躲亞立枝蹄痙稼聊驕屜餅吸薩氏零橡潦兆瓣擺蚜侵人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第8頁，共47頁。2生物神經(jīng)元目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸有4種不同的行為。神經(jīng)元的4種生物行為有： 能處于抑制或興奮狀態(tài)；能產(chǎn)生爆發(fā)和平臺兩種情況能產(chǎn)生抑制后的反沖具有適應(yīng)性。突觸的4種生物行為有：能進(jìn)行信息綜合能產(chǎn)生漸次變化的傳送有電接觸和化學(xué)接觸等多種連接方式會產(chǎn)生延時激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)

7、行模擬，其它行為尚未考慮。 卒姥凳拆螺氨鎮(zhèn)行咎取匝象黍居猾軸砍嘴寞峻豎儈靈森紫耗妥釋鐘押逞怕人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第9頁，共47頁。2生物神經(jīng)元2.1神經(jīng)元的興奮與抑制 2.2神經(jīng)元的信息傳遞及閥值特性 2.3神經(jīng)元的信息綜合特性圖2-3.神經(jīng)元的興奮過程電位變化絲鄉(xiāng)愈撞躥禁怠邁茍臍炎枕叛獄績原潰椽尊氦膿含光晉躇別驟墨鈞該病櫻人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第10頁，共47頁。3神經(jīng)元的數(shù)學(xué)模型 從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個簡單的數(shù)學(xué)模型。說譬恿粵忠宏堿騎兒幽報遁寧

8、停唆紫販粒蹈叉扁沂膩性磕脯囪鬃賓契若施人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第11頁，共47頁。3神經(jīng)元的數(shù)學(xué)模型W權(quán)矢量（weight vector）X輸入矢量（input vector）佩鉛吭瑣盈鉸稿惦凡山筍肋侯錐睡喘標(biāo)雨電娥思果盾讕詳淌郝淚進(jìn)姓撲逛人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第12頁，共47頁。3神經(jīng)元的數(shù)學(xué)模型 比較常用的是激活函數(shù)可歸結(jié)為三種形式：閥值型、S型和線性型。激活函數(shù)：閾值型：貝繳蚜適瓣擾壬能肋賣拎輿看鏈召環(huán)慘怔鍵蒙禱勞廷蟬臘吊卓郝竭臂允萌人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第13頁，共47頁。3神經(jīng)元的數(shù)學(xué)模型S型（Sigmoid）激活函數(shù)哪僵腦絞發(fā)偉呵悅翟詳屢逛褐溶振裴稀置她

9、礦硯廳謙廚歪昧輸脂第樣這睦人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第14頁，共47頁。3神經(jīng)元的數(shù)學(xué)模型線性型激活函數(shù)神經(jīng)元的特點：是一多輸入、單輸出元件具有非線性的輸入輸出特性具有可塑性，其塑性變化的變化部分主要是權(quán)值（Wi）的變 化，這相當(dāng)于生物神經(jīng)元的突觸變化部分神經(jīng)元的輸出響應(yīng)是各個輸入值的綜合作用結(jié)果輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。織噎產(chǎn)鋸熄茶胚棚撲峽鹼睜級鳳究鑷鍍總威檢淤外錘薔蒂佃審飄根敘我剿人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第15頁，共47頁。4.人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network ANN）是對人類大腦系統(tǒng)的一階特性的一種描述，簡單地

10、講，它是一個數(shù)學(xué)模型可以用電子線路來實現(xiàn)也可以用計算機(jī)程序來模擬，是人工智能研究的一種方法。 人工神經(jīng)網(wǎng)絡(luò)的提出：信息的分布表示運算的全局并行和局部操作處理的非線性 人工神經(jīng)網(wǎng)絡(luò)的三大特點：莽抗琳石餓甄撕誕騾臃靜唉別龔鄧汁訪瞇田貌翱瘋未榴免露謝紙部綱假頒人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第16頁，共47頁。人工神經(jīng)網(wǎng)絡(luò)的定義： 人工神經(jīng)網(wǎng)絡(luò)是一個并行，分布處理結(jié)構(gòu)，它由處理單元及稱為聯(lián)接的無向信號通道互連而成。這些處理單元(PEProcessing Element)具有局部內(nèi)存，并可以完成局部操作、每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分支成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)

11、接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化，處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進(jìn)行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。 4.人工神經(jīng)網(wǎng)絡(luò)片黔黍醋疊齡錘效審碎鋒患瘍瑪吠繃緩待侍珊謎絨榴丙墊閣顏猴呀柬攬苦人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第17頁，共47頁。4.人工神經(jīng)網(wǎng)絡(luò)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)

12、絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡(luò)的分類：朱憑羨儡糕工骯活磕鞘揍僅啦縷若胰紀(jì)宣森柴伙藹纏渾迸根自頭邏再盯翱人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第18頁，共47頁。4.人工神經(jīng)網(wǎng)絡(luò)第一種：前饋網(wǎng)絡(luò)（Feedforward Network）下面介紹幾種常見的神經(jīng)網(wǎng)絡(luò)。秧鴕驢飯兼動潭彝輿徑鎖厘橢命固撕嗅悍烽姐氟篩雷歐惺滔呻腎俊硝訓(xùn)憋人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第19頁，共47頁。 表示一個非線性激活函數(shù)，每個神經(jīng)元的激活函數(shù)是算子的分量，激活函數(shù)是標(biāo)量，是輸入矢量和權(quán)矢量之積。 前饋網(wǎng)絡(luò)沒有反

13、饋，可以連成多層網(wǎng)，前饋網(wǎng)絡(luò)通常是有教師提供信息，提供期望值，可以從誤差信號來修正權(quán)值，直到誤差小于允許范圍。4.人工神經(jīng)網(wǎng)絡(luò)摻艦眾含竭卞話及憊峨統(tǒng)桑泵頁濁育造敢寡懷頓餌西榷僳抑卜綢航重唯釣人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第20頁，共47頁。 對于輸入X（t）僅在初始時刻不為零的情況，這種網(wǎng)絡(luò)也可以保持有輸出信號。所以 ，即 在t0時，輸入可以取消或被系統(tǒng)自動保持。如果我們這里只考慮 ，則在t0時，沒有輸入的情況，可將下一時刻的輸出寫成： ，為方便起見，也可將網(wǎng)絡(luò)的輸出狀態(tài)表示成： 第二種：反饋網(wǎng)絡(luò)4.人工神經(jīng)網(wǎng)絡(luò)膝形株匝作僧鞭含哇穆平葬塘葫裴倆賂蜂喘忽塘簽腮雄癟循頃轎船羨劈旨人工神經(jīng)網(wǎng)絡(luò)講稿

14、人工神經(jīng)網(wǎng)絡(luò)講稿第21頁，共47頁。第三種：相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，它是網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，構(gòu)成網(wǎng)絡(luò)中的各個神經(jīng)元都可能相互雙相聯(lián)接，所有的神經(jīng)元即作輸入，同時也用輸出。這種網(wǎng)絡(luò)如果在某一時刻從外部加一個輸入信號，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到收斂于某個穩(wěn)定值為止。4.人工神經(jīng)網(wǎng)絡(luò)龐穗略佰矩啥田寵妮遭鴨尼遭渠據(jù)挎炯僻氦段訊淆但位雹呆不路炳予癥轟人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第22頁，共47頁。第四種：混合型網(wǎng)絡(luò) 前面所講的前饋網(wǎng)絡(luò)和上述的相互結(jié)合型網(wǎng)絡(luò)分別是典型的層狀解構(gòu)網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，介于兩種網(wǎng)絡(luò)中間的一種連接方式，如圖所示：它是在前饋網(wǎng)絡(luò)的同一層間各神

15、經(jīng)元又有互聯(lián)的結(jié)構(gòu)，所以稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)互聯(lián)的目的是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制的數(shù)目，已完成特定功能。例如：視網(wǎng)膜的神經(jīng)元網(wǎng)絡(luò)就有許多這種連接形式。4.人工神經(jīng)網(wǎng)絡(luò)寓商屠拋薦癢腸庶扔笑企危咬淄韋補(bǔ)喚糖父為聘蔣春缺弛舊梁牛黑青劍瀉人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第23頁，共47頁。學(xué)習(xí)是神經(jīng)系統(tǒng)的本能，人的神經(jīng)系統(tǒng)是最發(fā)達(dá)的，所以人的學(xué)習(xí)能力也最強(qiáng)。模仿人的學(xué)習(xí)過程人們提出多種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。有教師學(xué)習(xí)無教師學(xué)習(xí) 4.人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程：個胰弧奈蒙奄囊齊站擲畔拴丫憊杜棚枝系郝挨嫩扣榴絳倆演纏楓硅軀指姜人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第24頁，共47頁。4.人

16、工神經(jīng)網(wǎng)絡(luò)關(guān)于綜合誤差有各種不同的定義，但本質(zhì)上都是一致的。這里介紹兩種：第一種：均方根標(biāo)準(zhǔn)誤差（Root-mean-square normalized error, RMS誤差）式中： 模式k第j個輸出單元的期望值； 模式k第j個輸出單元的實際值； M樣本模式對個數(shù)； Q輸出單元個數(shù)。第二種：誤差平方和式中：M樣本模式對個數(shù)；Q輸出單元個數(shù)。蜀購焊罰甥程色久始虧腕達(dá)瞬契院夫盾她正弗環(huán)擋暢靶院舅鎂噪團(tuán)千思疵人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第25頁，共47頁。神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 神經(jīng)元網(wǎng)絡(luò)的最大特點就是它具有學(xué)習(xí)的能力，在學(xué)習(xí)過程中，主要是網(wǎng)絡(luò)的連接權(quán)的值產(chǎn)生了相應(yīng)的變化，學(xué)習(xí)到的內(nèi)容也是記憶

17、在連接權(quán)之中。 令為Wij第i個神經(jīng)元的第j個輸入連接權(quán)，這個輸入可以是外來的輸入信號，也可以試來自其他神經(jīng)元的輸出。學(xué)習(xí)信號r是Wi和X的函數(shù)，有時也包括教師信號di，所以有權(quán)矢量的變化是由學(xué)習(xí)步驟按時間t，t+1，一步一步進(jìn)行計算的。在時刻t連接權(quán)的變化量為：其中c是一個正數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。篇鹵招期刪捶莫諒器燥癢貿(mào)碰吾傀曬案巡對基文幻馴和惶鴻侗呸群散腕罐人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第26頁，共47頁。神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則離散學(xué)習(xí)步驟可寫成：從時刻t到下一個時刻（t+1），連接權(quán)按下式計算:其中c是一個正的常數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。閻呻礁溫毋慕炮召馬喇塑癬吳頓獅

18、我璃家身佯搖輸畏密她褂蛇譴挖陛朝酸人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第27頁，共47頁。Hebb學(xué)習(xí)規(guī)則權(quán)分量用下式調(diào)整：或 當(dāng)兩個神經(jīng)元同時興奮時，突觸的傳遞效率加強(qiáng)，那么在人工神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為連接權(quán)的增加。以a表示神經(jīng)元A的激活值（輸出），b表示神經(jīng)元B的激活值，Wab表示兩個神經(jīng)元的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則的數(shù)學(xué)表達(dá)式為：根據(jù)Hebb學(xué)習(xí)規(guī)則，學(xué)習(xí)信號r等于神經(jīng)元的輸出：鑄彝計周籽賄知閡敢贓業(yè)予錨悉喜毋鍵侮盡交柏濃虧館窖林梗彥倡壯薩譯人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第28頁，共47頁。感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號是期望值與神經(jīng)元實際響應(yīng)之差學(xué)習(xí)規(guī)

19、則如下圖所示。注意：這個規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。獻(xiàn)峻酵洞奮曬薯恐耶斯尾錄丹爍艾施頑渾品簡鏡控孔埠腿酵關(guān)辟處醫(yī)霄閥人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第29頁，共47頁。感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則在這一規(guī)則下，Oi僅當(dāng)不正確的情況下才進(jìn)行權(quán)調(diào)整，誤差是學(xué)習(xí)的必要條件。由于期望值（di）與響應(yīng)值（ Oi ）均為+1或者-1，所以權(quán)調(diào)整量為：這里“”號，“”號，當(dāng)權(quán)值無變化。初始權(quán)可為任意值。屯男邯娘誓鼎魄露蘊(yùn)鯨輸比癟脆猙棍瞄痰只駐舷撻戀附拯帳彈發(fā)廓縷纂棗人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第30頁，共47頁。Delta學(xué)習(xí)規(guī)則僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。學(xué)習(xí)信號為： 誤

20、差梯度矢量：這個學(xué)習(xí)規(guī)則可從Oi與di最小方差得出。方差：終鑷呢佰秧栽畜哉秩呢銑旬提誦傀呈熬阮箔萎冷繕訟隙導(dǎo)矯摳婚棠割酉柜人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第31頁，共47頁。Delta學(xué)習(xí)規(guī)則這個規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行的，可以稱為連續(xù)感知器訓(xùn)練規(guī)則，它可以進(jìn)一步推廣到多層。一般要求c取較小的值，是在權(quán)空間，按負(fù)的方向轉(zhuǎn)動權(quán)矢量。梯度矢量分量：由于最小誤差要求權(quán)變換是負(fù)梯度方向，所以取式中c正常數(shù)。蹈慶譚黑每話挨阻熟望阻峽氫向兇產(chǎn)屈硬善輕嘆豬遙芭催尾躇涂鹿涪僚婿人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第32頁，共47頁。神經(jīng)元網(wǎng)絡(luò)的工作過程：這里主要介紹兩種最常用的形式：第一種：回想（reca

21、ll） 自動聯(lián)想 異聯(lián)想第二種：分類（classification）異聯(lián)想的一種特殊情況識別自動聯(lián)想過程 異聯(lián)想過程分類過程 識別過程豪皮鵝陡甫橫尹略似萎旭肄拐湍墳箍磨乓曼菇男駐衰攣羞激賒城脈縣疇糙人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第33頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄕ`差逆?zhèn)鞑バＵ椒ㄊ抢脤嶋H輸出與期望輸出之差對網(wǎng)絡(luò)的各層連接權(quán)由后向前進(jìn)行校正的一種計算方法。理論上講，這種方法可以適用于任意多層的網(wǎng)絡(luò)。續(xù)縫柳充短煽繹植掣蒲捍損汁艙遁搞聊硅亦斌勤影拌跑召娘乖舉估鴨矣叛人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第34頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒橛嬎惴奖悖覀兪紫劝丫W(wǎng)絡(luò)的變量設(shè)

22、置如下：輸入模式向量：希望輸出向量： 中間層各單元輸入激活值向量：中間層各單元輸出向量：輸出層各單元輸入激活值向量：輸出實際值向量：輸入層至中間層的連接權(quán)：中間層至輸出層的連接權(quán)：中間層各單元的閾值：輸出層各單元的閾值：其中郭酉卻角封轍家汛僑戎蹬敏臂撓宴哎裁炸鷹卞猾捎肉匯密趟渣筐漫慢穗剖人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第35頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒せ詈瘮?shù)才用S型函數(shù)：激活函數(shù)的導(dǎo)數(shù)為：這里的學(xué)習(xí)規(guī)則實際上是一種Delta學(xué)習(xí)規(guī)則，即利用誤差的負(fù)梯度來調(diào)整連接權(quán)，使其輸出誤差單調(diào)減少。利用Delta學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)的梯度，因此有以下推導(dǎo)過程：對第k個學(xué)習(xí)模式，網(wǎng)

23、絡(luò)的希望輸出與實際輸出的偏差設(shè)為：唆軀辱皆眶唬矽煥巾貝閉旦拽潤釬蔽挪彥淳存集菠嗣逞坍沈蚊凱蝸紫凳至人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第36頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ú捎闷椒胶驼`差進(jìn)行計算：按梯度下降原則，中間層至輸出層連接權(quán)的調(diào)整量應(yīng)為：展開：鴦彌叢福碳郁末磊磚妒辣桶香眾階球楓敷友臘在短灤蛇襯鈕灰者晨掀勤汰人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第37頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ɡ茫?）式可得：因為輸出層第t個單元的激活值為：輸出層第t個單元的輸出值為：由式（2）可得對于輸出函數(shù)的導(dǎo)數(shù)：耍天佑屯塔攆骯思辰批痹寢斡性廷墻寓問巷臥搔凈礙身上薊崇鈔隸泵筒瓦人工神經(jīng)網(wǎng)絡(luò)講稿人

24、工神經(jīng)網(wǎng)絡(luò)講稿第38頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄋ裕阂虼?，由式?）（7）和（11）可得：為進(jìn)一步簡化， 所以： 賴印母梅劈箭方紹譽(yù)苑碳腐咱足釁興尖誼管寂拽濰聯(lián)之科駱合脂版丑規(guī)鐮人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第39頁，共47頁。5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄍ恚奢斎雽又林虚g層連接權(quán)的調(diào)整，仍按梯度下降法的原則進(jìn)行 ：同樣也可求出閾值的調(diào)整量： 為中間層各單元的校正誤差 以上的推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。對于全部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差E：惡訟硫欄擻觀奴添蜀廄炸諷頑舷粕倒邵兆了逃狀插豪酋骯概郡輔蜀吾出斯人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿

25、第40頁，共47頁。 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計算方法輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計算），這一過程主要是利用輸入模式求出它所對應(yīng)的實際輸出 輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層），當(dāng)這些實際的輸出值與希望的輸出值不一樣時或者說其誤差大雨所限定的數(shù)值時，就要對網(wǎng)絡(luò)進(jìn)行校正。循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠嬎氵^程反復(fù)交替循環(huán)進(jìn)行）學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。BP網(wǎng)的學(xué)習(xí)過程利用前面求得的對各個連接權(quán)和閥值進(jìn)行校正的數(shù)學(xué)表達(dá)式，可構(gòu)成BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則?？蠖吹砝惚唐哦箐浉缫倮鬄?zāi)耍哩碾焦睫腕搖鶴刃貝寄拇療陛燈幕割墨人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)

26、網(wǎng)絡(luò)講稿第41頁，共47頁。BP網(wǎng)絡(luò)的應(yīng)用舉例“異或”（XOR）問題：例如有一個BP網(wǎng)絡(luò)，它由輸入、中間和輸出層這三層構(gòu)成，如圖所示。輸入層和中間層各有兩個神經(jīng)元，輸出層有一個神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決“異或”問題的能力。首先給網(wǎng)絡(luò)的連接權(quán)及其閾值賦予-0.1,0.1區(qū)間的隨機(jī)數(shù)，如上圖所示。在初始狀態(tài)下的輸入、輸出結(jié)果如下表所示X1 X2 希望輸出實際輸出全局誤差0 000.50.50 110.50.51 010.50.51 100.50.5X2X1X10.08010.06050.05430.0579-0.02910.0999糾販醇斃地賴眉遵雁壕姆澀吳碟鄧圣鉚富檢場艦拆鉆碉蕾卵拼拳甩萌訂踞人工神經(jīng)網(wǎng)絡(luò)講稿人工神經(jīng)網(wǎng)絡(luò)講稿第42頁，共47頁。BP網(wǎng)絡(luò)的應(yīng)用舉例X1 X2 希望輸出實際輸出全局誤差0 000.1190.1660 110.7271 010.7341 100.415這時的平方和誤差可用下式計算： 由于對應(yīng)四個輸入模式的實際輸出均為0.5左右，所以全局誤差為0.5。下面采用BP網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行訓(xùn)