最新人工神經(jīng)網(wǎng)絡(luò)ANN方法簡(jiǎn)介精選PPT文檔

1、 大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。也正是有了。也正是有了這樣的這樣的復(fù)雜巨系統(tǒng)復(fù)雜巨系統(tǒng)，大腦才能擔(dān)負(fù)，大腦才能擔(dān)負(fù)起人類認(rèn)識(shí)世界和改造世界的任務(wù)。起人類認(rèn)識(shí)世界和改造世界的任務(wù)。 “世界上最大的未開發(fā)疆域，是世界上最大的未開發(fā)疆域，是我們兩耳之間的空間。我們兩耳之間的空間?！保绹?guó)漢（美國(guó)漢諾威保險(xiǎn)公司總裁比爾諾威保險(xiǎn)公司總裁比爾奧伯萊恩）奧伯萊恩） 生物系統(tǒng)是世界上生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng)最為復(fù)雜的系統(tǒng)。 生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能，其生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能，

2、其復(fù)雜性是難以想象復(fù)雜性是難以想象的。的。 人大腦平均只有人大腦平均只有3磅左右。磅左右。只占身體重量比例的只占身體重量比例的1/30； 使眼睛可以辨別使眼睛可以辨別1000萬種細(xì)萬種細(xì)微的顏色；微的顏色； 使肌肉使肌肉(如果全部向同一個(gè)如果全部向同一個(gè)方向運(yùn)動(dòng)方向運(yùn)動(dòng))產(chǎn)生產(chǎn)生25噸的拉力；噸的拉力； 是由是由100億個(gè)腦細(xì)胞和億個(gè)腦細(xì)胞和10兆兆個(gè)神經(jīng)交匯叢組成。整個(gè)大腦個(gè)神經(jīng)交匯叢組成。整個(gè)大腦的神經(jīng)網(wǎng)絡(luò)足足有的神經(jīng)網(wǎng)絡(luò)足足有10英里長(zhǎng)。英里長(zhǎng)。 “你的大腦就像一個(gè)沉睡的巨人。你的大腦就像一個(gè)沉睡的巨人?！?（英國(guó)的心理學(xué)家、教育家（英國(guó)的心理學(xué)家、教育家托尼托尼布贊）布贊） “如果我們

3、迫使頭腦開足如果我們迫使頭腦開足1/4的馬力，我們就會(huì)毫不費(fèi)力地的馬力，我們就會(huì)毫不費(fèi)力地學(xué)會(huì)學(xué)會(huì)40種語言，把整個(gè)百科全書從頭到尾背下來，還可以完成種語言，把整個(gè)百科全書從頭到尾背下來，還可以完成十幾個(gè)大學(xué)的博士學(xué)位。十幾個(gè)大學(xué)的博士學(xué)位?！保ㄇ疤K聯(lián)學(xué)者伊凡）（前蘇聯(lián)學(xué)者伊凡） 一個(gè)正常的大腦記憶容量有大約一個(gè)正常的大腦記憶容量有大約6億本書的知識(shí)總量，相當(dāng)于一部大億本書的知識(shí)總量，相當(dāng)于一部大型電腦儲(chǔ)存量的型電腦儲(chǔ)存量的120萬倍萬倍 大腦使你從出生開始每一秒鐘可存儲(chǔ)大腦使你從出生開始每一秒鐘可存儲(chǔ)1000條信息，直到老死為止條信息，直到老死為止 全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆

4、體積的腦細(xì)胞全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞 即使世界上記憶力最好的人，其大腦的使用也沒有達(dá)到其功能的即使世界上記憶力最好的人，其大腦的使用也沒有達(dá)到其功能的1% 人類的知識(shí)與智慧，仍是人類的知識(shí)與智慧，仍是“低度開發(fā)低度開發(fā)”！人的大腦是個(gè)無！人的大腦是個(gè)無盡寶藏，可惜的是每個(gè)人終其一生，都忽略了如何有效地發(fā)揮盡寶藏，可惜的是每個(gè)人終其一生，都忽略了如何有效地發(fā)揮它的它的“潛能潛能”潛意識(shí)中激發(fā)出來的能量。潛意識(shí)中激發(fā)出來的能量。 重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。（無數(shù)科幻故事）（無數(shù)科幻故事） 探索智能的奧秘探索

5、智能的奧秘 “觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力”(牛津大辭典牛津大辭典) “理解和各種適應(yīng)性行為的能力理解和各種適應(yīng)性行為的能力”(韋氏大辭典韋氏大辭典)智能是個(gè)體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境智能是個(gè)體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力；也可以說是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問的綜合能力；也可以說是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。題的能力。 與認(rèn)識(shí)客觀事物、客觀世界和自我的能力；與認(rèn)識(shí)客觀事物、客觀世界和自我的能力； 通過通過獲得經(jīng)驗(yàn)、積累知識(shí)的能力；獲得經(jīng)驗(yàn)、積累知識(shí)的能力； 理解知識(shí)、理解知識(shí)、知識(shí)和經(jīng)驗(yàn)分析、解決問題

6、的能力；知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力； 聯(lián)想、聯(lián)想、判斷、決策的能力；、判斷、決策的能力； 運(yùn)用運(yùn)用進(jìn)行抽象、概括的能力；進(jìn)行抽象、概括的能力；以上以上5點(diǎn)是人類智能的基本能力。點(diǎn)是人類智能的基本能力。 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力；發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力； 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力；實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力； 預(yù)測(cè)、洞察事物發(fā)展、變化的能力。預(yù)測(cè)、洞察事物發(fā)展、變化的能力。以上以上3點(diǎn)是前點(diǎn)是前5種能力新的綜合表現(xiàn)形式。種能力新的綜合表現(xiàn)形式。 “人工智能（人工智能（artificial intelligence）” 1956年初次引入年初次引入 人工智能研究

7、怎樣人工智能研究怎樣用計(jì)算機(jī)模仿人腦用計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題?？?、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題。 目的之一：增加人類探索世界、推動(dòng)社會(huì)前進(jìn)的能力目的之一：增加人類探索世界、推動(dòng)社會(huì)前進(jìn)的能力 通過制造和使用工具來加強(qiáng)和延伸人類的生存、發(fā)展。通過制造和使用工具來加強(qiáng)和延伸人類的生存、發(fā)展。 目的之二：進(jìn)一步認(rèn)識(shí)自己。目的之二：進(jìn)一步認(rèn)識(shí)自己。 用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。1991年，人工智能學(xué)家年，人工智能學(xué)家d. krish在在int. j

8、. artificial intelligence上提出人工智能的上提出人工智能的5個(gè)基本問題：個(gè)基本問題： 知識(shí)和概念化是否人工智能的核心？知識(shí)和概念化是否人工智能的核心？ 認(rèn)知能力能否與載體分開來研究？認(rèn)知能力能否與載體分開來研究？ 認(rèn)知的軌跡是否可以用類自然語言來描述？認(rèn)知的軌跡是否可以用類自然語言來描述？ 學(xué)習(xí)能力能否與認(rèn)知分開來研究？學(xué)習(xí)能力能否與認(rèn)知分開來研究？ 所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu)？所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu)？對(duì)以上對(duì)以上5個(gè)基本問題的不同回答已經(jīng)形成個(gè)基本問題的不同回答已經(jīng)形成3個(gè)主要的學(xué)術(shù)流派：個(gè)主要的學(xué)術(shù)流派：符號(hào)主義（符號(hào)主義（symbolicisim）聯(lián)結(jié)

9、主義（聯(lián)結(jié)主義（connetionism）行為主義（行為主義（actionism） 即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以知識(shí)為基礎(chǔ)，通過推理來進(jìn)行問題求解，在研究方法上采用計(jì)知識(shí)為基礎(chǔ)，通過推理來進(jìn)行問題求解，在研究方法上采用計(jì)算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法 simon、minsky和和newell等認(rèn)為，人和計(jì)算機(jī)都是一個(gè)物理等認(rèn)為，人和計(jì)算機(jī)都是一個(gè)物理符號(hào)系統(tǒng)，因此可用計(jì)算機(jī)的符號(hào)演算來模擬人的認(rèn)知過程；符號(hào)系統(tǒng)，因此可用計(jì)算機(jī)的符號(hào)演算來模擬人的認(rèn)知過程；作為智能基礎(chǔ)的知識(shí)是可

10、用符號(hào)表示的一種信息形式，因此作為智能基礎(chǔ)的知識(shí)是可用符號(hào)表示的一種信息形式，因此人人工智能的核心問題是知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用的信息處工智能的核心問題是知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用的信息處理過程理過程。符號(hào)主義對(duì)符號(hào)符號(hào)主義對(duì)符號(hào)系統(tǒng)的描述系統(tǒng)的描述 又稱又稱仿生學(xué)派仿生學(xué)派，認(rèn)為人工智能源于仿生學(xué)，人思維的基本，認(rèn)為人工智能源于仿生學(xué)，人思維的基本單元是神經(jīng)元，而非符號(hào)處理過程，主張用大腦工作模式取代單元是神經(jīng)元，而非符號(hào)處理過程，主張用大腦工作模式取代符號(hào)操作的電腦工作模式；符號(hào)操作的電腦工作模式； 智能的本質(zhì)是聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處智能的本質(zhì)是聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)是一

11、個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)；理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)； “結(jié)構(gòu)功能結(jié)構(gòu)功能”的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的；是密切相關(guān)的；1943年，年，mcculloch和和pitts從神經(jīng)元入手研究神從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型經(jīng)網(wǎng)絡(luò)模型mp模型模型。此為人工神經(jīng)網(wǎng)絡(luò)研究之此為人工神經(jīng)網(wǎng)絡(luò)研究之始。始。人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ann）從四個(gè)方）從四個(gè)方面刻畫人腦的基本特征：面刻畫人腦的基本特征：（1）、）、模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的

12、聯(lián)結(jié)網(wǎng)絡(luò)模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò)cell bodyaxonnucleussynapse突觸突觸dendrite樹突樹突（2）、）、人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng)，人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)的系統(tǒng)，人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上。之上。ann以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ)，同樣實(shí)現(xiàn)信息的大以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ)，同樣實(shí)現(xiàn)信息的大規(guī)模并行處理。規(guī)模并行處理。（3）、）、大腦對(duì)信息的記憶是通過改變突觸的聯(lián)結(jié)強(qiáng)度來實(shí)現(xiàn)并分布存大腦對(duì)信息的記憶是通

13、過改變突觸的聯(lián)結(jié)強(qiáng)度來實(shí)現(xiàn)并分布存儲(chǔ)。儲(chǔ)。ann模擬信息的大規(guī)模分布存儲(chǔ)。模擬信息的大規(guī)模分布存儲(chǔ)。（4）、）、后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性。后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性。ann根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過程，根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過程，自動(dòng)從自動(dòng)從“實(shí)踐實(shí)踐”（即訓(xùn)練樣本）中獲取相關(guān)知識(shí)，并存儲(chǔ)在系（即訓(xùn)練樣本）中獲取相關(guān)知識(shí)，并存儲(chǔ)在系統(tǒng)中。統(tǒng)中。 “進(jìn)化主義學(xué)派進(jìn)化主義學(xué)派”、“控制論學(xué)派控制論學(xué)派”； 認(rèn)為人工智能來源于認(rèn)為人工智能來源于控制論控制論，智能取決于感知和行動(dòng)。提，智能取決于感知和行動(dòng)。提出智能行為的出

14、智能行為的“感知?jiǎng)幼鞲兄獎(jiǎng)幼鳌蹦Ｊ侥Ｊ?，采用，采用行為模擬方法行為模擬方法； 對(duì)符號(hào)主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知對(duì)符號(hào)主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識(shí)、表示和推理，只需要與環(huán)境交互作用）識(shí)、表示和推理，只需要與環(huán)境交互作用） 80年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科（年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科（r. a. brooks），為機(jī)器人研究開創(chuàng)了新的方法。），為機(jī)器人研究開創(chuàng)了新的方法。 聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合，發(fā)展為聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合，發(fā)展為，是人工智能在，是人工智能在1980年代后的深化和發(fā)展年代后的深化和發(fā)展 計(jì)算

15、智能：借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制、生命計(jì)算智能：借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制、生命演化過程和人的智能行為，從而進(jìn)行信息獲取、處理、應(yīng)用演化過程和人的智能行為，從而進(jìn)行信息獲取、處理、應(yīng)用的理論和方法的理論和方法 計(jì)算智能是以數(shù)學(xué)模型、計(jì)算模型為基礎(chǔ)，以分布、并行、計(jì)算智能是以數(shù)學(xué)模型、計(jì)算模型為基礎(chǔ)，以分布、并行、仿生計(jì)算為特征，包含數(shù)據(jù)、算法和實(shí)現(xiàn)的信息系統(tǒng)仿生計(jì)算為特征，包含數(shù)據(jù)、算法和實(shí)現(xiàn)的信息系統(tǒng) 計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成，強(qiáng)調(diào)系統(tǒng)的自組織、自計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成，強(qiáng)調(diào)系統(tǒng)的自組織、自學(xué)習(xí)和自適應(yīng)學(xué)習(xí)和自適應(yīng) 計(jì)算智能的計(jì)算智能的3個(gè)主要分支：個(gè)主要分支： （

16、模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)）（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)） （模擬生命生成過程與智能進(jìn)化過程）（模擬生命生成過程與智能進(jìn)化過程） （模擬智能的表現(xiàn)行為）（模擬智能的表現(xiàn)行為）人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。 james（心理學(xué)心理學(xué)，1890年）年） ：大腦皮層每一點(diǎn)的活力產(chǎn)生：大腦皮層每一點(diǎn)的活力產(chǎn)生于其它點(diǎn)勢(shì)能釋放的綜合效能，即其它點(diǎn)的于其它點(diǎn)勢(shì)能釋放的綜合效能，即其它點(diǎn)的興奮次數(shù)興奮次數(shù)、強(qiáng)度強(qiáng)度和和所接受的能量所接受的能量。大腦含大腦含1011個(gè)神經(jīng)元，它們通過個(gè)神經(jīng)元，它們通過 1015個(gè)聯(lián)結(jié)構(gòu)成一個(gè)網(wǎng)絡(luò)。個(gè)聯(lián)結(jié)構(gòu)成

17、一個(gè)網(wǎng)絡(luò)。每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號(hào)的能力，每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號(hào)的能力，這種傳遞由神經(jīng)通道來完成。這種傳遞由神經(jīng)通道來完成。樹突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號(hào)的聯(lián)結(jié)點(diǎn)樹突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號(hào)的聯(lián)結(jié)點(diǎn)為突觸。通過突觸輸入的信號(hào)起著興奮為突觸。通過突觸輸入的信號(hào)起著興奮/抑制作用。當(dāng)細(xì)胞體接抑制作用。當(dāng)細(xì)胞體接受的累加興奮作用超過某閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生沖受的累加興奮作用超過某閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生沖動(dòng)，并由軸突輸出。動(dòng)，并由軸突輸出。cell bodyaxonnucleussynapse突觸突觸den

18、drite樹突樹突 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變 信號(hào)分為興奮型和抑制型信號(hào)分為興奮型和抑制型 一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài) 每個(gè)神經(jīng)元有一個(gè)閾值每個(gè)神經(jīng)元有一個(gè)閾值w1 z= wixiw2wnx1x2xny = f( wixi- )軸突軸突突觸突觸樹突樹突內(nèi)核內(nèi)核軸突軸突第一階段第一階段1943年，心理學(xué)家年，心理學(xué)家mcculloch和數(shù)學(xué)家和數(shù)學(xué)家pitts對(duì)神經(jīng)元進(jìn)行形

19、式化研究，提對(duì)神經(jīng)元進(jìn)行形式化研究，提出了神經(jīng)元的數(shù)學(xué)模型出了神經(jīng)元的數(shù)學(xué)模型mp模型模型。1944年，年，d. o. hebb提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則，至今仍然，至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則。是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則。1957年，年，rosenblatt首次引進(jìn)感知器首次引進(jìn)感知器(perceptron)概念來模擬生物的感知、概念來模擬生物的感知、學(xué)習(xí)能力。學(xué)習(xí)能力。1962年，年，widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。第二階段第二階段1969年，年，m. l.

20、minsky和和s. papert從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)模型無法解決的許多簡(jiǎn)單問題，包括最基本的模型無法解決的許多簡(jiǎn)單問題，包括最基本的“異或異或(xor)”問題。使問題。使ann理論的發(fā)展進(jìn)入一個(gè)低谷；理論的發(fā)展進(jìn)入一個(gè)低谷；1974年，年，webos提出提出bp學(xué)習(xí)理論；學(xué)習(xí)理論；s. grossberg提出自適應(yīng)共振理論（提出自適應(yīng)共振理論（art）。）。第三階段第三階段突破性進(jìn)展：突破性進(jìn)展：1982年，年，caltech的物理學(xué)家的物理學(xué)家j. hopfield提出提出hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)系統(tǒng)系統(tǒng)(hnns)模型，提出能量

21、函數(shù)的概念，用非線性動(dòng)力學(xué)方法來研究模型，提出能量函數(shù)的概念，用非線性動(dòng)力學(xué)方法來研究ann，開拓了開拓了ann用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑；用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑；1988年，年，mcclelland和和rumelhart利用多層反饋學(xué)習(xí)算法解決了利用多層反饋學(xué)習(xí)算法解決了“異或異或（xor）”問題。問題。多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層從輸出層到輸入層存在反饋的前向網(wǎng)。從輸出層到輸入層存在反饋的前向網(wǎng)。在無反饋前向網(wǎng)中同一層內(nèi)

22、存在神經(jīng)元間的聯(lián)結(jié)回路。在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié)。任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié)。網(wǎng)絡(luò)處在動(dòng)態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。網(wǎng)絡(luò)處在動(dòng)態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。感知器（感知器（perceptron）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。w. mcculloch和和w. pitts總結(jié)生物神經(jīng)元的基本生理特征，提出總結(jié)生物神經(jīng)元的基本生理特征，提出一種簡(jiǎn)單的數(shù)學(xué)模型與構(gòu)造方法，建立了一種簡(jiǎn)單的數(shù)學(xué)模型與構(gòu)造方法，建立了閾值加權(quán)和模型閾值加權(quán)和模型，簡(jiǎn)，簡(jiǎn)稱稱m-p模型模

23、型(“a logical calculus immanent in nervous activity”, bulletin of mathematical biophysics, 1943(5): 115133）。人工神經(jīng)元模型是人工神經(jīng)元模型是m-p模型的基礎(chǔ)。模型的基礎(chǔ)。warren mcculloch（18981969）walter pitts(19231969) 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變 信號(hào)分為興奮型和抑制型信號(hào)分為興奮型和抑制型

24、 一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài) 每個(gè)神經(jīng)元有一個(gè)閾值每個(gè)神經(jīng)元有一個(gè)閾值突觸突觸樹突樹突突觸突觸樹突樹突內(nèi)核內(nèi)核軸突軸突模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和 （生物神經(jīng)元的一階特征）（生物神經(jīng)元的一階特征）人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度?；顮顟B(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)

25、強(qiáng)度。w1 wi xiw2wnx1x2xnxwxwxuii)(多輸入、單輸出的加權(quán)和結(jié)構(gòu)多輸入、單輸出的加權(quán)和結(jié)構(gòu)設(shè)設(shè)x = (x1, x2, , xn)表示表示n個(gè)輸入，個(gè)輸入，w = (w1, w2, , wn)表示它表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：1,niiiu xw xw x稱稱u(x)為整合函數(shù)。為整合函數(shù)。w1 wi xiw2wnx1x2xn神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)u(x)大于大于某閾值某閾值 時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于

26、抑制狀時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀態(tài)。態(tài)。構(gòu)造構(gòu)造激活函數(shù)激活函數(shù) ，用于表示這一轉(zhuǎn)換過程。要求，用于表示這一轉(zhuǎn)換過程。要求 是是-1, 1之間之間的單調(diào)遞增函數(shù)。的單調(diào)遞增函數(shù)。激活函數(shù)激活函數(shù) 通常為通常為3種類型，由此決定了神經(jīng)元的輸出特征。種類型，由此決定了神經(jīng)元的輸出特征。激活函數(shù)激活函數(shù) 為符號(hào)函數(shù)：為符號(hào)函數(shù)：0, 10, 1)sgn()(uuuu1-1u 激活函數(shù)激活函數(shù) 為分段線性函數(shù)：為分段線性函數(shù)：21, 12121,21, 1)(uuuuu1-1u 激活函數(shù)激活函數(shù) 為為sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有漸

27、近值，具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征。有漸近值，具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征。112)( ueuuueeu11)( 1-1u將人工神經(jīng)元的基本模型與激活函數(shù)將人工神經(jīng)元的基本模型與激活函數(shù) 結(jié)合，即結(jié)合，即mcculloch pitts模型。模型。w1 u= wixiw2wnx1x2xny= (u(x)- )1niiiyu xw x“the conceptual scheme for learning in this context is a machine with an input channel for figures, a pair of yes and no output in

28、dicators, and a reinforcement or reward button that the machines operator can use to indicate his approval or disapproval of the machines behavior.”m. l. minsky and s. a. papert, “perceptron”(1988)ann學(xué)習(xí)定理學(xué)習(xí)定理ann可以學(xué)會(huì)它表達(dá)的任何東西。可以學(xué)會(huì)它表達(dá)的任何東西。（rosenblatt，1962年）年）ann的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。an

29、n的學(xué)習(xí)過程就是訓(xùn)練過程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的的學(xué)習(xí)過程就是訓(xùn)練過程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵觥?，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵?。有監(jiān)督的學(xué)習(xí)（有監(jiān)督的學(xué)習(xí)（supervised learning）無監(jiān)督的學(xué)習(xí)（無監(jiān)督的學(xué)習(xí)（unsupervised learning）感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問題歸結(jié)

30、為求權(quán)重系數(shù)感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問題歸結(jié)為求權(quán)重系數(shù)w = (w1, w2, , wn)和閾值和閾值 的問題。的問題?；舅枷耄褐鸩綄⒂?xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸基本思想：逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值。出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值。w1 u= wixiw2wnx1x2xny= (u(x)- )設(shè)設(shè)x = (x1, x2, , xn)表示表示n個(gè)輸入，個(gè)輸入，w = (w1, w2, , wn)表示它表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取符號(hào)函數(shù)為激活函數(shù)符號(hào)函數(shù)為激活

31、函數(shù) ，此為經(jīng)典的此為經(jīng)典的m-p模型：模型：0, 10, 1)sgn()(uuuuw1 u= wixiw2wnx1x2xn+1 or -11,0sgn( ()sgn(,)1,0uyu xw xu訓(xùn)練集的樣本（輸入向量、輸出值）為：訓(xùn)練集的樣本（輸入向量、輸出值）為：txxxx,.,21tyyyy,.,21t為樣本數(shù)目。其中，為樣本數(shù)目。其中，tkxxxxknkkk,.,2,1,.,21tkyk,.,2,11 重復(fù)下列過程，直至訓(xùn)練完成：重復(fù)下列過程，直至訓(xùn)練完成： 對(duì)訓(xùn)練集中的每一個(gè)樣本對(duì)訓(xùn)練集中的每一個(gè)樣本(xk, yk)，重復(fù)如下過程重復(fù)如下過程： 輸入輸入xk 計(jì)算計(jì)算 若輸出不正確，

32、則若輸出不正確，則 初始化權(quán)重向量初始化權(quán)重向量w = (w1, w2, , wn)，不妨取，不妨取w1= w2=,= wn=1 tkxwynikii,.,2,1,sgn1kiiikiiixwwyifxwwyif,1,1marvin minskymit media lab and mit ai labtoshiba professor of media arts and sciencesprofessor of e.e. and c.s., m.i.t1969年，年，minsky和和papert在在“perceptron”一書中從理論一書中從理論上證明單層

33、感知器無法解決上證明單層感知器無法解決許多簡(jiǎn)單的問題，包括許多簡(jiǎn)單的問題，包括“異異或或(xor)”問題。使得問題。使得ann理理論的發(fā)展在論的發(fā)展在197080年代處年代處于低潮。導(dǎo)致政府和企業(yè)資于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退助減少，研究人員撤退othersyxifyxf, 1,0),(f (x, y)y01x001110是一個(gè)雙輸入、單輸出問題。對(duì)應(yīng)的單層感知器為：是一個(gè)雙輸入、單輸出問題。對(duì)應(yīng)的單層感知器為：xyabzax+by= xy無論如何選擇參數(shù)無論如何選擇參數(shù)a，b， ，都無法滿足劃分。這種由單層，都無法滿足劃分。這種由單層感知器不能表達(dá)的問題稱為感知器不能表達(dá)的問

34、題稱為線性不可分問題線性不可分問題?？紤]考慮n個(gè)自變量的二值函數(shù)，當(dāng)個(gè)自變量的二值函數(shù)，當(dāng)n 4時(shí)，線性不可分的函數(shù)個(gè)數(shù)時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個(gè)數(shù)。自變量個(gè)數(shù) 函數(shù)的個(gè)數(shù) 線性可分函數(shù)的個(gè)數(shù)144216143256104465,5361,88254.3 10994,57261.8 10195,028,134（r. o. windner, 1960）表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的問題的數(shù)量問題的數(shù)量。一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多個(gè)單層網(wǎng)絡(luò)組一個(gè)單層網(wǎng)絡(luò)可以將

35、空間劃分成兩部分，用多個(gè)單層網(wǎng)絡(luò)組合在一起，并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)合在一起，并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)成一個(gè)二層網(wǎng)絡(luò)，即可用來在空間劃分出一個(gè)封閉或開放的成一個(gè)二層網(wǎng)絡(luò)，即可用來在空間劃分出一個(gè)封閉或開放的凸域（子空間）。凸域（子空間）。x1z0 xnz1zn 設(shè)有設(shè)有c 1個(gè)感知器，其中第個(gè)感知器，其中第k個(gè)感知器的輸出為個(gè)感知器的輸出為yk；對(duì)于；對(duì)于輸入信號(hào)輸入信號(hào)x = (x1, x2, , xn)，每個(gè)感知器有，每個(gè)感知器有d個(gè)輸入個(gè)輸入uj(x)，j=1, 2, , d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk輸

36、入層輸入層輸出層輸出層一個(gè)單層前向網(wǎng)可表示為：一個(gè)單層前向網(wǎng)可表示為： ckxuwxuwxykkkdjjkjk,.,2, 1)(,1 ：激活函數(shù)；：激活函數(shù)；wk=(wk1, wk2, , wkd) ：第：第k個(gè)感知器的權(quán)重系數(shù)；個(gè)感知器的權(quán)重系數(shù)； k：第：第k個(gè)感知器的閾值；個(gè)感知器的閾值；u=(u1, u2, , ud)：基函數(shù)：基函數(shù)x rn，u(x) rd若記若記wk0 = k ， u0=1，則上式變換為：，則上式變換為： ckxuwxydjjkjk,.,2, 10 記記yk(wk; x) 為第為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為個(gè)感知器當(dāng)權(quán)重系數(shù)為wk rd，輸入為，輸入為x rn時(shí)的輸出。

37、時(shí)的輸出。 設(shè)訓(xùn)練集為設(shè)訓(xùn)練集為a = (x , t ) | =1, 2, , n ，其中，其中 表示訓(xùn)練集表示訓(xùn)練集數(shù)據(jù)編號(hào)，數(shù)據(jù)編號(hào)，x rn為輸入，為輸入，t rc為輸出，為輸出， tk 為第為第k個(gè)感知器的個(gè)感知器的期望輸出。期望輸出。 基于訓(xùn)練集基于訓(xùn)練集a的誤差函數(shù)定義為：的誤差函數(shù)定義為：nckkkktxwywe112;21)( 學(xué)習(xí)的目標(biāo)就是求學(xué)習(xí)的目標(biāo)就是求wk ，k=1,2,c，使得誤差函數(shù)，使得誤差函數(shù)e(w)取最取最小值：小值：)(minwea這就是這就是。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。關(guān)于基函數(shù)關(guān)于基函

38、數(shù)u(x)，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，記：，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，記：dduuuxuxuxuu,.,)(),.,(),(2121其中其中 =1, 2, , n。由此，定義學(xué)習(xí)集。由此，定義學(xué)習(xí)集a的擴(kuò)展集的擴(kuò)展集b：ntub,.,2,1),(不妨假設(shè)激活函數(shù)不妨假設(shè)激活函數(shù) 為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此寫出誤差函數(shù)：由此寫出誤差函數(shù)： nckkkdjjkjnckkdjjkjtuwtuwwe112111202121)(優(yōu)化的目標(biāo)函數(shù)為：優(yōu)化的目標(biāo)函數(shù)為：)(minweb根據(jù)最小二乘法求解目標(biāo)函數(shù)。根據(jù)最小二乘法求解目標(biāo)函數(shù)。由多元函數(shù)取極值的必要條

39、件，有：由多元函數(shù)取極值的必要條件，有：djckwwekj,.,1 ,0;,.,10)(jndikikikjutuwwwe 10)(010 jndikikiutuwnjkdinjikiutuuw101寫成矩陣形式寫成矩陣形式utuuwttcdccddwwwwwwwwww.102212011110ndnndduuuuuuuuuu.102212011110ncnncctttttttttt.212222111211解的形式為：解的形式為：1uuutwtt解存在的條件？解存在的條件？（略）（略）多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn)：多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn)：1、允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元；、允許網(wǎng)絡(luò)具有數(shù)層相連的處理

40、單元；2、聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn)，不存在、聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn)，不存在其它聯(lián)結(jié)；其它聯(lián)結(jié)；3、同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié)；、同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié)；4、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。l層神經(jīng)網(wǎng)絡(luò)：具有層神經(jīng)網(wǎng)絡(luò)：具有l(wèi)層可調(diào)節(jié)權(quán)重參數(shù)層可調(diào)節(jié)權(quán)重參數(shù)12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò)。饋的人

41、工神經(jīng)網(wǎng)絡(luò)。x層層輸入層輸入層y層層輸出層輸出層z層層隱層隱層兩層可調(diào)節(jié)權(quán)重參數(shù)：兩層可調(diào)節(jié)權(quán)重參數(shù)：w(1)、w(2)設(shè)輸入層的輸入為設(shè)輸入層的輸入為(x1, x2, , xn) rn。首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為 。第。第j個(gè)隱層個(gè)隱層神經(jīng)元的整合函數(shù)為神經(jīng)元的整合函數(shù)為aj、輸出值為、輸出值為zj：mjazxwxwajjniijinijijij,.,2,10)1(1)1()1()1(jiw第第1層（隱層）層（隱層）權(quán)重矩陣中第權(quán)重矩陣中第i個(gè)個(gè)輸入聯(lián)結(jié)到第輸入聯(lián)結(jié)到第j個(gè)個(gè)隱神經(jīng)元的權(quán)重隱神經(jīng)元的權(quán)重)1(j第第j個(gè)隱神經(jīng)元的個(gè)隱神經(jīng)元的閾

42、值閾值12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為 。第。第k個(gè)個(gè)輸出神經(jīng)元以輸出神經(jīng)元以z=(z1, z2, , zm) rm為輸入，其整合函數(shù)為為輸入，其整合函數(shù)為bk、輸出值為輸出值為yk：ckbyzwzwbkkmjjkjmjkjkjk,.,2,10)2(1)2()2()2(kjw第第2層（輸出層）層（輸出層）權(quán)重矩陣中第權(quán)重矩陣中第j個(gè)隱神經(jīng)元聯(lián)個(gè)隱神經(jīng)元聯(lián)結(jié)到第結(jié)到第k個(gè)輸出個(gè)輸出神經(jīng)元的權(quán)重神經(jīng)元的權(quán)重第第k個(gè)輸出神經(jīng)元個(gè)輸出神經(jīng)元的閾

43、值的閾值)2(k12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)ckxwwxwwymjniijikjmjknijijikjk,.,2,1,00)1()2(1)2(1)1()1()2(記為：記為：xwwty;,)2()1()2()1(為簡(jiǎn)化計(jì)，考慮兩類的分類問題。為簡(jiǎn)化計(jì)，考慮兩類的分類問題。設(shè)設(shè)a、b是分類空間是分類空間rd中兩個(gè)不相交的集合?？紤]離散型雙層前中兩個(gè)

44、不相交的集合?？紤]離散型雙層前向網(wǎng)向網(wǎng)t(w(1),w(2), (1), (2); x)，取其激活函數(shù)，取其激活函數(shù) 、 為符號(hào)函數(shù)為符號(hào)函數(shù)sgn (u)。bxaxxwwt, 1, 1);,()2()1()2()1(該雙層前向網(wǎng)的學(xué)習(xí)目標(biāo)是，對(duì)該雙層前向網(wǎng)的學(xué)習(xí)目標(biāo)是，對(duì)(a, b)求求(w(1),w(2), (1), (2)使得：使得：求解上述方程。求解上述方程。多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，在網(wǎng)絡(luò)中多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，在網(wǎng)絡(luò)中調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。與單層前向網(wǎng)和感知器相比較，多

45、層前向網(wǎng)由于隱層的存在，與單層前向網(wǎng)和感知器相比較，多層前向網(wǎng)由于隱層的存在，無法判別隱層神經(jīng)元對(duì)輸入誤差的直接影響（無法知道隱層神無法判別隱層神經(jīng)元對(duì)輸入誤差的直接影響（無法知道隱層神經(jīng)元的理想輸出值）。因此，對(duì)參數(shù)權(quán)重矩陣和閾值的調(diào)整遇經(jīng)元的理想輸出值）。因此，對(duì)參數(shù)權(quán)重矩陣和閾值的調(diào)整遇到困難。到困難。12m21 x1n y112c y2 yc w(1) w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y) x2 xn解決方案解決方案計(jì)算兩個(gè)傳播方向：計(jì)算兩個(gè)傳播方向：“前向傳播前向傳播(forward propagation)”：輸入：輸入xi進(jìn)入網(wǎng)絡(luò)，按照進(jìn)入網(wǎng)絡(luò)，按照信息在網(wǎng)

46、絡(luò)中前進(jìn)移動(dòng)的方向，逐次計(jì)算信息在網(wǎng)絡(luò)中前進(jìn)移動(dòng)的方向，逐次計(jì)算aj，zj直至輸出直至輸出yk的的過程；（輸入向輸出方向的前向傳播）過程；（輸入向輸出方向的前向傳播）“后向傳播后向傳播(back propagation)”：利用輸出層的誤差來估計(jì)輸：利用輸出層的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再依次估計(jì)更前一層的誤差，獲得出層的直接前導(dǎo)層的誤差，再依次估計(jì)更前一層的誤差，獲得所有各層的誤差估計(jì)。（輸出誤差向輸入方向的后向傳播）所有各層的誤差估計(jì)。（輸出誤差向輸入方向的后向傳播）（rumelhart, hinton & williams, 1986）12m21 x1n y112c y

47、2 yc w(1) w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y) x2 xn設(shè)學(xué)習(xí)集有設(shè)學(xué)習(xí)集有t個(gè)樣本，記為個(gè)樣本，記為x , t ， =1, 2, , t，其中：，其中：ccnnrttttrxxxx,.,.,2121輸入輸入理想輸出理想輸出ccryyyy,.,21計(jì)算實(shí)際輸出，記為：計(jì)算實(shí)際輸出，記為：實(shí)際輸出實(shí)際輸出顯然有：顯然有：2,11)()(lwewetlijlij因此只需討論某一個(gè)樣本點(diǎn)的誤差傳播，以下略去上標(biāo)因此只需討論某一個(gè)樣本點(diǎn)的誤差傳播，以下略去上標(biāo) 。故誤差函數(shù)為：故誤差函數(shù)為：tckkktcttyyyyeee112121121,.,mjazxwxwajj

48、niijinijijij,.,2,10)1(1)1()1(ckbyzwzwbkkmjjkjmjkjkjk,.,2,10)2(1)2()2(已知下列記號(hào)：已知下列記號(hào)：又定義第又定義第k個(gè)輸出神經(jīng)元和第個(gè)輸出神經(jīng)元和第j個(gè)隱層神經(jīng)元的個(gè)隱層神經(jīng)元的為：為：mjaeckbejjkk,.,2,1,.,2,1,)1()2(輸出層誤差率輸出層誤差率隱層誤差率隱層誤差率由微分鏈?zhǔn)椒▌t，計(jì)算可得：由微分鏈?zhǔn)椒▌t，計(jì)算可得：ckkkjjjjckjkkkkjjwaazzbbyyeae1)2()2(1)1(輸出層誤差率輸出層誤差率隱層誤差率隱層誤差率kkkkkkkyebbyyebe)2(因此，得到：因此，得到：i

49、jjijjjijkkjkkkjxwaaewezwbbewe)1()1()1()2()2()2()2(k)1(j)1()2(jikjwewe(1)(2)kjijewew取步長(zhǎng)因子為固定步長(zhǎng)取步長(zhǎng)因子為固定步長(zhǎng) ，得到學(xué)習(xí)規(guī)則：，得到學(xué)習(xí)規(guī)則：tijjitjkkjxwzw1)1()1(1)2()2(其中其中 k(2)、 k(1)均與均與 有關(guān)，有關(guān)，k=1,2,c；j=0, 1,m；i=0, 1, , n。已知已知d rn是一個(gè)凸集。求解無約束優(yōu)化問題是一個(gè)凸集。求解無約束優(yōu)化問題)(minxfdx就是尋求就是尋求x* d使得使得)()(minxfxfdx若若f (x)為連續(xù)可微凸函數(shù)，問題歸結(jié)為

50、求解為連續(xù)可微凸函數(shù)，問題歸結(jié)為求解nrxf00)(可運(yùn)用可運(yùn)用newton迭代法數(shù)值求解。迭代法數(shù)值求解。（但（但f (x) 的凸性難以保證，求解也非常困難的凸性難以保證，求解也非常困難）構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：,.1,01kxfxxkkkk滿足：滿足：0kkkxfxf1 k0：步長(zhǎng)因子步長(zhǎng)因子設(shè)學(xué)習(xí)集有設(shè)學(xué)習(xí)集有t個(gè)樣本，記為個(gè)樣本，記為x , t ， =1, 2, , t，其中：，其中：ccnnrttttrxxxx,.,.,2121輸入輸入理想輸出理想輸出又設(shè)又設(shè)k=1,2,c；j=0, 1,m；i=0, 1, , n。對(duì)于給定的。對(duì)于給定

51、的 =1, 2, , t，指標(biāo)，指標(biāo) 仍然不標(biāo)出。仍然不標(biāo)出。 初始化權(quán)重矩陣和閾值初始化權(quán)重矩陣和閾值wji(1)(0)、 wkj(2)(0) （已包含（已包含閾值）閾值），選擇學(xué)習(xí)效率，選擇學(xué)習(xí)效率 。 設(shè)第設(shè)第t次迭代值次迭代值wji(1)(t)、 wkj(2)(t)已知，已知， （1）前向過程：對(duì)）前向過程：對(duì) =1, 2, , t，依次計(jì)算：，依次計(jì)算： （2）后向過程：利用公式）后向過程：利用公式對(duì)對(duì) =1, 2, , n，依次計(jì)算，依次計(jì)算kkjjybza,)1()2(,jkkkkyeb)2(ckkkjjjwa1)2()2()1( 設(shè)第設(shè)第t次迭代值次迭代值wji(1)(t)、

52、wkj(2)(t)已知，已知，. （3）迭代過程：計(jì)算第）迭代過程：計(jì)算第t +1次權(quán)重矩陣次權(quán)重矩陣 tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11 由此得到序列由此得到序列 滿足滿足直至滿足停機(jī)準(zhǔn)則（滿足某種優(yōu)化準(zhǔn)則，或者迭代次數(shù)）直至滿足停機(jī)準(zhǔn)則（滿足某種優(yōu)化準(zhǔn)則，或者迭代次數(shù)）)(),(),(),()2()1()2()1(twtwttkjjikjckkkjjjjkkkkwaaeyebbe1)2()2()1()2( tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)

53、為：考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)為： ueuu11誤差函數(shù)為：誤差函數(shù)為：ntckkketye111221注意到：注意到：2 , 1)(1)()(luuukkkkkkktytyyye2)(21于是有于是有ckkkjjjjkkkkkwaatybb1)2()2()1()2()(1)()(1)(其中：其中：jjniijijazxwa0)1(kkmjjkjkbyzwb0)2(利用：利用： tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11得到迭代公式。得到迭代公式。（感知器算法具有優(yōu)勢(shì)）（感知器算法具有優(yōu)勢(shì)）例子：原核基因例子：原核基因rbs（核糖體結(jié)合位

54、點(diǎn)）（核糖體結(jié)合位點(diǎn)）e. coli翻譯起始翻譯起始位點(diǎn)的序列特征的分析位點(diǎn)的序列特征的分析參考文獻(xiàn)：參考文獻(xiàn)：g. d. stormo, t. d. schneider, l. m. gold, and a. ehrenfeucht. use of the perceptron algorithm to distinguish translational initiation sites in e. coli. nucleic acid research. (1982) 10:2997-3011g. d. stormo, t. d. schneider, and l. m. gold. ch

55、aracterization of translational initiation sites in e. coli. nucleic acid research (1982) 10:2971-2996（bp算法得到廣泛的應(yīng)用）算法得到廣泛的應(yīng)用）參考文獻(xiàn)：參考文獻(xiàn)：n. qian and t. j. sejnowski. predicting the secondary structure of globular proteins using neural network models. journal of molecular biology, (1988) 202: 865-884h. bohr, j. bohr, s. brunak et. al. protein secondary structures and homolog