人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件

第六章人工神經(jīng)網(wǎng)絡(luò)（ANN）方法簡(jiǎn)介第六章1§6.1從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件2大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。也正是有了這樣的復(fù)雜巨系統(tǒng)，大腦才能擔(dān)負(fù)起人類認(rèn)識(shí)世界和改造世界的任務(wù)?！笆澜缟献畲蟮奈撮_(kāi)發(fā)疆域，是我們兩耳之間的空間?！保绹?guó)漢諾威保險(xiǎn)公司總裁比爾·奧伯萊恩）1、生物神經(jīng)系統(tǒng)和大腦的復(fù)雜性生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng)。生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能，其復(fù)雜性是難以想象的。大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的3①人大腦平均只有3磅左右。只占身體重量比例的1/30；②使眼睛可以辨別1000萬(wàn)種細(xì)微的顏色；③使肌肉(如果全部向同一個(gè)方向運(yùn)動(dòng))產(chǎn)生25噸的拉力；④是由100億個(gè)腦細(xì)胞和10兆個(gè)神經(jīng)交匯叢組成。整個(gè)大腦的神經(jīng)網(wǎng)絡(luò)足足有10英里長(zhǎng)。大腦的有關(guān)數(shù)據(jù)①人大腦平均只有3磅左右。只占身體重量比例的1/30；大4“你的大腦就像一個(gè)沉睡的巨人?！保ㄓ?guó)的心理學(xué)家、教育家托尼·布贊）“如果我們迫使頭腦開(kāi)足1/4的馬力，我們就會(huì)毫不費(fèi)力地學(xué)會(huì)40種語(yǔ)言，把整個(gè)百科全書(shū)從頭到尾背下來(lái)，還可以完成十幾個(gè)大學(xué)的博士學(xué)位?！保ㄇ疤K聯(lián)學(xué)者伊凡）——一個(gè)正常的大腦記憶容量有大約6億本書(shū)的知識(shí)總量，相當(dāng)于一部大型電腦儲(chǔ)存量的120萬(wàn)倍——大腦使你從出生開(kāi)始每一秒鐘可存儲(chǔ)1000條信息，直到老死為止——全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞——即使世界上記憶力最好的人，其大腦的使用也沒(méi)有達(dá)到其功能的1%人類的知識(shí)與智慧，仍是“低度開(kāi)發(fā)”！人的大腦是個(gè)無(wú)盡寶藏，可惜的是每個(gè)人終其一生，都忽略了如何有效地發(fā)揮它的“潛能”——潛意識(shí)中激發(fā)出來(lái)的能量。大腦復(fù)雜性的無(wú)限性“你的大腦就像一個(gè)沉睡的巨人?！保ㄓ?guó)的心理學(xué)家、教育家52、人工智能及其三個(gè)學(xué)派人類的夢(mèng)想重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。（無(wú)數(shù)科幻故事）探索智能的奧秘智能（intelligence）

“觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力”(牛津大辭典)“理解和各種適應(yīng)性行為的能力”(韋氏大辭典)智能是個(gè)體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力；也可以說(shuō)是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。2、人工智能及其三個(gè)學(xué)派人類的夢(mèng)想重新構(gòu)造人腦，并讓其6人類智能的具體含義

感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力；通過(guò)學(xué)習(xí)獲得經(jīng)驗(yàn)、積累知識(shí)的能力；理解知識(shí)、運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力；聯(lián)想、推理、判斷、決策的能力；運(yùn)用語(yǔ)言進(jìn)行抽象、概括的能力；以上5點(diǎn)是人類智能的基本能力。發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力；實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力；預(yù)測(cè)、洞察事物發(fā)展、變化的能力。以上3點(diǎn)是前5種能力新的綜合表現(xiàn)形式。人類智能的具體含義感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能7人工智能“人工智能（ArtificialIntelligence）”

1956年初次引入人工智能研究怎樣用計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問(wèn)題。目的之一：增加人類探索世界、推動(dòng)社會(huì)前進(jìn)的能力

通過(guò)制造和使用工具來(lái)加強(qiáng)和延伸人類的生存、發(fā)展。目的之二：進(jìn)一步認(rèn)識(shí)自己。

用物化的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程和規(guī)律。人工智能8人工智能的3個(gè)主要流派1991年，人工智能學(xué)家D.Krish在《Int.J.ArtificialIntelligence》上提出人工智能的5個(gè)基本問(wèn)題：知識(shí)和概念化是否人工智能的核心？認(rèn)知能力能否與載體分開(kāi)來(lái)研究？認(rèn)知的軌跡是否可以用類自然語(yǔ)言來(lái)描述？學(xué)習(xí)能力能否與認(rèn)知分開(kāi)來(lái)研究？所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu)？對(duì)以上5個(gè)基本問(wèn)題的不同回答已經(jīng)形成3個(gè)主要的學(xué)術(shù)流派：符號(hào)主義（Symbolicisim）聯(lián)結(jié)主義（connetionism）行為主義（actionism）人工智能的3個(gè)主要流派1991年，人工智能學(xué)家D.Kris9人工智能的符號(hào)主義流派即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以知識(shí)為基礎(chǔ)，通過(guò)推理來(lái)進(jìn)行問(wèn)題求解，在研究方法上采用計(jì)算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法Simon、Minsky和Newell等認(rèn)為，人和計(jì)算機(jī)都是一個(gè)物理符號(hào)系統(tǒng)，因此可用計(jì)算機(jī)的符號(hào)演算來(lái)模擬人的認(rèn)知過(guò)程；作為智能基礎(chǔ)的知識(shí)是可用符號(hào)表示的一種信息形式，因此人工智能的核心問(wèn)題是知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用的信息處理過(guò)程。符號(hào)主義對(duì)符號(hào)系統(tǒng)的描述人工智能的符號(hào)主義流派即傳統(tǒng)的人工智能，認(rèn)為人工智能源于10人工智能的聯(lián)結(jié)主義流派又稱仿生學(xué)派，認(rèn)為人工智能源于仿生學(xué)，人思維的基本單元是神經(jīng)元，而非符號(hào)處理過(guò)程，主張用大腦工作模式取代符號(hào)操作的電腦工作模式；智能的本質(zhì)是聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)；“結(jié)構(gòu)－功能”的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的；1943年，McCulloch和Pitts從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型——MP模型。此為人工神經(jīng)網(wǎng)絡(luò)研究之始。人工智能的聯(lián)結(jié)主義流派又稱仿生學(xué)派，認(rèn)為人工智能源于仿生11人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）從四個(gè)方面刻畫(huà)人腦的基本特征：（1）、物理結(jié)構(gòu)模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò)CellbodyAxonNucleusSynapse突觸Dendrite樹(shù)突人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwo12（2）、計(jì)算模擬人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能，又通過(guò)聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng)，人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上。ANN以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ)，同樣實(shí)現(xiàn)信息的大規(guī)模并行處理。（3）、存儲(chǔ)與操作大腦對(duì)信息的記憶是通過(guò)改變突觸的聯(lián)結(jié)強(qiáng)度來(lái)實(shí)現(xiàn)并分布存儲(chǔ)。ANN模擬信息的大規(guī)模分布存儲(chǔ)。（4）、訓(xùn)練后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性。ANN根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過(guò)程，自動(dòng)從“實(shí)踐”（即訓(xùn)練樣本）中獲取相關(guān)知識(shí)，并存儲(chǔ)在系統(tǒng)中。（2）、計(jì)算模擬13人工智能的行為主義流派“進(jìn)化主義學(xué)派”、“控制論學(xué)派”；認(rèn)為人工智能來(lái)源于控制論，智能取決于感知和行動(dòng)。提出智能行為的“感知－動(dòng)作”模式，采用行為模擬方法；對(duì)符號(hào)主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識(shí)、表示和推理，只需要與環(huán)境交互作用）80年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科（R.A.Brooks），為機(jī)器人研究開(kāi)創(chuàng)了新的方法。人工智能的行為主義流派14ANN是基于聯(lián)結(jié)主義流派的人工智能聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合，發(fā)展為計(jì)算智能學(xué)派，是人工智能在1980年代后的深化和發(fā)展計(jì)算智能：借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制、生命演化過(guò)程和人的智能行為，從而進(jìn)行信息獲取、處理、應(yīng)用的理論和方法計(jì)算智能是以數(shù)學(xué)模型、計(jì)算模型為基礎(chǔ)，以分布、并行、仿生計(jì)算為特征，包含數(shù)據(jù)、算法和實(shí)現(xiàn)的信息系統(tǒng)計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成，強(qiáng)調(diào)系統(tǒng)的自組織、自學(xué)習(xí)和自適應(yīng)計(jì)算智能的3個(gè)主要分支：

人工神經(jīng)網(wǎng)絡(luò)（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)）

遺傳算法（模擬生命生成過(guò)程與智能進(jìn)化過(guò)程）

模糊邏輯（模擬智能的表現(xiàn)行為）ANN是基于聯(lián)結(jié)主義流派的人工智能聯(lián)結(jié)主義學(xué)派與高速發(fā)展153、人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。James（《心理學(xué)》，1890年）：大腦皮層每一點(diǎn)的活力產(chǎn)生于其它點(diǎn)勢(shì)能釋放的綜合效能，即其它點(diǎn)的興奮次數(shù)、強(qiáng)度和所接受的能量。大腦含～1011個(gè)神經(jīng)元，它們通過(guò)～

1015個(gè)聯(lián)結(jié)構(gòu)成一個(gè)網(wǎng)絡(luò)。每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號(hào)的能力，這種傳遞由神經(jīng)通道來(lái)完成。3、人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)是受生物神16神經(jīng)元的結(jié)構(gòu)樹(shù)突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號(hào)的聯(lián)結(jié)點(diǎn)為突觸。通過(guò)突觸輸入的信號(hào)起著興奮/抑制作用。當(dāng)細(xì)胞體接受的累加興奮作用超過(guò)某閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生沖動(dòng)，并由軸突輸出。CellbodyAxonNucleusSynapse突觸Dendrite樹(shù)突神經(jīng)元的結(jié)構(gòu)CellbodyAxonNucleusSyna17神經(jīng)元系統(tǒng)的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件18ANN理論及其發(fā)展階段w1Z=wixiw2wnx1x2xny=f(wixi-)軸突突觸樹(shù)突內(nèi)核軸突第一階段1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts對(duì)神經(jīng)元進(jìn)行形式化研究，提出了神經(jīng)元的數(shù)學(xué)模型——MP模型。1944年，D.O.Hebb提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的Hebb學(xué)習(xí)規(guī)則，至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則。1957年，Rosenblatt首次引進(jìn)感知器(Perceptron)概念來(lái)模擬生物的感知、學(xué)習(xí)能力。1962年，Widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。ANN理論及其發(fā)展階段w1Z=wixiw2wnx1x2x19第二階段1969年，M.L.Minsky和S.Papert從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)模型無(wú)法解決的許多簡(jiǎn)單問(wèn)題，包括最基本的“異或(XOR)”問(wèn)題。使ANN理論的發(fā)展進(jìn)入一個(gè)低谷；1974年，Webos提出BP學(xué)習(xí)理論；S.Grossberg提出自適應(yīng)共振理論（ART）。第三階段突破性進(jìn)展：1982年，CalTech的物理學(xué)家J.Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)系統(tǒng)(HNNS)模型，提出能量函數(shù)的概念，用非線性動(dòng)力學(xué)方法來(lái)研究ANN，開(kāi)拓了ANN用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑；1988年，McClelland和Rumelhart利用多層反饋學(xué)習(xí)算法解決了“異或（XOR）”問(wèn)題。第二階段第三階段20人工神經(jīng)網(wǎng)絡(luò)的幾種形式無(wú)反饋前向網(wǎng)多輸入、多輸出的多層無(wú)環(huán)圖，同一層間無(wú)聯(lián)結(jié)。神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層人工神經(jīng)網(wǎng)絡(luò)的幾種形式無(wú)反饋前向網(wǎng)21有反饋前向網(wǎng)從輸出層到輸入層存在反饋的前向網(wǎng)。有反饋前向網(wǎng)22層內(nèi)有聯(lián)結(jié)的前向網(wǎng)在無(wú)反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。層內(nèi)有聯(lián)結(jié)的前向網(wǎng)23有向網(wǎng)任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié)。網(wǎng)絡(luò)處在動(dòng)態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。有向網(wǎng)24§6.2感知器（Perceptron）——人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件25感知器（Perceptron）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。W.McCulloch和W.Pitts總結(jié)生物神經(jīng)元的基本生理特征，提出一種簡(jiǎn)單的數(shù)學(xué)模型與構(gòu)造方法，建立了閾值加權(quán)和模型，簡(jiǎn)稱M-P模型(“ALogicalCalculusImmanentinNervousActivity”,BulletinofMathematicalBiophysics,1943(5):115~133）。人工神經(jīng)元模型是M-P模型的基礎(chǔ)。1、感知器的數(shù)學(xué)模型——MP模型WarrenMcCulloch（1898－1969）WalterPitts(1923－1969)感知器（Perceptron）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)26生物神經(jīng)元的基本特征

神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值突觸樹(shù)突軸突突觸樹(shù)突內(nèi)核軸突生物神經(jīng)元的基本特征樹(shù)突軸突突觸樹(shù)突內(nèi)核軸突27模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和（生物神經(jīng)元的一階特征）人工神經(jīng)元可以接受一組來(lái)自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度。w1wixiw2wnx1x2xn數(shù)學(xué)模型——多輸入、單輸出的加權(quán)和結(jié)構(gòu)w1wixiw2wnx1x2xn數(shù)學(xué)模型28設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=(w1,w2,…,wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：稱u(X)為整合函數(shù)。w1wixiw2wnx1x2xn設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=29感知器的激活函數(shù)神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)u(X)大于某閾值時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀態(tài)。構(gòu)造激活函數(shù)，用于表示這一轉(zhuǎn)換過(guò)程。要求是[-1,1]之間的單調(diào)遞增函數(shù)。激活函數(shù)通常為3種類型，由此決定了神經(jīng)元的輸出特征。感知器的激活函數(shù)30激活函數(shù)為符號(hào)函數(shù)：1-1u激活函數(shù)為符號(hào)函數(shù)：1-1u31激活函數(shù)為分段線性函數(shù)：1-1u激活函數(shù)為分段線性函數(shù)：1-1u32激活函數(shù)為Sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征。1-1u激活函數(shù)為Sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有33M-P模型將人工神經(jīng)元的基本模型與激活函數(shù)結(jié)合，即McCulloch–Pitts模型。w1u=wixiw2wnx1x2xny=(u(X)-)M-P模型w1u=wixiw2wnx1x2xny=342、感知器的學(xué)習(xí)算法什么是“學(xué)習(xí)”？“Theconceptualschemefor‘learning’inthiscontextisamachinewithaninputchannelforfigures,apairofYESandNOoutputindicators,andareinforcementor‘reward’buttonthatthemachine’soperatorcanusetoindicatehisapprovalordisapprovalofthemachine’sbehavior.”——M.L.MinskyandS.A.Papert,“Perceptron”(1988)2、感知器的學(xué)習(xí)算法35ANN學(xué)習(xí)定理——ANN可以學(xué)會(huì)它表達(dá)的任何東西。（Rosenblatt，1962年）ANN的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。ANN的學(xué)習(xí)過(guò)程就是訓(xùn)練過(guò)程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過(guò)程中，按照一定的方式來(lái)調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來(lái)，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵?。有監(jiān)督的學(xué)習(xí)（Supervisedlearning）無(wú)監(jiān)督的學(xué)習(xí)（Unsupervisedlearning）人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件36基本思想感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問(wèn)題歸結(jié)為求權(quán)重系數(shù)W=(w1,w2,…,wn)和閾值的問(wèn)題?；舅枷耄褐鸩綄⒂?xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸出結(jié)果和理想輸出結(jié)果之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)重值。w1u=wixiw2wnx1x2xny=(u(X)-)基本思想w1u=wixiw2wnx1x2xny=(37設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=(w1,w2,…,wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取符號(hào)函數(shù)為激活函數(shù)，此為經(jīng)典的M-P模型：w1u=wixiw2wnx1x2xn+1or-1設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=38訓(xùn)練集的樣本（輸入向量、輸出值）為：t為樣本數(shù)目。其中，訓(xùn)練集的樣本（輸入向量、輸出值）為：t為樣本數(shù)目。其中，39STEP2

重復(fù)下列過(guò)程，直至訓(xùn)練完成：

STEP2.1

對(duì)訓(xùn)練集中的每一個(gè)樣本(xk,yk)，重復(fù)如下過(guò)程：

STEP2.1.1

輸入xk

STEP2.1.2

計(jì)算

STEP2.1.3

若輸出不正確，則STEP1

初始化權(quán)重向量W=(w1,w2,…,wn)，不妨取w1=w2=…,=wn=1~~~STEP2重復(fù)下列過(guò)程，直至訓(xùn)練完成：STEP1初始403、關(guān)于感知器的基本理論問(wèn)題“線性不可分”問(wèn)題的困境及其解決MarvinMinskyMITMediaLabandMITAILab

ToshibaProfessorofMediaArtsandSciences

ProfessorofE.E.andC.S.,M.I.T

minsky@1969年，Minsky和Papert在“Perceptron”一書(shū)中從理論上證明單層感知器無(wú)法解決許多簡(jiǎn)單的問(wèn)題，包括“異或(XOR)”問(wèn)題。使得ANN理論的發(fā)展在1970～80年代處于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退……3、關(guān)于感知器的基本理論問(wèn)題“線性不可分”問(wèn)題的困境及其41“異或(Exclusive-OR)”運(yùn)算f(x,y)y01x001110是一個(gè)雙輸入、單輸出問(wèn)題。對(duì)應(yīng)的單層感知器為：xyabzax+by=xy無(wú)論如何選擇參數(shù)a，b，，都無(wú)法滿足劃分。這種由單層感知器不能表達(dá)的問(wèn)題稱為線性不可分問(wèn)題?！爱惢?Exclusive-OR)”運(yùn)算f(x,y)y042考慮n個(gè)自變量的二值函數(shù)，當(dāng)n4時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過(guò)線性可分函數(shù)的個(gè)數(shù)。自變量個(gè)數(shù)函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)144216143256104465,5361,88254.310994,57261.810195,028,134（R.O.Windner,1960）表明單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)它可以表達(dá)的問(wèn)題的數(shù)量?？紤]n個(gè)自變量的二值函數(shù)，當(dāng)n4時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)43解決途徑——多層網(wǎng)絡(luò)一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多個(gè)單層網(wǎng)絡(luò)組合在一起，并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)成一個(gè)二層網(wǎng)絡(luò)，即可用來(lái)在空間劃分出一個(gè)封閉或開(kāi)放的凸域（子空間）。x1z0xnz1zn解決途徑——多層網(wǎng)絡(luò)一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多44感知器學(xué)習(xí)算法的計(jì)算問(wèn)題算法的收斂性對(duì)于線性可分問(wèn)題，感知器的學(xué)習(xí)算法是收斂的。算法的復(fù)雜度（略）算法的容量（略）感知器學(xué)習(xí)算法的計(jì)算問(wèn)題算法的收斂性45非線性感知器取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng)。其學(xué)習(xí)過(guò)程涉及到求解非線性方程組的方法。高階感知器主要討論可線性化的非線性傳感器系統(tǒng)。非線性感知器取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng)。其學(xué)習(xí)過(guò)46§6.3單層前向網(wǎng)、多層前向網(wǎng)與BP學(xué)習(xí)算法簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件471、單層前向網(wǎng)絡(luò)單層前向網(wǎng)模型設(shè)有c

1個(gè)感知器，其中第k個(gè)感知器的輸出為yk；對(duì)于輸入信號(hào)x=(x1,x2,…,xn)，每個(gè)感知器有d個(gè)輸入uj(x)，j=1,2,…,d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk輸入層輸出層1、單層前向網(wǎng)絡(luò)單層前向網(wǎng)模型設(shè)有c48一個(gè)單層前向網(wǎng)可表示為：：激活函數(shù)；wk=(wk1,wk2,…,wkd)：第k個(gè)感知器的權(quán)重系數(shù)；k：第k個(gè)感知器的閾值；u=(u1,u2,…,ud)：基函數(shù)xRn，u(x)Rd若記wk0=k，u0=－1，則上式變換為：一個(gè)單層前向網(wǎng)可表示為：：激活函數(shù)；49記yk(wk;x)為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wkRd，輸入為xRn時(shí)的輸出。設(shè)訓(xùn)練集為A={(x,t)|=1,2,…,N}，其中表示訓(xùn)練集數(shù)據(jù)編號(hào)，xRn為輸入，tRc為輸出，tk為第k個(gè)感知器的期望輸出?；谟?xùn)練集A的誤差函數(shù)定義為：?jiǎn)螌忧跋蚓W(wǎng)的學(xué)習(xí)目標(biāo)函數(shù)記yk(wk;x)為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wk50學(xué)習(xí)的目標(biāo)就是求wk，k=1,2,…,c，使得誤差函數(shù)E(w)取最小值：這就是目標(biāo)函數(shù)。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。學(xué)習(xí)的目標(biāo)就是求wk，k=1,2,…,c，使得誤差51線性單層前向網(wǎng)的解關(guān)于基函數(shù)u(x)，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，記：其中=1,2,…,N。由此，定義學(xué)習(xí)集A的擴(kuò)展集B：線性單層前向網(wǎng)的解關(guān)于基函數(shù)u(x)，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，52不妨假設(shè)激活函數(shù)為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此寫(xiě)出誤差函數(shù)：優(yōu)化的目標(biāo)函數(shù)為：不妨假設(shè)激活函數(shù)為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此53根據(jù)最小二乘法求解目標(biāo)函數(shù)。由多元函數(shù)取極值的必要條件，有：根據(jù)最小二乘法求解目標(biāo)函數(shù)。54寫(xiě)成矩陣形式W:c(d1)U:N(d1)T:Nc寫(xiě)成矩陣形式W:c(d1)55解的形式為：解存在的條件？（略）解的形式為：解存在的條件？562、多層前向網(wǎng)絡(luò)、BP學(xué)習(xí)算法雙層前向網(wǎng)多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn)：1、允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元；2、聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn)，不存在其它聯(lián)結(jié)；3、同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié)；4、不含任何反饋，故輸出可以用輸入和權(quán)重來(lái)表示。L層神經(jīng)網(wǎng)絡(luò)：具有L層可調(diào)節(jié)權(quán)重參數(shù)2、多層前向網(wǎng)絡(luò)、BP學(xué)習(xí)算法雙層前向網(wǎng)多層前向網(wǎng)的結(jié)構(gòu)5712M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無(wú)聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò)。X層——輸入層Y層——輸出層Z層——隱層兩層可調(diào)節(jié)權(quán)重參數(shù)：W(1)、W(2)12M21x1xNNx2y112cy2ycW(1)W(2)輸58設(shè)輸入層的輸入為(x1,x2,…,xn)Rn。首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為。第j個(gè)隱層神經(jīng)元的整合函數(shù)為aj、輸出值為zj：第1層（隱層）權(quán)重矩陣中第i個(gè)輸入聯(lián)結(jié)到第j個(gè)隱神經(jīng)元的權(quán)重第j個(gè)隱神經(jīng)元的閾值12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)設(shè)輸入層的輸入為(x1,x2,…,xn)Rn。首先考59同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為。第k個(gè)輸出神經(jīng)元以z=(z1,z2,…,zM)RM為輸入，其整合函數(shù)為bk、輸出值為yk：第2層（輸出層）權(quán)重矩陣中第j個(gè)隱神經(jīng)元聯(lián)結(jié)到第k個(gè)輸出神經(jīng)元的權(quán)重第k個(gè)輸出神經(jīng)元的閾值12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為。第k個(gè)輸出神經(jīng)60聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)記為：聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：12M21x1xNNx2y161學(xué)習(xí)的目標(biāo)函數(shù)為簡(jiǎn)化計(jì)，考慮兩類的分類問(wèn)題。設(shè)A、B是分類空間Rd中兩個(gè)不相交的集合?？紤]離散型雙層前向網(wǎng)T(W(1),W(2),(1),(2);x)，取其激活函數(shù)、為符號(hào)函數(shù)sgn(u)。該雙層前向網(wǎng)的學(xué)習(xí)目標(biāo)是，對(duì)(A,B)求(W(1),W(2),(1),(2))使得：求解上述方程。學(xué)習(xí)的目標(biāo)函數(shù)為簡(jiǎn)化計(jì)，考慮兩類的分類問(wèn)題。該雙層前向網(wǎng)的學(xué)62誤差的后向傳播多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，在網(wǎng)絡(luò)中調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。與單層前向網(wǎng)和感知器相比較，多層前向網(wǎng)由于隱層的存在，無(wú)法判別隱層神經(jīng)元對(duì)輸入誤差的直接影響（無(wú)法知道隱層神經(jīng)元的理想輸出值）。因此，對(duì)參數(shù)權(quán)重矩陣和閾值的調(diào)整遇到困難。12M21x1Ny112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)x2xN誤差的后向傳播多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，63解決方案——計(jì)算兩個(gè)傳播方向：“前向傳播(Forwardpropagation)”：輸入{xi}進(jìn)入網(wǎng)絡(luò)，按照信息在網(wǎng)絡(luò)中前進(jìn)移動(dòng)的方向，逐次計(jì)算aj，zj直至輸出{yk}的過(guò)程；（輸入向輸出方向的前向傳播）“后向傳播(Backpropagation)”：利用輸出層的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再依次估計(jì)更前一層的誤差，獲得所有各層的誤差估計(jì)。（輸出誤差向輸入方向的后向傳播）（Rumelhart,Hinton&Williams,1986）12M21x1Ny112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)x2xN解決方案——計(jì)算兩個(gè)傳播方向：12M21x1Ny112c64設(shè)學(xué)習(xí)集有T個(gè)樣本，記為{x,t}，=1,2,…,T，其中：輸入理想輸出計(jì)算實(shí)際輸出，記為：實(shí)際輸出設(shè)學(xué)習(xí)集有T個(gè)樣本，記為{x,t}，=1,2,65顯然有：因此只需討論某一個(gè)樣本點(diǎn)的誤差傳播，以下略去上標(biāo)。故誤差函數(shù)為：顯然有：因此只需討論某一個(gè)樣本點(diǎn)的誤差傳播，以下略去上標(biāo)66已知下列記號(hào)：又定義第k個(gè)輸出神經(jīng)元和第j個(gè)隱層神經(jīng)元的誤差率為：輸出層誤差率隱層誤差率已知下列記號(hào)：又定義第k個(gè)輸出神經(jīng)元和第j個(gè)隱層神經(jīng)元的誤差67由微分鏈?zhǔn)椒▌t，計(jì)算可得：輸出層誤差率隱層誤差率由微分鏈?zhǔn)椒▌t，計(jì)算可得：輸出層誤差率隱層誤差率68因此，得到：因此，得到：69梯度法求解wij(l)取步長(zhǎng)因子為固定步長(zhǎng)，得到學(xué)習(xí)規(guī)則：其中k(2)、k(1)均與有關(guān)，k=1,2,…,c；j=0,1,…,M；i=0,1,…,N。梯度法求解wij(l)其中k(2)、k(1)均與有關(guān)，70補(bǔ)充：梯度法求解優(yōu)化問(wèn)題已知DRn是一個(gè)凸集。求解無(wú)約束優(yōu)化問(wèn)題就是尋求x*

D使得若f(x)為連續(xù)可微凸函數(shù)，問(wèn)題歸結(jié)為求解可運(yùn)用Newton迭代法數(shù)值求解。（但f(x)的凸性難以保證，求解也非常困難……）補(bǔ)充：梯度法求解優(yōu)化問(wèn)題已知DRn是一個(gè)凸集。求解無(wú)約71構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：滿足：k>0：步長(zhǎng)因子構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：滿足：k>0：步長(zhǎng)因子72BP學(xué)習(xí)算法的實(shí)現(xiàn)設(shè)學(xué)習(xí)集有T個(gè)樣本，記為{x,t}，=1,2,…,T，其中：輸入理想輸出又設(shè)k=1,2,…,c；j=0,1,…,M；i=0,1,…,N。對(duì)于給定的=1,2,…,T，指標(biāo)仍然不標(biāo)出。BP學(xué)習(xí)算法的實(shí)現(xiàn)設(shè)學(xué)習(xí)集有T個(gè)樣本，記為{x,t}，73STEP1

初始化權(quán)重矩陣和閾值wji(1)(0)、wkj(2)(0)（已包含閾值），選擇學(xué)習(xí)效率。人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件74STEP2

設(shè)第t次迭代值wji(1)(t)、wkj(2)(t)已知，（1）前向過(guò)程：對(duì)=1,2,…,T，依次計(jì)算：（2）后向過(guò)程：利用公式對(duì)=1,2,…,N，依次計(jì)算STEP2設(shè)第t次迭代值wji(1)(t)、wkj(275STEP2

設(shè)第t次迭代值wji(1)(t)、wkj(2)(t)已知，...（3）迭代過(guò)程：計(jì)算第t+1次權(quán)重矩陣

STEP2設(shè)第t次迭代值wji(1)(t)、wkj(276STEP3

由此得到序列

滿足直至滿足停機(jī)準(zhǔn)則（滿足某種優(yōu)化準(zhǔn)則，或者迭代次數(shù)）STEP3由此得到序列77BP學(xué)習(xí)算法的例子考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)為：誤差函數(shù)為：BP學(xué)習(xí)算法的例子考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)為：誤差函數(shù)為78注意到：注意到：79于是有其中：于是有其中：80利用：得到迭代公式。利用：得到迭代公式。81§6.4ANN方法在計(jì)算生物學(xué)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件82在生物序列分析中的應(yīng)用生物調(diào)控信號(hào)的研究（感知器算法具有優(yōu)勢(shì)）例子：原核基因RBS（核糖體結(jié)合位點(diǎn)）——E.coli翻譯起始位點(diǎn)的序列特征的分析參考文獻(xiàn)：G.D.Stormo,T.D.Schneider,L.M.Gold,andA.Ehrenfeucht.Useofthe‘perceptron’algorithmtodistinguishtranslationalinitiationsitesinE.coli.NucleicAcidResearch.(1982)10:2997-3011G.D.Stormo,T.D.Schneider,andL.M.Gold.CharacterizationoftranslationalinitiationsitesinE.coli.NucleicAcidResearch(1982)10:2971-2996在生物序列分析中的應(yīng)用生物調(diào)控信號(hào)的研究（感知器算法具有優(yōu)勢(shì)83在結(jié)構(gòu)識(shí)別中的應(yīng)用蛋白質(zhì)二級(jí)結(jié)構(gòu)的預(yù)測(cè)（BP算法得到廣泛的應(yīng)用）參考文獻(xiàn)：N.QianandT.J.Sejnowski.Predictingthesecondarystructureofglobularproteinsusingneuralnetworkmodels.JournalofMolecularBiology,(1988)202:865-884H.Bohr,J.Bohr,S.Brunaket.al.Proteinsecondarystructuresandhomologybyneuralnetworks:The-helicesinrhodopsin.FEBSLetters,(1988)241:223-228L.H.HolleyandM.Karplus.Proteinsecondarystructurepredictionwithaneuralnetwork.Proc.Nat.Acad.Sci.USA,(1989)86:152-156在結(jié)構(gòu)識(shí)別中的應(yīng)用84基于氨基酸序列的蛋白質(zhì)構(gòu)象預(yù)測(cè)DNA序列功能位點(diǎn)的預(yù)測(cè)（基因翻譯起始位點(diǎn)、轉(zhuǎn)錄因子結(jié)合位點(diǎn)、真核基因剪接位點(diǎn)等）……詳細(xì)內(nèi)容請(qǐng)參考譯本：《生物信息學(xué)——機(jī)器學(xué)習(xí)方法》張東暉等譯，中信出版社，2003年人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件85參考文獻(xiàn)S.R.PresenellandF.E.Cohen.Artificialneuralnetworksforpatternrecognitioninbiochemicalsequences.Ann.Rev.Biophys.Biomol.Struct.,(1993)22:283-298S.A.Benner.Predictingthecomformationofproteinsfromsequences.Progressandfutureprogress.J.Mol.Recog.,(1995)8:9-28G.Bohm.Newapproachesinmolecularstructureprediction.Biophys.Chem.,(1996)59:1-32C.H.Wu.Artificialneuralnetworksformolecularsequenceanalysis.Comp.Chem.,(1997)21:237-256C.H.WuandJ.W.McLarty.NeuralNetworksandGenomeInformatics.(2000)Elsevier,Amsterdam人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件861、ANN方法源于模擬大腦神經(jīng)元的信息處理和學(xué)習(xí)過(guò)程，但今天作為一種算法，ANN方法使用的神經(jīng)元與真實(shí)的生物神經(jīng)元已經(jīng)有很大的區(qū)別。2、復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)是由隨時(shí)間變化、交互聯(lián)結(jié)的神經(jīng)元組成的網(wǎng)絡(luò)（1）、復(fù)雜聯(lián)結(jié)例如：同層節(jié)點(diǎn)的聯(lián)結(jié)、節(jié)點(diǎn)自聯(lián)結(jié)、反饋（2）、引進(jìn)時(shí)間和其它參數(shù)（延遲、增益……）非線性動(dòng)力系統(tǒng)——吸引子、混沌、極限環(huán)……（3）、復(fù)雜的激活函數(shù)關(guān)于ANN方法的討論關(guān)于ANN方法的討論873、人工神經(jīng)網(wǎng)絡(luò)的規(guī)模通常以層數(shù)來(lái)衡量。要根據(jù)解決問(wèn)題的需要來(lái)設(shè)計(jì)選擇合適的節(jié)點(diǎn)類型、聯(lián)結(jié)和激活函數(shù)。輸入層、輸出層的設(shè)計(jì)要根據(jù)研究對(duì)象而定：輸入：序列數(shù)據(jù)的編碼方式輸出：代表結(jié)構(gòu)與功能的特征4、人工神經(jīng)網(wǎng)絡(luò)最重要的特征之一就是可以通過(guò)樣本進(jìn)行學(xué)習(xí)。有監(jiān)督的學(xué)習(xí)思想：通過(guò)比較網(wǎng)絡(luò)的實(shí)際輸出與理想輸出的差別，定義誤差函數(shù)。然后采用梯度下降法，修正優(yōu)化網(wǎng)絡(luò)參數(shù)值，使得誤差函數(shù)最小。人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件885、其它種類的人工神經(jīng)網(wǎng)絡(luò)（1）、反饋神經(jīng)網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）：引進(jìn)能量函數(shù)（即Liyapnov函數(shù)）的概念，作為判別網(wǎng)絡(luò)穩(wěn)定性的依據(jù)（2）、模糊神經(jīng)網(wǎng)絡(luò)：引進(jìn)模糊邏輯（模糊量、模糊運(yùn)算）（3）、自組織神經(jīng)網(wǎng)絡(luò)：具有自學(xué)習(xí)的功能（4）、Boltzman機(jī)模型：引進(jìn)概率分布、隨機(jī)函數(shù)人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件89第六章人工神經(jīng)網(wǎng)絡(luò)（ANN）方法簡(jiǎn)介第六章90§6.1從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件91大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。也正是有了這樣的復(fù)雜巨系統(tǒng)，大腦才能擔(dān)負(fù)起人類認(rèn)識(shí)世界和改造世界的任務(wù)?！笆澜缟献畲蟮奈撮_(kāi)發(fā)疆域，是我們兩耳之間的空間?！保绹?guó)漢諾威保險(xiǎn)公司總裁比爾·奧伯萊恩）1、生物神經(jīng)系統(tǒng)和大腦的復(fù)雜性生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng)。生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能，其復(fù)雜性是難以想象的。大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的92①人大腦平均只有3磅左右。只占身體重量比例的1/30；②使眼睛可以辨別1000萬(wàn)種細(xì)微的顏色；③使肌肉(如果全部向同一個(gè)方向運(yùn)動(dòng))產(chǎn)生25噸的拉力；④是由100億個(gè)腦細(xì)胞和10兆個(gè)神經(jīng)交匯叢組成。整個(gè)大腦的神經(jīng)網(wǎng)絡(luò)足足有10英里長(zhǎng)。大腦的有關(guān)數(shù)據(jù)①人大腦平均只有3磅左右。只占身體重量比例的1/30；大93“你的大腦就像一個(gè)沉睡的巨人?！保ㄓ?guó)的心理學(xué)家、教育家托尼·布贊）“如果我們迫使頭腦開(kāi)足1/4的馬力，我們就會(huì)毫不費(fèi)力地學(xué)會(huì)40種語(yǔ)言，把整個(gè)百科全書(shū)從頭到尾背下來(lái)，還可以完成十幾個(gè)大學(xué)的博士學(xué)位?！保ㄇ疤K聯(lián)學(xué)者伊凡）——一個(gè)正常的大腦記憶容量有大約6億本書(shū)的知識(shí)總量，相當(dāng)于一部大型電腦儲(chǔ)存量的120萬(wàn)倍——大腦使你從出生開(kāi)始每一秒鐘可存儲(chǔ)1000條信息，直到老死為止——全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞——即使世界上記憶力最好的人，其大腦的使用也沒(méi)有達(dá)到其功能的1%人類的知識(shí)與智慧，仍是“低度開(kāi)發(fā)”！人的大腦是個(gè)無(wú)盡寶藏，可惜的是每個(gè)人終其一生，都忽略了如何有效地發(fā)揮它的“潛能”——潛意識(shí)中激發(fā)出來(lái)的能量。大腦復(fù)雜性的無(wú)限性“你的大腦就像一個(gè)沉睡的巨人?！保ㄓ?guó)的心理學(xué)家、教育家942、人工智能及其三個(gè)學(xué)派人類的夢(mèng)想重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。（無(wú)數(shù)科幻故事）探索智能的奧秘智能（intelligence）

“觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力”(牛津大辭典)“理解和各種適應(yīng)性行為的能力”(韋氏大辭典)智能是個(gè)體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力；也可以說(shuō)是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。2、人工智能及其三個(gè)學(xué)派人類的夢(mèng)想重新構(gòu)造人腦，并讓其95人類智能的具體含義

感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力；通過(guò)學(xué)習(xí)獲得經(jīng)驗(yàn)、積累知識(shí)的能力；理解知識(shí)、運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力；聯(lián)想、推理、判斷、決策的能力；運(yùn)用語(yǔ)言進(jìn)行抽象、概括的能力；以上5點(diǎn)是人類智能的基本能力。發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力；實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力；預(yù)測(cè)、洞察事物發(fā)展、變化的能力。以上3點(diǎn)是前5種能力新的綜合表現(xiàn)形式。人類智能的具體含義感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能96人工智能“人工智能（ArtificialIntelligence）”

1956年初次引入人工智能研究怎樣用計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問(wèn)題。目的之一：增加人類探索世界、推動(dòng)社會(huì)前進(jìn)的能力

通過(guò)制造和使用工具來(lái)加強(qiáng)和延伸人類的生存、發(fā)展。目的之二：進(jìn)一步認(rèn)識(shí)自己。

用物化的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程和規(guī)律。人工智能97人工智能的3個(gè)主要流派1991年，人工智能學(xué)家D.Krish在《Int.J.ArtificialIntelligence》上提出人工智能的5個(gè)基本問(wèn)題：知識(shí)和概念化是否人工智能的核心？認(rèn)知能力能否與載體分開(kāi)來(lái)研究？認(rèn)知的軌跡是否可以用類自然語(yǔ)言來(lái)描述？學(xué)習(xí)能力能否與認(rèn)知分開(kāi)來(lái)研究？所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu)？對(duì)以上5個(gè)基本問(wèn)題的不同回答已經(jīng)形成3個(gè)主要的學(xué)術(shù)流派：符號(hào)主義（Symbolicisim）聯(lián)結(jié)主義（connetionism）行為主義（actionism）人工智能的3個(gè)主要流派1991年，人工智能學(xué)家D.Kris98人工智能的符號(hào)主義流派即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以知識(shí)為基礎(chǔ)，通過(guò)推理來(lái)進(jìn)行問(wèn)題求解，在研究方法上采用計(jì)算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法Simon、Minsky和Newell等認(rèn)為，人和計(jì)算機(jī)都是一個(gè)物理符號(hào)系統(tǒng)，因此可用計(jì)算機(jī)的符號(hào)演算來(lái)模擬人的認(rèn)知過(guò)程；作為智能基礎(chǔ)的知識(shí)是可用符號(hào)表示的一種信息形式，因此人工智能的核心問(wèn)題是知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用的信息處理過(guò)程。符號(hào)主義對(duì)符號(hào)系統(tǒng)的描述人工智能的符號(hào)主義流派即傳統(tǒng)的人工智能，認(rèn)為人工智能源于99人工智能的聯(lián)結(jié)主義流派又稱仿生學(xué)派，認(rèn)為人工智能源于仿生學(xué)，人思維的基本單元是神經(jīng)元，而非符號(hào)處理過(guò)程，主張用大腦工作模式取代符號(hào)操作的電腦工作模式；智能的本質(zhì)是聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)；“結(jié)構(gòu)－功能”的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的；1943年，McCulloch和Pitts從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型——MP模型。此為人工神經(jīng)網(wǎng)絡(luò)研究之始。人工智能的聯(lián)結(jié)主義流派又稱仿生學(xué)派，認(rèn)為人工智能源于仿生100人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）從四個(gè)方面刻畫(huà)人腦的基本特征：（1）、物理結(jié)構(gòu)模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò)CellbodyAxonNucleusSynapse突觸Dendrite樹(shù)突人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwo101（2）、計(jì)算模擬人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能，又通過(guò)聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng)，人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上。ANN以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ)，同樣實(shí)現(xiàn)信息的大規(guī)模并行處理。（3）、存儲(chǔ)與操作大腦對(duì)信息的記憶是通過(guò)改變突觸的聯(lián)結(jié)強(qiáng)度來(lái)實(shí)現(xiàn)并分布存儲(chǔ)。ANN模擬信息的大規(guī)模分布存儲(chǔ)。（4）、訓(xùn)練后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性。ANN根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過(guò)程，自動(dòng)從“實(shí)踐”（即訓(xùn)練樣本）中獲取相關(guān)知識(shí)，并存儲(chǔ)在系統(tǒng)中。（2）、計(jì)算模擬102人工智能的行為主義流派“進(jìn)化主義學(xué)派”、“控制論學(xué)派”；認(rèn)為人工智能來(lái)源于控制論，智能取決于感知和行動(dòng)。提出智能行為的“感知－動(dòng)作”模式，采用行為模擬方法；對(duì)符號(hào)主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識(shí)、表示和推理，只需要與環(huán)境交互作用）80年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科（R.A.Brooks），為機(jī)器人研究開(kāi)創(chuàng)了新的方法。人工智能的行為主義流派103ANN是基于聯(lián)結(jié)主義流派的人工智能聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合，發(fā)展為計(jì)算智能學(xué)派，是人工智能在1980年代后的深化和發(fā)展計(jì)算智能：借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制、生命演化過(guò)程和人的智能行為，從而進(jìn)行信息獲取、處理、應(yīng)用的理論和方法計(jì)算智能是以數(shù)學(xué)模型、計(jì)算模型為基礎(chǔ)，以分布、并行、仿生計(jì)算為特征，包含數(shù)據(jù)、算法和實(shí)現(xiàn)的信息系統(tǒng)計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成，強(qiáng)調(diào)系統(tǒng)的自組織、自學(xué)習(xí)和自適應(yīng)計(jì)算智能的3個(gè)主要分支：

人工神經(jīng)網(wǎng)絡(luò)（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)）

遺傳算法（模擬生命生成過(guò)程與智能進(jìn)化過(guò)程）

模糊邏輯（模擬智能的表現(xiàn)行為）ANN是基于聯(lián)結(jié)主義流派的人工智能聯(lián)結(jié)主義學(xué)派與高速發(fā)展1043、人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。James（《心理學(xué)》，1890年）：大腦皮層每一點(diǎn)的活力產(chǎn)生于其它點(diǎn)勢(shì)能釋放的綜合效能，即其它點(diǎn)的興奮次數(shù)、強(qiáng)度和所接受的能量。大腦含～1011個(gè)神經(jīng)元，它們通過(guò)～

1015個(gè)聯(lián)結(jié)構(gòu)成一個(gè)網(wǎng)絡(luò)。每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號(hào)的能力，這種傳遞由神經(jīng)通道來(lái)完成。3、人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)是受生物神105神經(jīng)元的結(jié)構(gòu)樹(shù)突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號(hào)的聯(lián)結(jié)點(diǎn)為突觸。通過(guò)突觸輸入的信號(hào)起著興奮/抑制作用。當(dāng)細(xì)胞體接受的累加興奮作用超過(guò)某閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生沖動(dòng)，并由軸突輸出。CellbodyAxonNucleusSynapse突觸Dendrite樹(shù)突神經(jīng)元的結(jié)構(gòu)CellbodyAxonNucleusSyna106神經(jīng)元系統(tǒng)的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件107ANN理論及其發(fā)展階段w1Z=wixiw2wnx1x2xny=f(wixi-)軸突突觸樹(shù)突內(nèi)核軸突第一階段1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts對(duì)神經(jīng)元進(jìn)行形式化研究，提出了神經(jīng)元的數(shù)學(xué)模型——MP模型。1944年，D.O.Hebb提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的Hebb學(xué)習(xí)規(guī)則，至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則。1957年，Rosenblatt首次引進(jìn)感知器(Perceptron)概念來(lái)模擬生物的感知、學(xué)習(xí)能力。1962年，Widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。ANN理論及其發(fā)展階段w1Z=wixiw2wnx1x2x108第二階段1969年，M.L.Minsky和S.Papert從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)模型無(wú)法解決的許多簡(jiǎn)單問(wèn)題，包括最基本的“異或(XOR)”問(wèn)題。使ANN理論的發(fā)展進(jìn)入一個(gè)低谷；1974年，Webos提出BP學(xué)習(xí)理論；S.Grossberg提出自適應(yīng)共振理論（ART）。第三階段突破性進(jìn)展：1982年，CalTech的物理學(xué)家J.Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)系統(tǒng)(HNNS)模型，提出能量函數(shù)的概念，用非線性動(dòng)力學(xué)方法來(lái)研究ANN，開(kāi)拓了ANN用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑；1988年，McClelland和Rumelhart利用多層反饋學(xué)習(xí)算法解決了“異或（XOR）”問(wèn)題。第二階段第三階段109人工神經(jīng)網(wǎng)絡(luò)的幾種形式無(wú)反饋前向網(wǎng)多輸入、多輸出的多層無(wú)環(huán)圖，同一層間無(wú)聯(lián)結(jié)。神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層人工神經(jīng)網(wǎng)絡(luò)的幾種形式無(wú)反饋前向網(wǎng)110有反饋前向網(wǎng)從輸出層到輸入層存在反饋的前向網(wǎng)。有反饋前向網(wǎng)111層內(nèi)有聯(lián)結(jié)的前向網(wǎng)在無(wú)反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。層內(nèi)有聯(lián)結(jié)的前向網(wǎng)112有向網(wǎng)任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié)。網(wǎng)絡(luò)處在動(dòng)態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。有向網(wǎng)113§6.2感知器（Perceptron）——人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件114感知器（Perceptron）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。W.McCulloch和W.Pitts總結(jié)生物神經(jīng)元的基本生理特征，提出一種簡(jiǎn)單的數(shù)學(xué)模型與構(gòu)造方法，建立了閾值加權(quán)和模型，簡(jiǎn)稱M-P模型(“ALogicalCalculusImmanentinNervousActivity”,BulletinofMathematicalBiophysics,1943(5):115~133）。人工神經(jīng)元模型是M-P模型的基礎(chǔ)。1、感知器的數(shù)學(xué)模型——MP模型WarrenMcCulloch（1898－1969）WalterPitts(1923－1969)感知器（Perceptron）：最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)115生物神經(jīng)元的基本特征

神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值突觸樹(shù)突軸突突觸樹(shù)突內(nèi)核軸突生物神經(jīng)元的基本特征樹(shù)突軸突突觸樹(shù)突內(nèi)核軸突116模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和（生物神經(jīng)元的一階特征）人工神經(jīng)元可以接受一組來(lái)自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度。w1wixiw2wnx1x2xn數(shù)學(xué)模型——多輸入、單輸出的加權(quán)和結(jié)構(gòu)w1wixiw2wnx1x2xn數(shù)學(xué)模型117設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=(w1,w2,…,wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：稱u(X)為整合函數(shù)。w1wixiw2wnx1x2xn設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=118感知器的激活函數(shù)神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)u(X)大于某閾值時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀態(tài)。構(gòu)造激活函數(shù)，用于表示這一轉(zhuǎn)換過(guò)程。要求是[-1,1]之間的單調(diào)遞增函數(shù)。激活函數(shù)通常為3種類型，由此決定了神經(jīng)元的輸出特征。感知器的激活函數(shù)119激活函數(shù)為符號(hào)函數(shù)：1-1u激活函數(shù)為符號(hào)函數(shù)：1-1u120激活函數(shù)為分段線性函數(shù)：1-1u激活函數(shù)為分段線性函數(shù)：1-1u121激活函數(shù)為Sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征。1-1u激活函數(shù)為Sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有122M-P模型將人工神經(jīng)元的基本模型與激活函數(shù)結(jié)合，即McCulloch–Pitts模型。w1u=wixiw2wnx1x2xny=(u(X)-)M-P模型w1u=wixiw2wnx1x2xny=1232、感知器的學(xué)習(xí)算法什么是“學(xué)習(xí)”？“Theconceptualschemefor‘learning’inthiscontextisamachinewithaninputchannelforfigures,apairofYESandNOoutputindicators,andareinforcementor‘reward’buttonthatthemachine’soperatorcanusetoindicatehisapprovalordisapprovalofthemachine’sbehavior.”——M.L.MinskyandS.A.Papert,“Perceptron”(1988)2、感知器的學(xué)習(xí)算法124ANN學(xué)習(xí)定理——ANN可以學(xué)會(huì)它表達(dá)的任何東西。（Rosenblatt，1962年）ANN的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。ANN的學(xué)習(xí)過(guò)程就是訓(xùn)練過(guò)程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過(guò)程中，按照一定的方式來(lái)調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來(lái)，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵?。有監(jiān)督的學(xué)習(xí)（Supervisedlearning）無(wú)監(jiān)督的學(xué)習(xí)（Unsupervisedlearning）人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件125基本思想感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問(wèn)題歸結(jié)為求權(quán)重系數(shù)W=(w1,w2,…,wn)和閾值的問(wèn)題。基本思想：逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸出結(jié)果和理想輸出結(jié)果之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)重值。w1u=wixiw2wnx1x2xny=(u(X)-)基本思想w1u=wixiw2wnx1x2xny=(126設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=(w1,w2,…,wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取符號(hào)函數(shù)為激活函數(shù)，此為經(jīng)典的M-P模型：w1u=wixiw2wnx1x2xn+1or-1設(shè)X=(x1,x2,…,xn)表示n個(gè)輸入，W=127訓(xùn)練集的樣本（輸入向量、輸出值）為：t為樣本數(shù)目。其中，訓(xùn)練集的樣本（輸入向量、輸出值）為：t為樣本數(shù)目。其中，128STEP2

重復(fù)下列過(guò)程，直至訓(xùn)練完成：

STEP2.1

對(duì)訓(xùn)練集中的每一個(gè)樣本(xk,yk)，重復(fù)如下過(guò)程：

STEP2.1.1

輸入xk

STEP2.1.2

計(jì)算

STEP2.1.3

若輸出不正確，則STEP1

初始化權(quán)重向量W=(w1,w2,…,wn)，不妨取w1=w2=…,=wn=1~~~STEP2重復(fù)下列過(guò)程，直至訓(xùn)練完成：STEP1初始1293、關(guān)于感知器的基本理論問(wèn)題“線性不可分”問(wèn)題的困境及其解決MarvinMinskyMITMediaLabandMITAILab

ToshibaProfessorofMediaArtsandSciences

ProfessorofE.E.andC.S.,M.I.T

minsky@1969年，Minsky和Papert在“Perceptron”一書(shū)中從理論上證明單層感知器無(wú)法解決許多簡(jiǎn)單的問(wèn)題，包括“異或(XOR)”問(wèn)題。使得ANN理論的發(fā)展在1970～80年代處于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退……3、關(guān)于感知器的基本理論問(wèn)題“線性不可分”問(wèn)題的困境及其130“異或(Exclusive-OR)”運(yùn)算f(x,y)y01x001110是一個(gè)雙輸入、單輸出問(wèn)題。對(duì)應(yīng)的單層感知器為：xyabzax+by=xy無(wú)論如何選擇參數(shù)a，b，，都無(wú)法滿足劃分。這種由單層感知器不能表達(dá)的問(wèn)題稱為線性不可分問(wèn)題。“異或(Exclusive-OR)”運(yùn)算f(x,y)y0131考慮n個(gè)自變量的二值函數(shù)，當(dāng)n4時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過(guò)線性可分函數(shù)的個(gè)數(shù)。自變量個(gè)數(shù)函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)144216143256104465,5361,88254.310994,57261.810195,028,134（R.O.Windner,1960）表明單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)它可以表達(dá)的問(wèn)題的數(shù)量?？紤]n個(gè)自變量的二值函數(shù)，當(dāng)n4時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)132解決途徑——多層網(wǎng)絡(luò)一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多個(gè)單層網(wǎng)絡(luò)組合在一起，并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)成一個(gè)二層網(wǎng)絡(luò)，即可用來(lái)在空間劃分出一個(gè)封閉或開(kāi)放的凸域（子空間）。x1z0xnz1zn解決途徑——多層網(wǎng)絡(luò)一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多133感知器學(xué)習(xí)算法的計(jì)算問(wèn)題算法的收斂性對(duì)于線性可分問(wèn)題，感知器的學(xué)習(xí)算法是收斂的。算法的復(fù)雜度（略）算法的容量（略）感知器學(xué)習(xí)算法的計(jì)算問(wèn)題算法的收斂性134非線性感知器取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng)。其學(xué)習(xí)過(guò)程涉及到求解非線性方程組的方法。高階感知器主要討論可線性化的非線性傳感器系統(tǒng)。非線性感知器取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng)。其學(xué)習(xí)過(guò)135§6.3單層前向網(wǎng)、多層前向網(wǎng)與BP學(xué)習(xí)算法簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)(ANN)方法簡(jiǎn)介-課件1361、單層前向網(wǎng)絡(luò)單層前向網(wǎng)模型設(shè)有c

1個(gè)感知器，其中第k個(gè)感知器的輸出為yk；對(duì)于輸入信號(hào)x=(x1,x2,…,xn)，每個(gè)感知器有d個(gè)輸入uj(x)，j=1,2,…,d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk輸入層輸出層1、單層前向網(wǎng)絡(luò)單層前向網(wǎng)模型設(shè)有c137一個(gè)單層前向網(wǎng)可表示為：：激活函數(shù)；wk=(wk1,wk2,…,wkd)：第k個(gè)感知器的權(quán)重系數(shù)；k：第k個(gè)感知器的閾值；u=(u1,u2,…,ud)：基函數(shù)xRn，u(x)Rd若記wk0=k，u0=－1，則上式變換為：一個(gè)單層前向網(wǎng)可表示為：：激活函數(shù)；138記yk(wk;x)為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wkRd，輸入為xRn時(shí)的輸出。設(shè)訓(xùn)練集為A={(x,t)|=1,2,…,N}，其中表示訓(xùn)練集數(shù)據(jù)編號(hào)，xRn為輸入，tRc為輸出，tk為第k個(gè)感知器的期望輸出?；谟?xùn)練集A的誤差函數(shù)定義為：?jiǎn)螌忧跋蚓W(wǎng)的學(xué)習(xí)目標(biāo)函數(shù)記yk(wk;x)為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wk139學(xué)習(xí)的目標(biāo)就是求wk，k=1,2,…,c，使得誤差函數(shù)E(w)取最小值：這就是目標(biāo)函數(shù)。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。學(xué)習(xí)的目標(biāo)就是求wk，k=1,2,…,c，使得誤差140線性單層前向網(wǎng)的解關(guān)于基函數(shù)u(x)，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，記：其中=1,2,…,N。由此，定義學(xué)習(xí)集A的擴(kuò)展集B：線性單層前向網(wǎng)的解關(guān)于基函數(shù)u(x)，對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，141不妨假設(shè)激活函數(shù)為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此寫(xiě)出誤差函數(shù)：優(yōu)化的目標(biāo)函數(shù)為：不妨假設(shè)激活函數(shù)為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此142根據(jù)最小二乘法求解目標(biāo)函數(shù)。由多元函數(shù)取極值的必要條件，有：根據(jù)最小二乘法求解目標(biāo)函數(shù)。143寫(xiě)成矩陣形式W:c(d1)U:N(d1)T:Nc寫(xiě)成矩陣形式W:c(d1)144解的形式為：解存在的條件？（略）解的形式為：解存在的條件？1452、多層前向網(wǎng)絡(luò)、BP學(xué)習(xí)算法雙層前向網(wǎng)多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn)：1、允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元；2、聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn)，不存在其它聯(lián)結(jié)；3、同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié)；4、不含任何反饋，故輸出可以用輸入和權(quán)重來(lái)表示。L層神經(jīng)網(wǎng)絡(luò)：具有L層可調(diào)節(jié)權(quán)重參數(shù)2、多層前向網(wǎng)絡(luò)、BP學(xué)習(xí)算法雙層前向網(wǎng)多層前向網(wǎng)的結(jié)構(gòu)14612M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無(wú)聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò)。X層——輸入層Y層——輸出層Z層——隱層兩層可調(diào)節(jié)權(quán)重參數(shù)：W(1)、W(2)12M21x1xNNx2y112cy2ycW(1)W(2)輸147設(shè)輸入層的輸入為(x1,x2,…,xn)Rn。首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為。第j個(gè)隱層神經(jīng)元的整合函數(shù)為aj、輸出值為zj：第1層（隱層）權(quán)重矩陣中第i個(gè)輸入聯(lián)結(jié)到第j個(gè)隱神經(jīng)元的權(quán)重第j個(gè)隱神經(jīng)元的閾值12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)設(shè)輸入層的輸入為(x1,x2,…,xn)Rn。首先考148同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為。第k個(gè)輸出神經(jīng)元以z=(z1,z2,…,zM)RM為輸入，其整合函數(shù)為bk、輸出值為yk：第2層（輸出層）權(quán)重矩陣中第j個(gè)隱神經(jīng)元聯(lián)結(jié)到第k個(gè)輸出神經(jīng)元的權(quán)重第k個(gè)輸出神經(jīng)元的閾值12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為。第k個(gè)輸出神經(jīng)149聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：12M21x1xNNx2y112cy2ycW(1)W(2)輸入層(X)隱層(Z)輸出層(Y)記為：聯(lián)合得到雙層前向網(wǎng)的輸