人工神經(jīng)網(wǎng)絡(luò)方法簡介.ppt

第一節(jié) 人工神經(jīng)網(wǎng)絡(luò)方法簡介,第八章 地理計(jì)算模型,人工神經(jīng)網(wǎng)絡(luò)方法簡介,第1部分 從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)方法簡介,大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。也正是有了這樣的復(fù)雜巨系統(tǒng)，大腦才能擔(dān)負(fù)起人類認(rèn)識(shí)世界和改造世界的任務(wù)。 “世界上最大的未開發(fā)疆域，是我們兩耳之間的空間?！保绹鴿h諾威保險(xiǎn)公司總裁比爾奧伯萊恩）,一、生物神經(jīng)系統(tǒng)和大腦的復(fù)雜性,生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng)。,生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能，其復(fù)雜性是難以想象的。,人工神經(jīng)網(wǎng)絡(luò)方法簡介, 人大腦平均只有3磅左右。只占身體重量比例的1/30； 它令你的心臟每天不假思索地跳動(dòng)10萬多次； 它令你的眼睛可以辨別1000萬種細(xì)微的顏色； 它使你的肌肉(如果全部向同一個(gè)方向運(yùn)動(dòng))產(chǎn)生25噸的拉力； 它是由100億個(gè)腦細(xì)胞和10兆個(gè)神經(jīng)交匯叢組成。整個(gè)大腦的神經(jīng)網(wǎng)絡(luò)足足有10英里長。,大腦的有關(guān)數(shù)據(jù),人工神經(jīng)網(wǎng)絡(luò)方法簡介,“你的大腦就像一個(gè)沉睡的巨人?！?（英國的心理學(xué)家、教育家托尼布贊） “如果我們迫使頭腦開足1/4的馬力，我們就會(huì)毫不費(fèi)力地學(xué)會(huì)40種語言，把整個(gè)百科全書從頭到尾背下來，還可以完成十幾個(gè)大學(xué)的博士學(xué)位。”（前蘇聯(lián)學(xué)者伊凡） 一個(gè)正常的大腦記憶容量有大約6億本書的知識(shí)總量，相當(dāng)于一部大型電腦儲(chǔ)存量的120萬倍； 大腦使你從出生開始每一秒鐘可存儲(chǔ)1000條信息，直到老死為止； 全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞； 即使世界上記憶力最好的人，其大腦的使用也沒有達(dá)到其功能的1%。 人類的知識(shí)與智慧，仍是“低度開發(fā)”！人的大腦是個(gè)無盡寶藏，可惜的是每個(gè)人終其一生，都忽略了如何有效地發(fā)揮它的“潛能”潛意識(shí)中激發(fā)出來的能量。,大腦復(fù)雜性的無限性,人工神經(jīng)網(wǎng)絡(luò)方法簡介,二、人工智能及其三個(gè)學(xué)派,人類的夢想 重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。（無數(shù)科幻故事） 探索智能的奧秘 智能（intelligence） “觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力”(牛津大辭典) “理解和各種適應(yīng)性行為的能力”(韋氏大辭典) 智能是個(gè)體有目的地行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力；也可以說是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人類智能的具體含義,感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力； 通過學(xué)習(xí)獲得經(jīng)驗(yàn)、積累知識(shí)的能力； 理解知識(shí)、運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力； 聯(lián)想、推理、判斷、決策的能力； 運(yùn)用語言進(jìn)行抽象、概括的能力； 以上5點(diǎn)是人類智能的基本能力。 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力； 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力； 預(yù)測、洞察事物發(fā)展、變化的能力。 以上3點(diǎn)是前5種能力新的綜合表現(xiàn)形式。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工智能,“人工智能（Artificial Intelligence）” 1956年初次引入 人工智能研究怎樣用計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題。 目的之一：增加人類探索世界、推動(dòng)社會(huì)前進(jìn)的能力。 通過制造和使用工具來加強(qiáng)和延伸人類的生存、發(fā)展。 目的之二：進(jìn)一步認(rèn)識(shí)自己。 用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工智能的3個(gè)主要流派,1991年，人工智能學(xué)家D. Krish在Int. J. Artificial Intelligence上提出人工智能的5個(gè)基本問題： 知識(shí)和概念化是否人工智能的核心？ 認(rèn)知能力能否與載體分開來研究？ 認(rèn)知的軌跡是否可以用類自然語言來描述？ 學(xué)習(xí)能力能否與認(rèn)知分開來研究？ 所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu)？ 對(duì)以上5個(gè)基本問題的不同回答已經(jīng)形成3個(gè)主要的學(xué)術(shù)流派： 符號(hào)主義（Symbolicisim） 聯(lián)結(jié)主義（connetionism） 行為主義（actionism）,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工智能的符號(hào)主義流派,即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以知識(shí)為基礎(chǔ)，通過推理來進(jìn)行問題求解，在研究方法上采用計(jì)算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法 Simon、Minsky和Newell等認(rèn)為，人和計(jì)算機(jī)都是一個(gè)物理符號(hào)系統(tǒng)，因此可用計(jì)算機(jī)的符號(hào)演算來模擬人的認(rèn)知過程；作為智能基礎(chǔ)的知識(shí)是可用符號(hào)表示的一種信息形式，因此人工智能的核心問題是知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用的信息處理過程。,符號(hào)主義對(duì)符號(hào)系統(tǒng)的描述,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工智能的聯(lián)結(jié)主義流派,又稱仿生學(xué)派，認(rèn)為人工智能源于仿生學(xué)，人思維的基本單元是神經(jīng)元，而非符號(hào)處理過程，主張用大腦工作模式取代符號(hào)操作的電腦工作模式； 智能的本質(zhì)是聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)； “結(jié)構(gòu)功能”的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的；,1943年，McCulloch和Pitts從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型MP模型。此為人工神經(jīng)網(wǎng)絡(luò)研究之始。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）從四個(gè)方面刻畫人腦的基本特征： （1）物理結(jié)構(gòu) 模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)方法簡介,（2）計(jì)算模擬 人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng)，人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上。 ANN以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ)，同樣實(shí)現(xiàn)信息的大規(guī)模并行處理。 （3）存儲(chǔ)與操作 大腦對(duì)信息的記憶是通過改變突觸的強(qiáng)度來實(shí)現(xiàn)并分布存儲(chǔ)。 ANN模擬信息的大規(guī)模分布存儲(chǔ)。 （4）訓(xùn)練 后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性。 ANN根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過程，自動(dòng)從“實(shí)踐”（即訓(xùn)練樣本）中獲取相關(guān)知識(shí)，并存儲(chǔ)在系統(tǒng)中。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工智能的行為主義流派,“進(jìn)化主義學(xué)派”、“控制論學(xué)派”； 認(rèn)為人工智能來源于控制論，智能取決于感知和行動(dòng)。提出智能行為的“感知?jiǎng)幼鳌蹦Ｊ剑捎眯袨槟M方法； 對(duì)符號(hào)主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識(shí)、表示和推理，只需要與環(huán)境交互作用） 20世紀(jì)80年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科（R. A. Brooks），為機(jī)器人研究開創(chuàng)了新的方法。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,ANN是基于聯(lián)結(jié)主義流派的人工智能,聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合，發(fā)展為計(jì)算智能學(xué)派，是人工智能在1980年代后的深化和發(fā)展； 計(jì)算智能：借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制、生命演化過程和人的智能行為，從而進(jìn)行信息獲取、處理、應(yīng)用的理論和方法； 計(jì)算智能是以數(shù)學(xué)模型、計(jì)算模型為基礎(chǔ)，以分布、并行、仿生計(jì)算為特征，包含數(shù)據(jù)、算法和實(shí)現(xiàn)的信息系統(tǒng)； 計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成，強(qiáng)調(diào)系統(tǒng)的自組織、自學(xué)習(xí)和自適應(yīng)； 計(jì)算智能的3個(gè)主要分支： 人工神經(jīng)網(wǎng)絡(luò)（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)） 遺傳算法（模擬生命生成過程與智能進(jìn)化過程） 模糊邏輯（模擬智能的表現(xiàn)行為）,人工神經(jīng)網(wǎng)絡(luò)方法簡介,三、人工神經(jīng)網(wǎng)絡(luò)概述,生物神經(jīng)元系統(tǒng),人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。 James（心理學(xué)，1890年） ：大腦皮層每一點(diǎn)的活力產(chǎn)生于其它點(diǎn)勢能釋放的綜合效能，即其它點(diǎn)的興奮次數(shù)、強(qiáng)度和所接受的能量。 大腦含約1011個(gè)神經(jīng)元，它們通過1015個(gè)聯(lián)結(jié)構(gòu)成一個(gè)網(wǎng)絡(luò)。每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號(hào)的能力，這種傳遞由神經(jīng)通道來完成。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,神經(jīng)元的結(jié)構(gòu) 樹突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間的接受信號(hào)的聯(lián)結(jié)點(diǎn)為突觸。通過突觸輸入的信號(hào)起著興奮/抑制作用。當(dāng)細(xì)胞體接受的累加興奮作用超過某閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生沖動(dòng)，并由軸突輸出。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,神經(jīng)元系統(tǒng)的基本特征 神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變 信號(hào)分為興奮型和抑制型 一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài) 每個(gè)神經(jīng)元有一個(gè)閾值,人工神經(jīng)網(wǎng)絡(luò)方法簡介,ANN理論及其發(fā)展階段,軸突,突觸,樹突,內(nèi)核,軸突,第一階段 1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts對(duì)神經(jīng)元進(jìn)行形式化研究，提出了神經(jīng)元的數(shù)學(xué)模型MP模型。 1944年，D. O. Hebb提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的Hebb學(xué)習(xí)規(guī)則，至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則。 1957年，Rosenblatt首次引進(jìn)感知器(Perceptron)概念來模擬生物的感知、學(xué)習(xí)能力。 1962年，Widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,第二階段 1969年，M. L. Minsky和S. Papert從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)模型無法解決的許多簡單問題，包括最基本的“異或(XOR)”問題。使ANN理論的發(fā)展進(jìn)入一個(gè)低谷； 1974年，Webos提出BP學(xué)習(xí)理論； S. Grossberg提出自適應(yīng)共振理論（ART）。,第三階段 突破性進(jìn)展：1982年，CalTech的物理學(xué)家J. Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)系統(tǒng)(HNNS)模型，提出能量函數(shù)的概念，用非線性動(dòng)力學(xué)方法來研究ANN，開拓了ANN用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑； 1988年，McClelland和Rumelhart利用多層反饋學(xué)習(xí)算法解決了“異或（XOR）”問題。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工神經(jīng)網(wǎng)絡(luò)的幾種形式,無反饋前向網(wǎng) 多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。 神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層,人工神經(jīng)網(wǎng)絡(luò)方法簡介,有反饋前向網(wǎng) 從輸出層到輸入層存在反饋的前向網(wǎng)。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,層內(nèi)有聯(lián)結(jié)的前向網(wǎng) 在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,有向網(wǎng) 任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié)。 網(wǎng)絡(luò)處在動(dòng)態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,第2部分 感知器（Perceptron） 人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件,人工神經(jīng)網(wǎng)絡(luò)方法簡介,感知器（Perceptron）是最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。 W. McCulloch和W. Pitts總結(jié)生物神經(jīng)元的基本生理特征，提出一種簡單的數(shù)學(xué)模型與構(gòu)造方法，建立了閾值加權(quán)和模型，簡稱M-P模型(“A Logical Calculus Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, 1943(5): 115133）。 人工神經(jīng)元模型是M-P模型的基礎(chǔ)。,一、感知器的數(shù)學(xué)模型,Warren McCulloch （18981969）,Walter Pitts (19231969),人工神經(jīng)網(wǎng)絡(luò)方法簡介,生物神經(jīng)元的基本特征 神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱 神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變 信號(hào)分為興奮型和抑制型 一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài) 每個(gè)神經(jīng)元有一個(gè)閾值,軸突,突觸,樹突,內(nèi)核,軸突,人工神經(jīng)網(wǎng)絡(luò)方法簡介,模擬神經(jīng)元的首要目標(biāo)：輸入信號(hào)的加權(quán)和 人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)，所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài)。每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度。,1. 人工神經(jīng)元數(shù)學(xué)模型 多輸入、單輸出的加權(quán)和結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)方法簡介,設(shè)X = (x1, x2, , xn)表示n個(gè)輸入，W = (w1, w2, , wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。 故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為：,稱u(x)為整合函數(shù)。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,感知器的激活函數(shù),神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后，信號(hào)累計(jì)效果整合函數(shù)u(x)大于某閾值 時(shí)，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀態(tài)。 構(gòu)造激活函數(shù)，用于表示這一轉(zhuǎn)換過程。要求是-1, 1之間的單調(diào)遞增函數(shù)。 激活函數(shù)通常為3種類型，由此決定了神經(jīng)元的輸出特征。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,（1）激活函數(shù)為符號(hào)函數(shù)：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,（2）激活函數(shù)為分段線性函數(shù)：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,（3）激活函數(shù)為Sigmoid函數(shù)，其特點(diǎn)是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,2. M-P模型,將人工神經(jīng)元的基本模型與激活函數(shù)結(jié)合，即McCulloch Pitts模型。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,二、感知器的學(xué)習(xí)算法,什么是“學(xué)習(xí)”？ “The conceptual scheme for learning in this context is a machine with an input channel for figures, a pair of YES and NO output indicators, and a reinforcement or reward button that the machines operator can use to indicate his approval or disapproval of the machines behavior.” M. L. Minsky and S. A. Papert, “Perceptron”(1988),人工神經(jīng)網(wǎng)絡(luò)方法簡介,ANN可以學(xué)會(huì)它表達(dá)的任何東西。（Rosenblatt，1962年） ANN的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。 ANN的學(xué)習(xí)過程就是訓(xùn)練過程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵觥?有監(jiān)督的學(xué)習(xí)（Supervised learning） 無監(jiān)督的學(xué)習(xí)（Unsupervised learning）,人工神經(jīng)網(wǎng)絡(luò)方法簡介,基本思想 感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問題歸結(jié)為求權(quán)重系數(shù)W = (w1, w2, , wn)和閾值的問題。 基本思想：逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,設(shè)X = (x1, x2, , xn)表示n個(gè)輸入，W = (w1, w2, , wn)表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取符號(hào)函數(shù)為激活函數(shù)，,此為經(jīng)典的M-P模型：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,訓(xùn)練集的樣本（輸入向量、輸出值）為：,t為樣本數(shù)目。其中，,人工神經(jīng)網(wǎng)絡(luò)方法簡介,三、關(guān)于感知器的基本理論問題,“線性不可分”問題的困境及其解決,Marvin Minsky MIT Media Lab and MIT AI Lab Toshiba Professor of Media Arts and Sciences Professor of E.E. and C.S., M.I.T ,1969年，Minsky和Papert在“Perceptron”一書中從理論上證明單層感知器無法解決許多簡單的問題，包括“異或(XOR)”問題。使得ANN理論的發(fā)展在197080年代處于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退,人工神經(jīng)網(wǎng)絡(luò)方法簡介,“異或(Exclusive-OR)”運(yùn)算,是一個(gè)雙輸入、單輸出問題。對(duì)應(yīng)的單層感知器為：,無論如何選擇參數(shù)a，b，都無法滿足劃分。這種由單層感知器不能表達(dá)的問題稱為線性不可分問題。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,考慮n個(gè)自變量的二值函數(shù)，當(dāng)n4時(shí)，線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個(gè)數(shù)。,（R. O. Windner, 1960）,表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的問題的數(shù)量。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,解決途徑多層網(wǎng)絡(luò),一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多個(gè)單層網(wǎng)絡(luò)組合在一起，并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)成一個(gè)二層網(wǎng)絡(luò)，即可用來在空間劃分出一個(gè)封閉或開放的凸域（子空間）。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,感知器學(xué)習(xí)算法的計(jì)算問題,算法的收斂性 對(duì)于線性可分問題，感知器的學(xué)習(xí)算法是收斂的。 算法的復(fù)雜度 （略） 算法的容量 （略）,人工神經(jīng)網(wǎng)絡(luò)方法簡介,非線性感知器,取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng)。其學(xué)習(xí)過程涉及到求解非線性方程組的方法。,高階感知器,主要討論可線性化的非線性傳感器系統(tǒng)。,第3部分 單層前向網(wǎng)、多層前向網(wǎng) 與BP學(xué)習(xí)算法簡介,人工神經(jīng)網(wǎng)絡(luò)方法簡介,人工神經(jīng)網(wǎng)絡(luò)方法簡介,一、單層前向網(wǎng)絡(luò),單層前向網(wǎng)模型,設(shè)有c 1個(gè)感知器，其中第k個(gè)感知器的輸出為yk；對(duì)于輸入信號(hào)x = (x1, x2, , xn)，每個(gè)感知器有d個(gè)輸入uj(x)，j=1, 2, , d。,輸入層,輸出層,人工神經(jīng)網(wǎng)絡(luò)方法簡介,一個(gè)單層前向網(wǎng)可表示為：,：激活函數(shù)； wk=(wk1, wk2, , wkd) ：第k個(gè)感知器的權(quán)重系數(shù)； k：第k個(gè)感知器的閾值； u=(u1, u2, , ud)：基函數(shù) xRn，u(x)Rn 若記wk0 = k ， u0=1，則上式變換為：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,記yk(wk; x) 為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wkRd，輸入為x Rn時(shí)的輸出。 設(shè)訓(xùn)練集為A = (x, t ) |=1, 2, , N ，其中 表示訓(xùn)練集數(shù)據(jù)編號(hào)，xRn為輸入，tRc為輸出， tk為第k個(gè)感知器的期望輸出。 基于訓(xùn)練集A的誤差函數(shù)定義為：,單層前向網(wǎng)的學(xué)習(xí)目標(biāo)函數(shù),人工神經(jīng)網(wǎng)絡(luò)方法簡介,學(xué)習(xí)的目標(biāo)就是求wk ，k=1,2,c，使得誤差函數(shù)E(w)取最小值：,這就是目標(biāo)函數(shù)。 單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。,人工神經(jīng)網(wǎng)絡(luò)方法簡介,線性單層前向網(wǎng)的解,關(guān)于基函數(shù)u(x),對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù)，記：,其中 =1, 2, , N。由此，定義學(xué)習(xí)集A的擴(kuò)展集B：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,不妨假設(shè)激活函數(shù)為恒等函數(shù)，此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此寫出誤差函數(shù)：,優(yōu)化的目標(biāo)函數(shù)為：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,根據(jù)最小二乘法求解目標(biāo)函數(shù)。 由多元函數(shù)取極值的必要條件，有：,人工神經(jīng)網(wǎng)絡(luò)方法簡介,寫成矩陣形式,W: c(d1) U: N(d1) T: Nc,人工神經(jīng)網(wǎng)絡(luò)方法簡介,解的形式為：,解存在的條件？ （略）,人工神經(jīng)網(wǎng)絡(luò)方法簡介,二、多層前向網(wǎng)絡(luò)、BP學(xué)習(xí)算法,雙層前向網(wǎng),多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn)： 1、允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元； 2、聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn)，不存在其它聯(lián)結(jié)； 3、同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié)； 4、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。 L層神經(jīng)網(wǎng)絡(luò)：具有L層可調(diào)節(jié)權(quán)重參數(shù),人工神經(jīng)網(wǎng)絡(luò)方法簡介,雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò)。 X層輸入層 Y層輸出層 Z層隱層 兩層可調(diào)節(jié)權(quán)重參數(shù)：W(1)、W(2),人工神經(jīng)網(wǎng)絡(luò)方法簡介,設(shè)輸入層的輸入為(x1, x2, , xn)Rn。,首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為。第j個(gè)隱層神經(jīng)元的整合函數(shù)為aj、輸出值為zj：,第1層（隱層）權(quán)重矩陣中第i個(gè)輸入聯(lián)結(jié)到第j個(gè)隱神經(jīng)元的權(quán)重,第j個(gè)隱神經(jīng)元的閾值,人工神經(jīng)網(wǎng)絡(luò)方法簡介,同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為。第k個(gè)輸出神經(jīng)元以z=(z1, z2, , zM)RM為輸入，其整合函數(shù)為bk、輸出值為yk：,第2層（輸出層）權(quán)重矩陣中第j個(gè)隱神經(jīng)元聯(lián)結(jié)到第k個(gè)輸出神經(jīng)元的權(quán)重,第k個(gè)輸出神經(jīng)元的閾值,人工神經(jīng)網(wǎng)絡(luò)方法簡介,聯(lián)合得到雙層前向網(wǎng)的