人工神經(jīng)網(wǎng)絡(luò)方法簡介.ppt

第一節(jié)人工神經(jīng)網(wǎng)絡(luò)方法簡介 第八章地理計算模型 人工神經(jīng)網(wǎng)絡(luò)方法簡介 第1部分從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 大腦與神經(jīng)細(xì)胞 神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng) 也正是有了這樣的復(fù)雜巨系統(tǒng) 大腦才能擔(dān)負(fù)起人類認(rèn)識世界和改造世界的任務(wù) 世界上最大的未開發(fā)疆域 是我們兩耳之間的空間 美國漢諾威保險公司總裁比爾 奧伯萊恩 一 生物神經(jīng)系統(tǒng)和大腦的復(fù)雜性 生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng) 生物神經(jīng)系統(tǒng)活動和腦的功能 其復(fù)雜性是難以想象的 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人大腦平均只有3磅左右 只占身體重量比例的1 30 它令你的心臟每天不假思索地跳動10萬多次 它令你的眼睛可以辨別1000萬種細(xì)微的顏色 它使你的肌肉 如果全部向同一個方向運動 產(chǎn)生25噸的拉力 它是由100億個腦細(xì)胞和10兆個神經(jīng)交匯叢組成 整個大腦的神經(jīng)網(wǎng)絡(luò)足足有10英里長 大腦的有關(guān)數(shù)據(jù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 你的大腦就像一個沉睡的巨人 英國的心理學(xué)家 教育家托尼 布贊 如果我們迫使頭腦開足1 4的馬力 我們就會毫不費力地學(xué)會40種語言 把整個百科全書從頭到尾背下來 還可以完成十幾個大學(xué)的博士學(xué)位 前蘇聯(lián)學(xué)者伊凡 一個正常的大腦記憶容量有大約6億本書的知識總量 相當(dāng)于一部大型電腦儲存量的120萬倍 大腦使你從出生開始每一秒鐘可存儲1000條信息 直到老死為止 全世界的電話線路的運作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞 即使世界上記憶力最好的人 其大腦的使用也沒有達(dá)到其功能的1 人類的知識與智慧 仍是 低度開發(fā) 人的大腦是個無盡寶藏 可惜的是每個人終其一生 都忽略了如何有效地發(fā)揮它的 潛能 潛意識中激發(fā)出來的能量 大腦復(fù)雜性的無限性 人工神經(jīng)網(wǎng)絡(luò)方法簡介 二 人工智能及其三個學(xué)派 人類的夢想重新構(gòu)造人腦 并讓其代替人類完成相應(yīng)的工作 無數(shù)科幻故事 探索智能的奧秘智能 intelligence 觀察 學(xué)習(xí) 理解和認(rèn)識的能力 牛津大辭典 理解和各種適應(yīng)性行為的能力 韋氏大辭典 智能是個體有目的地行為 合理的思維 以及有效的適應(yīng)環(huán)境的綜合能力 也可以說是個體認(rèn)識客觀事物和運用知識解決問題的能力 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人類智能的具體含義 感知與認(rèn)識客觀事物 客觀世界和自我的能力 通過學(xué)習(xí)獲得經(jīng)驗 積累知識的能力 理解知識 運用知識和經(jīng)驗分析 解決問題的能力 聯(lián)想 推理 判斷 決策的能力 運用語言進(jìn)行抽象 概括的能力 以上5點是人類智能的基本能力 發(fā)現(xiàn) 發(fā)明 創(chuàng)造 創(chuàng)新的能力 實時 迅速 合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測 洞察事物發(fā)展 變化的能力 以上3點是前5種能力新的綜合表現(xiàn)形式 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工智能 人工智能 ArtificialIntelligence 1956年初次引入人工智能研究怎樣用計算機模仿人腦從事推理 設(shè)計 思考 學(xué)習(xí)等思維活動 以解決和處理較復(fù)雜的問題 目的之一 增加人類探索世界 推動社會前進(jìn)的能力 通過制造和使用工具來加強和延伸人類的生存 發(fā)展 目的之二 進(jìn)一步認(rèn)識自己 用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工智能的3個主要流派 1991年 人工智能學(xué)家D Krish在 Int J ArtificialIntelligence 上提出人工智能的5個基本問題 知識和概念化是否人工智能的核心 認(rèn)知能力能否與載體分開來研究 認(rèn)知的軌跡是否可以用類自然語言來描述 學(xué)習(xí)能力能否與認(rèn)知分開來研究 所有的認(rèn)識是否有一種統(tǒng)一的結(jié)構(gòu) 對以上5個基本問題的不同回答已經(jīng)形成3個主要的學(xué)術(shù)流派 符號主義 Symbolicisim 聯(lián)結(jié)主義 connetionism 行為主義 actionism 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工智能的符號主義流派 即傳統(tǒng)的人工智能 認(rèn)為人工智能源于數(shù)理邏輯 主張以知識為基礎(chǔ) 通過推理來進(jìn)行問題求解 在研究方法上采用計算機模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法Simon Minsky和Newell等認(rèn)為 人和計算機都是一個物理符號系統(tǒng) 因此可用計算機的符號演算來模擬人的認(rèn)知過程 作為智能基礎(chǔ)的知識是可用符號表示的一種信息形式 因此人工智能的核心問題是知識表示 知識推理和知識運用的信息處理過程 符號主義對符號系統(tǒng)的描述 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工智能的聯(lián)結(jié)主義流派 又稱仿生學(xué)派 認(rèn)為人工智能源于仿生學(xué) 人思維的基本單元是神經(jīng)元 而非符號處理過程 主張用大腦工作模式取代符號操作的電腦工作模式 智能的本質(zhì)是聯(lián)結(jié)機制 神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) 結(jié)構(gòu) 功能 的研究方法 認(rèn)為功能 結(jié)構(gòu)和智能行為是密切相關(guān)的 1943年 McCulloch和Pitts從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型 MP模型 此為人工神經(jīng)網(wǎng)絡(luò)研究之始 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工神經(jīng)網(wǎng)絡(luò) ArtificialNeuralNetwork ANN 從四個方面刻畫人腦的基本特征 1 物理結(jié)構(gòu)模仿生物神經(jīng)元的功能 構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 2 計算模擬人腦神經(jīng)元既有局部的計算和存儲功能 又通過聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng) 人腦的計算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上 ANN以具有局部計算能力的神經(jīng)元為基礎(chǔ) 同樣實現(xiàn)信息的大規(guī)模并行處理 3 存儲與操作大腦對信息的記憶是通過改變突觸的強度來實現(xiàn)并分布存儲 ANN模擬信息的大規(guī)模分布存儲 4 訓(xùn)練后天的訓(xùn)練使得人腦具有很強的自組織和自適應(yīng)性 ANN根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性 使用不同的訓(xùn)練過程 自動從 實踐 即訓(xùn)練樣本 中獲取相關(guān)知識 并存儲在系統(tǒng)中 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工智能的行為主義流派 進(jìn)化主義學(xué)派 控制論學(xué)派 認(rèn)為人工智能來源于控制論 智能取決于感知和行動 提出智能行為的 感知 動作 模式 采用行為模擬方法 對符號主義 聯(lián)結(jié)主義采取批判的態(tài)度 智能不需要知識 表示和推理 只需要與環(huán)境交互作用 20世紀(jì)80年代誕生智能控制和智能機器人系統(tǒng)學(xué)科 R A Brooks 為機器人研究開創(chuàng)了新的方法 人工神經(jīng)網(wǎng)絡(luò)方法簡介 ANN是基于聯(lián)結(jié)主義流派的人工智能 聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計算機技術(shù)相結(jié)合 發(fā)展為計算智能學(xué)派 是人工智能在1980年代后的深化和發(fā)展 計算智能 借助現(xiàn)代計算機技術(shù)模擬人的智能控制 生命演化過程和人的智能行為 從而進(jìn)行信息獲取 處理 應(yīng)用的理論和方法 計算智能是以數(shù)學(xué)模型 計算模型為基礎(chǔ) 以分布 并行 仿生計算為特征 包含數(shù)據(jù) 算法和實現(xiàn)的信息系統(tǒng) 計算智能強調(diào)模型的建立和構(gòu)成 強調(diào)系統(tǒng)的自組織 自學(xué)習(xí)和自適應(yīng) 計算智能的3個主要分支 人工神經(jīng)網(wǎng)絡(luò) 模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu) 遺傳算法 模擬生命生成過程與智能進(jìn)化過程 模糊邏輯 模擬智能的表現(xiàn)行為 人工神經(jīng)網(wǎng)絡(luò)方法簡介 三 人工神經(jīng)網(wǎng)絡(luò)概述 生物神經(jīng)元系統(tǒng) 人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成 James 心理學(xué) 1890年 大腦皮層每一點的活力產(chǎn)生于其它點勢能釋放的綜合效能 即其它點的興奮次數(shù) 強度和所接受的能量 大腦含約1011個神經(jīng)元 它們通過1015個聯(lián)結(jié)構(gòu)成一個網(wǎng)絡(luò) 每個神經(jīng)元具有獨立的接受 處理和傳遞電化學(xué)信號的能力 這種傳遞由神經(jīng)通道來完成 人工神經(jīng)網(wǎng)絡(luò)方法簡介 神經(jīng)元的結(jié)構(gòu)樹突從細(xì)胞體伸向其它神經(jīng)元 神經(jīng)元之間的接受信號的聯(lián)結(jié)點為突觸 通過突觸輸入的信號起著興奮 抑制作用 當(dāng)細(xì)胞體接受的累加興奮作用超過某閾值時 細(xì)胞進(jìn)入興奮狀態(tài) 產(chǎn)生沖動 并由軸突輸出 人工神經(jīng)網(wǎng)絡(luò)方法簡介 神經(jīng)元系統(tǒng)的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變信號分為興奮型和抑制型一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)每個神經(jīng)元有一個閾值 人工神經(jīng)網(wǎng)絡(luò)方法簡介 ANN理論及其發(fā)展階段 軸突 突觸 樹突 內(nèi)核 軸突 第一階段1943年 心理學(xué)家McCulloch和數(shù)學(xué)家Pitts對神經(jīng)元進(jìn)行形式化研究 提出了神經(jīng)元的數(shù)學(xué)模型 MP模型 1944年 D O Hebb提出改變神經(jīng)元聯(lián)結(jié)強度的Hebb學(xué)習(xí)規(guī)則 至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個基本原則 1957年 Rosenblatt首次引進(jìn)感知器 Perceptron 概念來模擬生物的感知 學(xué)習(xí)能力 1962年 Widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 第二階段1969年 M L Minsky和S Papert從理論上證明了當(dāng)時單隱含層感知器網(wǎng)絡(luò)模型無法解決的許多簡單問題 包括最基本的 異或 XOR 問題 使ANN理論的發(fā)展進(jìn)入一個低谷 1974年 Webos提出BP學(xué)習(xí)理論 S Grossberg提出自適應(yīng)共振理論 ART 第三階段突破性進(jìn)展 1982年 CalTech的物理學(xué)家J Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)系統(tǒng) HNNS 模型 提出能量函數(shù)的概念 用非線性動力學(xué)方法來研究ANN 開拓了ANN用于聯(lián)想記憶和優(yōu)化計算的新途徑 1988年 McClelland和Rumelhart利用多層反饋學(xué)習(xí)算法解決了 異或 XOR 問題 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工神經(jīng)網(wǎng)絡(luò)的幾種形式 無反饋前向網(wǎng)多輸入 多輸出的多層無環(huán)圖 同一層間無聯(lián)結(jié) 神經(jīng)元分層排列 組成輸入層 中間層 隱層 輸出層 人工神經(jīng)網(wǎng)絡(luò)方法簡介 有反饋前向網(wǎng)從輸出層到輸入層存在反饋的前向網(wǎng) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 層內(nèi)有聯(lián)結(jié)的前向網(wǎng)在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路 人工神經(jīng)網(wǎng)絡(luò)方法簡介 有向網(wǎng)任意兩個神經(jīng)元間都可能存在有向聯(lián)結(jié) 網(wǎng)絡(luò)處在動態(tài)中 直至達(dá)到某一平衡態(tài) 周期態(tài)或者混沌狀態(tài) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 第2部分感知器 Perceptron 人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件 人工神經(jīng)網(wǎng)絡(luò)方法簡介 感知器 Perceptron 是最早被設(shè)計并實現(xiàn)的人工神經(jīng)網(wǎng)絡(luò) W McCulloch和W Pitts總結(jié)生物神經(jīng)元的基本生理特征 提出一種簡單的數(shù)學(xué)模型與構(gòu)造方法 建立了閾值加權(quán)和模型 簡稱M P模型 ALogicalCalculusImmanentinNervousActivity BulletinofMathematicalBiophysics 1943 5 115 133 人工神經(jīng)元模型是M P模型的基礎(chǔ) 一 感知器的數(shù)學(xué)模型 WarrenMcCulloch 1898 1969 WalterPitts 1923 1969 人工神經(jīng)網(wǎng)絡(luò)方法簡介 生物神經(jīng)元的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變信號分為興奮型和抑制型一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)每個神經(jīng)元有一個閾值 軸突 突觸 樹突 內(nèi)核 軸突 人工神經(jīng)網(wǎng)絡(luò)方法簡介 模擬神經(jīng)元的首要目標(biāo) 輸入信號的加權(quán)和人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號 每個輸入對應(yīng)一個權(quán) 所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài) 每個權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強度 1 人工神經(jīng)元數(shù)學(xué)模型 多輸入 單輸出的加權(quán)和結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 設(shè)X x1 x2 xn 表示n個輸入 W w1 w2 wn 表示它們對應(yīng)的聯(lián)結(jié)權(quán)重 故神經(jīng)元所獲得的輸入信號累計效果為 稱u x 為整合函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 感知器的激活函數(shù) 神經(jīng)元獲得網(wǎng)絡(luò)輸入信號后 信號累計效果整合函數(shù)u x 大于某閾值 時 神經(jīng)元處于激發(fā)狀態(tài) 反之 神經(jīng)元處于抑制狀態(tài) 構(gòu)造激活函數(shù) 用于表示這一轉(zhuǎn)換過程 要求 是 1 1 之間的單調(diào)遞增函數(shù) 激活函數(shù) 通常為3種類型 由此決定了神經(jīng)元的輸出特征 人工神經(jīng)網(wǎng)絡(luò)方法簡介 1 激活函數(shù) 為符號函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 2 激活函數(shù) 為分段線性函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 3 激活函數(shù) 為Sigmoid函數(shù) 其特點是單調(diào)遞增 光滑且具有漸近值 具有解析上的優(yōu)點和神經(jīng)生理學(xué)特征 人工神經(jīng)網(wǎng)絡(luò)方法簡介 2 M P模型 將人工神經(jīng)元的基本模型與激活函數(shù) 結(jié)合 即McCulloch Pitts模型 人工神經(jīng)網(wǎng)絡(luò)方法簡介 二 感知器的學(xué)習(xí)算法 什么是 學(xué)習(xí) Theconceptualschemefor learning inthiscontextisamachinewithaninputchannelforfigures apairofYESandNOoutputindicators andareinforcementor reward buttonthatthemachine soperatorcanusetoindicatehisapprovalordisapprovalofthemachine sbehavior M L MinskyandS A Papert Perceptron 1988 人工神經(jīng)網(wǎng)絡(luò)方法簡介 ANN可以學(xué)會它表達(dá)的任何東西 Rosenblatt 1962年 ANN的表達(dá)能力有限 其學(xué)習(xí)能力也受到限制 ANN的學(xué)習(xí)過程就是訓(xùn)練過程 在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過程中 按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值 使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲起來 從而使得網(wǎng)絡(luò)在接受輸入時 能夠給出適當(dāng)?shù)妮敵?有監(jiān)督的學(xué)習(xí) Supervisedlearning 無監(jiān)督的學(xué)習(xí) Unsupervisedlearning 人工神經(jīng)網(wǎng)絡(luò)方法簡介 基本思想感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí) 學(xué)習(xí)的問題歸結(jié)為求權(quán)重系數(shù)W w1 w2 wn 和閾值 的問題 基本思想 逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中 根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值 人工神經(jīng)網(wǎng)絡(luò)方法簡介 設(shè)X x1 x2 xn 表示n個輸入 W w1 w2 wn 表示它們對應(yīng)的聯(lián)結(jié)權(quán)重 假設(shè)取符號函數(shù)為激活函數(shù) 此為經(jīng)典的M P模型 人工神經(jīng)網(wǎng)絡(luò)方法簡介 訓(xùn)練集的樣本 輸入向量 輸出值 為 t為樣本數(shù)目 其中 人工神經(jīng)網(wǎng)絡(luò)方法簡介 三 關(guān)于感知器的基本理論問題 線性不可分 問題的困境及其解決 MarvinMinskyMITMediaLabandMITAILabToshibaProfessorofMediaArtsandSciencesProfessorofE E andC S M I Tminsky media mit edu 1969年 Minsky和Papert在 Perceptron 一書中從理論上證明單層感知器無法解決許多簡單的問題 包括 異或 XOR 問題 使得ANN理論的發(fā)展在1970 80年代處于低潮 導(dǎo)致政府和企業(yè)資助減少 研究人員撤退 人工神經(jīng)網(wǎng)絡(luò)方法簡介 異或 Exclusive OR 運算 是一個雙輸入 單輸出問題 對應(yīng)的單層感知器為 無論如何選擇參數(shù)a b 都無法滿足劃分 這種由單層感知器不能表達(dá)的問題稱為線性不可分問題 人工神經(jīng)網(wǎng)絡(luò)方法簡介 考慮n個自變量的二值函數(shù) 當(dāng)n 4時 線性不可分的函數(shù)個數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個數(shù) R O Windner 1960 表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的問題的數(shù)量 人工神經(jīng)網(wǎng)絡(luò)方法簡介 解決途徑 多層網(wǎng)絡(luò) 一個單層網(wǎng)絡(luò)可以將空間劃分成兩部分 用多個單層網(wǎng)絡(luò)組合在一起 并用其中的一個去綜合其它單層網(wǎng)絡(luò)的結(jié)果 構(gòu)成一個二層網(wǎng)絡(luò) 即可用來在空間劃分出一個封閉或開放的凸域 子空間 人工神經(jīng)網(wǎng)絡(luò)方法簡介 感知器學(xué)習(xí)算法的計算問題 算法的收斂性對于線性可分問題 感知器的學(xué)習(xí)算法是收斂的 算法的復(fù)雜度 略 算法的容量 略 人工神經(jīng)網(wǎng)絡(luò)方法簡介 非線性感知器 取權(quán)重函數(shù)為非線性函數(shù)的單級傳感器系統(tǒng) 其學(xué)習(xí)過程涉及到求解非線性方程組的方法 高階感知器 主要討論可線性化的非線性傳感器系統(tǒng) 第3部分單層前向網(wǎng) 多層前向網(wǎng)與BP學(xué)習(xí)算法簡介 人工神經(jīng)網(wǎng)絡(luò)方法簡介 人工神經(jīng)網(wǎng)絡(luò)方法簡介 一 單層前向網(wǎng)絡(luò) 單層前向網(wǎng)模型 設(shè)有c 1個感知器 其中第k個感知器的輸出為yk 對于輸入信號x x1 x2 xn 每個感知器有d個輸入uj x j 1 2 d 輸入層 輸出層 人工神經(jīng)網(wǎng)絡(luò)方法簡介 一個單層前向網(wǎng)可表示為 激活函數(shù) wk wk1 wk2 wkd 第k個感知器的權(quán)重系數(shù) k 第k個感知器的閾值 u u1 u2 ud 基函數(shù)x Rn u x Rn若記wk0 k u0 1 則上式變換為 人工神經(jīng)網(wǎng)絡(luò)方法簡介 記yk wk x 為第k個感知器當(dāng)權(quán)重系數(shù)為wk Rd 輸入為x Rn時的輸出 設(shè)訓(xùn)練集為A x t 1 2 N 其中 表示訓(xùn)練集數(shù)據(jù)編號 x Rn為輸入 t Rc為輸出 tk 為第k個感知器的期望輸出 基于訓(xùn)練集A的誤差函數(shù)定義為 單層前向網(wǎng)的學(xué)習(xí)目標(biāo)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 學(xué)習(xí)的目標(biāo)就是求wk k 1 2 c 使得誤差函數(shù)E w 取最小值 這就是目標(biāo)函數(shù) 單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理 人工神經(jīng)網(wǎng)絡(luò)方法簡介 線性單層前向網(wǎng)的解 關(guān)于基函數(shù)u x 對學(xué)習(xí)集的每一個數(shù)據(jù) 記 其中 1 2 N 由此 定義學(xué)習(xí)集A的擴展集B 人工神經(jīng)網(wǎng)絡(luò)方法簡介 不妨假設(shè)激活函數(shù) 為恒等函數(shù) 此時網(wǎng)絡(luò)為線性單層前向網(wǎng) 由此寫出誤差函數(shù) 優(yōu)化的目標(biāo)函數(shù)為 人工神經(jīng)網(wǎng)絡(luò)方法簡介 根據(jù)最小二乘法求解目標(biāo)函數(shù) 由多元函數(shù)取極值的必要條件 有 人工神經(jīng)網(wǎng)絡(luò)方法簡介 寫成矩陣形式 W c d 1 U N d 1 T N c 人工神經(jīng)網(wǎng)絡(luò)方法簡介 解的形式為 解存在的條件 略 人工神經(jīng)網(wǎng)絡(luò)方法簡介 二 多層前向網(wǎng)絡(luò) BP學(xué)習(xí)算法 雙層前向網(wǎng) 多層前向網(wǎng)的結(jié)構(gòu)特點 1 允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元 2 聯(lián)結(jié)是從前一層的每一個節(jié)點到下一層所有節(jié)點 不存在其它聯(lián)結(jié) 3 同一層內(nèi)的節(jié)點之間不存在聯(lián)結(jié) 4 不含任何反饋 故輸出可以用輸入和權(quán)重來表示 L層神經(jīng)網(wǎng)絡(luò) 具有L層可調(diào)節(jié)權(quán)重參數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡介 雙層前向網(wǎng)模型 具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò) X層 輸入層Y層 輸出層Z層 隱層兩層可調(diào)節(jié)權(quán)重參數(shù) W 1 W 2 人工神經(jīng)網(wǎng)絡(luò)方法簡介 設(shè)輸入層的輸入為 x1 x2 xn Rn 首先考察隱層 設(shè)隱層神經(jīng)元的激活函數(shù)為 第j個隱層神經(jīng)元的整合函數(shù)為aj 輸出值為zj 第1層 隱層 權(quán)重矩陣中第i個輸入聯(lián)結(jié)到第j個隱神經(jīng)元的權(quán)重 第j個隱神經(jīng)元的閾值 人工神經(jīng)網(wǎng)絡(luò)方法簡介 同樣考察輸出層 設(shè)輸出層神經(jīng)元的激活函數(shù)為 第k個輸出神經(jīng)元以z z1 z2 zM RM為輸入 其整合函數(shù)為bk 輸出值為yk 第2層 輸出層 權(quán)重矩陣中第j個隱神經(jīng)元聯(lián)結(jié)到第k個輸出神經(jīng)元的權(quán)重 第k個輸出神經(jīng)元的閾值 人工神經(jīng)網(wǎng)絡(luò)