版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
7.3神經(jīng)網(wǎng)絡(luò)算法7.3.1神經(jīng)網(wǎng)絡(luò)的根本原理人工神經(jīng)網(wǎng)絡(luò)是在研究生物神經(jīng)系統(tǒng)的啟發(fā)下開展起來的一種信息處理方法。它模擬生物神經(jīng)系統(tǒng)結(jié)構(gòu),由大量處理單元組成非線性自適應(yīng)動(dòng)態(tài)系統(tǒng),具有高度非線性的超大規(guī)模實(shí)踐特性,網(wǎng)絡(luò)的全局作用、大規(guī)模并行分布處理及高度的魯棒性和容錯(cuò)性,有聯(lián)想記憶、抽象概括和自適應(yīng)能力,這種抽象概括和自適應(yīng)能力一般稱之為自學(xué)能力。1整理ppt工程上用的人工神經(jīng)元模型如下圖:2整理ppt7.3.2反向傳播模型1.工作原理神經(jīng)網(wǎng)絡(luò)模型分為前饋多層式網(wǎng)絡(luò)模型、反響遞歸式網(wǎng)絡(luò)模型、隨機(jī)型網(wǎng)絡(luò)模型等。誤差反向傳播(Backpropagation,簡稱BP網(wǎng)絡(luò)),又稱為多層前饋神經(jīng)網(wǎng)絡(luò)。其模型結(jié)構(gòu)如圖7.3所示3整理ppt2.學(xué)習(xí)過程
BP網(wǎng)絡(luò)學(xué)習(xí)過程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的過程,BP算法把網(wǎng)絡(luò)的學(xué)習(xí)過程分為正向傳播和反向傳播兩種交替過程。
〔1〕正向傳播輸入信息先傳到隱藏層的結(jié)點(diǎn)上,經(jīng)過各單元的特性為S型的激活函數(shù)運(yùn)算后,把隱藏層結(jié)點(diǎn)的輸出信息傳到輸出結(jié)點(diǎn),最后給出輸出結(jié)果。〔2〕反向傳播如果得不到實(shí)際的輸出,那么轉(zhuǎn)入反向傳播過程,將誤差信號(hào)沿原來的連接線路返回,通過修改各層神經(jīng)元的權(quán)值,逐次地向輸入層傳播進(jìn)行計(jì)算,再經(jīng)過正向傳播過程。這兩個(gè)過程的反復(fù)運(yùn)用,逐漸使得誤差信號(hào)最小,網(wǎng)絡(luò)學(xué)習(xí)過程就結(jié)束。4整理ppt3.BP算法BP算法如下。其中,l為學(xué)習(xí)率;oi為單元i的輸出;oj為單元j的輸出;Tj為輸出層單元j的期望輸出;Errj為與隱藏層單元j的誤差加權(quán)和;wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)重;為改變單元j活性的偏量。輸入:訓(xùn)練樣本S,學(xué)習(xí)率l,多層前饋網(wǎng)絡(luò)。輸出:一個(gè)訓(xùn)練的、對樣本分類的神經(jīng)網(wǎng)絡(luò)。方法:(1)初始化網(wǎng)絡(luò)的權(quán)和閾值(2)
WHILE終止條件滿足{(3)
FORS中的每個(gè)訓(xùn)練樣本X{(4)
FOR隱藏或輸出層每個(gè)單元j{((5); //相對于前一層計(jì)算單元j的凈輸入(6) ;//計(jì)算每個(gè)單元j的輸出(7)
FOR輸出層每個(gè)單元(8)
; //計(jì)算誤差(9)
FOR由最后一個(gè)到第一個(gè)隱藏層,對于隱藏層每個(gè)單元j(10)
; //計(jì)算關(guān)于下一個(gè)較高層k的誤差(11)
FOR網(wǎng)絡(luò)中的每一個(gè)權(quán)(12)
;(13)
FOR網(wǎng)絡(luò)中每個(gè)單元偏量(14)
5整理ppt【例7-5】假設(shè)訓(xùn)練樣本s的屬性值為{1,0,1},實(shí)際類別分別為1,兩層前饋神經(jīng)網(wǎng)絡(luò)NT如圖7.4所示,NT中每條有一向加權(quán)邊的權(quán)重、每個(gè)隱藏層與輸出層單元的偏置如表7-11所示,學(xué)習(xí)率為0.9。寫出輸入S訓(xùn)練NT的過程。6整理ppt首先算出單元4、5、6的輸入、輸出,具體結(jié)果見表7-12,然后計(jì)算4、5、6的誤差,見表7-13;NT中每條有向加權(quán)邊的新權(quán)重、每個(gè)隱藏層與輸出層單元的新偏置見表7-14。圖7.4兩層前饋神經(jīng)網(wǎng)絡(luò)7整理ppt表7-11權(quán)重、單元的偏置8整理ppt單元j輸入Ij輸出Oj40.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.71/(l+e-(-0.7))=0.3325(-0.3)×l+0.1×0+0.2×1+0.2=0.11/(l+e-0.1)=0.5256(-0.3)×0.332+(-0.2)×0.525+0.1=-0.1051/(l+e-(-0.105))=0.474表7-12隱藏層與輸出層每個(gè)單元的輸入、輸出9整理ppt表7-13隱藏層與輸出層每個(gè)單元的誤差單元j誤差
60.474×(1-0.474)×(l-0.474)=0.131150.525×(l-0.525)×(0.1311×(-0.2))=-0.006540.332×(l-0.332)×(0.1311×(-0.3))=-0.008710整理ppt表7-14有向加權(quán)邊的新權(quán)重、每個(gè)隱藏層與輸出層單元的新偏置W46-0.3+0.9×0.1311×0.332=-0.261W56-0.2+0.9×0.1311×0.525=-0.138W140.2+0.9×(-0.00087)×1=0.192W15-0.3+0.9×(-0.0065)×1=-0.306W240.4+0.9×(-0.0087)×0=0.4W250.1+0.9×(-0.0065)×0=0.1W34-0.5+0.9×(-0.0087)×1=-0.508W350.2+0.9×(-0.0065)×1=0.194
60.1+0.9×0.1311=0.218
50.2+0.9×(-0.0065)=0.194
4-0.4+0.9×(-0.0087)=-0.40811整理ppt7.3.3定義神經(jīng)網(wǎng)絡(luò)拓?fù)?/p>
神經(jīng)網(wǎng)絡(luò)在開始訓(xùn)練之前,必須確定輸人層的單元數(shù)、層數(shù),每個(gè)隱藏層的單元數(shù)和輸出層的單元數(shù),以確定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。如何選取最正確的隱藏層數(shù)目,可以參考下面的公式其中,k為樣本數(shù),n為輸入結(jié)點(diǎn)數(shù),m為輸出樣本,為隱藏層結(jié)點(diǎn)數(shù)。12整理ppt7.3.4神經(jīng)網(wǎng)絡(luò)工作過程所有神經(jīng)網(wǎng)絡(luò)的工作過程主要分兩個(gè)階段:工作階段和學(xué)習(xí)階段(1)工作階段,此時(shí)各連接權(quán)值固定,處理單元狀態(tài)變化,以求到達(dá)穩(wěn)定狀態(tài);(2)學(xué)習(xí)階段,各處理單元狀態(tài)保持不變,各連接權(quán)值可修改。13整理ppt
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 家庭游戲機(jī)使用協(xié)議書
- 租賃合同保函模板
- 排煙管道滲水合同防水施工合同書
- 發(fā)光或機(jī)械信號(hào)板相關(guān)項(xiàng)目實(shí)施方案
- 準(zhǔn)直儀相關(guān)項(xiàng)目實(shí)施方案
- 保護(hù)皮膚免受太陽輻射用化妝制劑市場環(huán)境與對策分析
- 醫(yī)用草本療法制劑相關(guān)項(xiàng)目實(shí)施方案
- 西醫(yī)綜合分類模擬題266
- 臨床醫(yī)學(xué)綜合能力(西醫(yī))分類模擬題502
- 動(dòng)力織布機(jī)相關(guān)項(xiàng)目建議書
- 第20課清朝君主專制的強(qiáng)化 教案
- 2輸變電工程施工質(zhì)量驗(yàn)收統(tǒng)一表式(變電工程土建專業(yè))-2024年版
- 第10課《往事依依》教學(xué)課件+2024-2025學(xué)年統(tǒng)編版語文七年級(jí)上冊
- 廣東省深圳市2023-2024學(xué)年六年級(jí)上學(xué)期語文期中考試試卷(含答案)
- 北京市西城區(qū)2023-2024學(xué)年高一下學(xué)期期末英語試題(解析版)
- 三位數(shù)乘兩位數(shù)乘法豎式計(jì)算練習(xí)100道及答案
- 2023年中國郵政集團(tuán)有限公司招聘考試真題
- 新經(jīng)濟(jì)環(huán)境下中小城市商業(yè)銀行發(fā)展SWOT分析
- 看守所建筑設(shè)計(jì)規(guī)范
- 人教版歷史八年級(jí)上冊全套教學(xué)課件
- 人教版四年級(jí)數(shù)學(xué)上冊第八單元第1課《沏茶問題》備課組說課稿
評論
0/150
提交評論