BP神經網絡參數更新的詳細推導_第1頁
BP神經網絡參數更新的詳細推導_第2頁
BP神經網絡參數更新的詳細推導_第3頁
BP神經網絡參數更新的詳細推導_第4頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、BP InferencePart 1 Neural Unit圖1展示了一個神經單元的構成。Figure 1 a neural unit兀+b)1=1Pai t 2 Neural Netivork圖2、圖3是兩類常見的神經網絡，其中圖2描述了僅含有1個隱層的網絡,圖3描述了含有多個隱層的網絡。UK outputs UFigure 2. Three layers networkshiddeninputoutput/i"2/AVnFigure 3 Multiple hidden layer neural networksPart 3 BP Process下面給出圖3所描述的一般性厶層神經網

2、絡(第1層為輸入層，第厶層為輸出層)的權重參數BP推導過程：O參數說明：x/二：訓練集，其中兀w/T。t :樣本x的真實label,其中teRn oy :樣本x所對應的網絡輸出，其中y 6 Rn oSj :第/層(2/厶-1)神經元個數。w：?:第/-1層第丿個神經元到第Z層第I個神經元之間的連接權值。net :為第/層第i個神經元的輸入。袴)：為第Z層第！個神經元的輸出，具體地，= f(net) o/():激活函數。乙：誤差函數所采用的度量形式。注：常用的激活函數有sigmoid函數、tanh函數。令誤差函數：1 .N 方YE(Z)(1)/V .1其中，EQ)弓£(鋰)-兒(M。4

3、計算過程：對于單個樣本X上而言，輸出層(即第厶層)第上個神經元與第厶-1層第J個 神經元權值W；?的偏導為：OE(i)0E(i) dyk (z) dnet礙飛山)恥傘)碉(2)= -(zk(0-仁心竽"aE(i) _ OE(i)九恥尸 3yfc(/) dnet db=-(4 -M)/(xjl“y記華一(鈕)-兒Q)"(x)L即，則對隱含層厶-1層:0EnZk=ldE(i) dyk(i) dnet啦°二丈喲獷）+燈）"1(5)因此恥二（£）時dnet""（嘰(6)結合（4）、（5入（6）可得繆一字（的-訕）加 仁小"

4、（嘰t”燈、相仿地命,2）二-斗（4（0 - 必 0） f（X）鳥附 吩 f （x） lx=”咐 1）（8）令:獷1）一土仏-誡）/（嘰觀（嘰T”k-1Jn"工吩即/(Qk=l類似地，第/層（2 </<£-!）的權值和偏置的偏導可表示為°E(i)=抄(9)(10)那一丈嗚）巒）/（嘰(11)其中,Part 4 BP Algorithm For 1=2 : Lw(" = 0wM , Ab(/) = 0eA5/；EndF or Foi* i =1: NFor I = L:2Calculate gradient matrix Aw)Q)、rector Ab(,)(z):Update Aw(/ < Aw(/ +Aw(/ (z), Ab(/) < Ab(&

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論