正向傳播應(yīng)用

正向傳播應(yīng)用主講：胡林01正向傳播算法02正向傳播應(yīng)用目錄正向傳播算法1正向傳播算法一、算法定義

正向傳播算法，也叫前向傳播算法，顧名思義，是由前往后進(jìn)行的一個算法。最開始，我們會初始化一組的取值，并且選定一個激活函數(shù)，為了后面的方便，我們假設(shè)選定sigmoid函數(shù)作為激活函數(shù)，其函數(shù)形式為：并且它的導(dǎo)數(shù)為有了聯(lián)結(jié)權(quán)重和激活函數(shù)之后，就可以由前往后計(jì)算，依次算出所有的值，最終算出輸出層的值。這就是前向傳播算法。二、DNN正向傳播算法DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)。這個很多其實(shí)也沒有什么度量標(biāo)準(zhǔn),多層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)DNN其實(shí)也是指的一個東西，當(dāng)然，DNN有時也叫做多層感知機(jī)（Multi-Layerperceptron,MLP）,名字實(shí)在是多。后面我們講到的神經(jīng)網(wǎng)絡(luò)都默認(rèn)為DNN。從DNN按不同層的位置劃分，DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層，如下圖示例，一般來說第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。

所謂的DNN的前向傳播算法也就是利用我們的若干個權(quán)重系數(shù)矩陣WWW和偏倚向量bbb來和輸入值向量xxx進(jìn)行一系列線性運(yùn)算和激活運(yùn)算，從輸入層開始，一層層的向后計(jì)算，一直到運(yùn)算到輸出層，得到輸出結(jié)果為止。

輸入：

總層數(shù)L，所有隱藏層和輸出層對應(yīng)的矩陣W，偏倚向量b，輸入值向量x。

輸出：輸出層的輸出aL

（1）初始化a1=x

（2）Forl=2toL，計(jì)算正向傳播算法三、核心代碼實(shí)現(xiàn)正向傳播應(yīng)用2正向傳播應(yīng)用一、LSTM中的正向傳播LSTM模型有兩個隱藏狀態(tài)h(t),C(t)h(t),C(t)，模型參數(shù)幾乎是RNN的4倍，包含Wf,Uf,bf,Wa,Ua,ba,Wi,Ui,bi,Wo,Uo,boWf,Uf,bf,Wa,Ua,ba,Wi,Ui,bi,Wo,Uo,bo這些參數(shù)。

LSTM雖然結(jié)構(gòu)復(fù)雜，但是只要理順了里面的各個部分和之間的關(guān)系，進(jìn)而理解前向傳播算法是不難的。理解LSTM模型結(jié)構(gòu)仍然是高效使用的前提。

前向傳播過程在每個序列索引位置的過程為：

（1）更新遺忘門輸出： f(t)=σ(Wfh(t?1)+Ufx(t)+bf)

（2）更新輸入門兩部分輸出： i(t)=σ(Wih(t?1)+Uix(t)+bi)i(t)=σ(Wih(t?1)+Uix(t)+bi) a(t)=tanh(Wah(t?1)+Uax(t)+ba)（3）更新細(xì)胞狀態(tài) C(t)=C(t?1)⊙f(t)+i(t)⊙a(bǔ)(t)（4）更新輸出門輸出： o(t)=σ(Woh(t?1)+Uox(t)+bo) h(t)=o(t)⊙tanh(C(t))（5）更新當(dāng)前序列索引預(yù)測輸出： y^(t)=σ(Vh(t)+c)正向傳播應(yīng)用何為正向傳播呢？假設(shè)上一層結(jié)點(diǎn)i,j,k,…等一些結(jié)點(diǎn)與本層的結(jié)點(diǎn)w有連接，結(jié)點(diǎn)w的值如何算？即通過上一層的i,j,k等結(jié)點(diǎn)以及對應(yīng)的連接權(quán)值進(jìn)行加權(quán)和運(yùn)算，最終結(jié)果再加上一個偏置項(xiàng)（圖中為了簡單省略了），最后在通過一個非線性函數(shù)（即激活函數(shù)），如sigmoid函數(shù)，最后得到的結(jié)果就是本層結(jié)點(diǎn)w的輸出。不斷迭代此運(yùn)算，得到輸出層結(jié)果。如下圖DeepMind實(shí)驗(yàn)室有很多應(yīng)用正向傳播的實(shí)例。例如強(qiáng)化學(xué)