北風大數(shù)據(jù)o2o十三期課程-03.課堂循環(huán)神經(jīng)網(wǎng)絡

法 品法EDUCATIONTOCREATEABRIGHT 課 咨循環(huán)神經(jīng)網(wǎng)絡

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT認真聽，善摘錄，勤思多溫故，樂實踐，再發(fā) 不請 ，不拖延作“四不原

品EDUCATIONTOCREATEABRIGHT 品 EDUCATIONTOCREATEABRIGHT應用場RNN描

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT語言模型與文本生

品EDUCATIONTOCREATEABRIGHTInput

Hidden Hidden

Output

品EDUCATIONTOCREATEABRIGHT為什么 神經(jīng)網(wǎng)絡 N的輸入輸出都是互相獨立的；但是實際應用中有些場景輸出內容和之的內容是有關聯(lián)RNN引入 ”的概念；循環(huán)指其每一個元素都執(zhí)行相同的任務，但是輸出依賴于輸和 ”

品EDUCATIONTOCREATEABRIGHTXt是時間t處的輸

品EDUCATIONTOCREATEABRIGHTSt是時間t處的 ”，St=f(UXt+WSt-1)，f可以是非線性轉換函數(shù)，比如tanhOt是時間t處的輸出，比如是預測下一個詞的話，可能是softmax輸出的屬于每個候選概率

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHTBidirectionalRNN(雙向RNN)假設當前t行預測；BidirectionalRNN是一個相對簡單的RNNs，由兩個RNNs上下疊加在

品EDUCATIONTOCREATEABRIGHTDeepBidirectionalRNN(深度雙向RNN)類似BidirectionalRNN

品EDUCATIONTOCREATEABRIGHT 版的算法叫做BackpropagationThroughTime(BPTT)；BPTT算法和BP算法 ? Etyt,?tytlog?

品EDUCATIONTOCREATEABRIGHT?t?

E

y? 3 3 3

3 3 s3

sttanhUxtWst1

k0

s3sk

品EDUCATIONTOCREATEABRIGHT 3 k0

y?3s3s3sk

k0

jk1sj1

品EDUCATIONTOCREATEABRIGHT LSTM的 細胞”是改造過該記錄的信息會一直傳遞，不該記錄的信息會被截斷

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT細胞狀態(tài)類似于傳送帶。直接在整個鏈上運行，只有一些少量的 互。信息在上面?zhèn)鞅３植蛔兒苋?/p>

品EDUCATIONTOCREATEABRIGHTLSTM可以通過gates(“門”)結構來去除或者增加“細胞狀態(tài)”的信包含一個sigmoid神經(jīng)網(wǎng)絡層次和一個pointwist乘法Sigmoid層輸出一個0到1之間的概率值，描述每個部分有多少量可以通過，0表示“不許任務變量通過”，1表示“運行所有變量通過LSTM中主要有三個“門”結構來控制“細胞狀態(tài)

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHTSigmoid層決定什么

品EDUCATIONTOCREATEABRIGHT更新Ct-1為將舊狀態(tài)與ft相乘，丟失掉確定不要的信加上新的候選值it*Ct得到最終更新后的“細胞狀態(tài)

品EDUCATIONTOCREATEABRIGHT首先運行一個sigmoid層來確定細胞狀態(tài)的那個部分將輸ta處理細胞狀態(tài)得到一個-1到1之間的值，再將它和imoi門的輸出相乘，輸出

品EDUCATIONTOCREATEABRIGHT增加“peepholeconnections讓門層也接受細胞狀態(tài)的輸

品EDUCATIONTOCREATEABRIGHT通過耦合忘記門和更新輸入門(第一個和第二個門)；也就是不再單獨的考慮忘記什加什么信息，而是一起進行考慮

品EDUCATIONTOCREATEABRIGHTGatedRe