小象學(xué)院深度學(xué)習(xí)-第7講遞歸神經(jīng)網(wǎng)絡(luò)

本課件包括：演示文稿，示例，代碼，題庫，和聲音等，小象學(xué)院擁有完全知識(shí)的權(quán)利；只限于善意散播。任何其他人或機(jī)構(gòu)不得盜版、、仿造其中的創(chuàng)意 保留一切通過法 互聯(lián)網(wǎng)新技 教育領(lǐng)航紐約城市大學(xué)博 博ID：weightlee03（相關(guān)資料 ID：wiibrew（課程代碼發(fā)布）互聯(lián)網(wǎng)新技 教育領(lǐng)航結(jié)? ??

提1.遞歸神經(jīng)網(wǎng)絡(luò)RNN2.升級(jí)版3.4.實(shí)例：LSTM用于語言處互聯(lián)網(wǎng)新技 教育領(lǐng)航

期待目1理解從傳統(tǒng)神經(jīng)網(wǎng)絡(luò)到遞歸神經(jīng)網(wǎng)絡(luò)RNN2.RNN特點(diǎn)，缺陷，LSTM3理解word2vec4了解LSTM與word2vec結(jié)合用于語言相關(guān)互聯(lián)網(wǎng)新技 教育領(lǐng)航

提1.遞歸神經(jīng)網(wǎng)絡(luò)2.升級(jí)版3.4.實(shí)例：LSTM用于語言處互聯(lián)網(wǎng)新技 教育領(lǐng)航

是否 能力互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

多條路徑t1t2t3互聯(lián)網(wǎng)新技 教育領(lǐng)航

ΔW的確定要考慮E3在各互聯(lián)網(wǎng)新技 教育領(lǐng)航

ΔW的確定要考慮E3在各互聯(lián)網(wǎng)新技 教育領(lǐng)航

ΔW的確定要考慮E3在各互聯(lián)網(wǎng)新技 教育領(lǐng)航

ΔW的確定要考慮E3在各互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

次互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

VanishingGradientJacobian

U最大特征值大于小于ii>1nan容易察覺,<1互聯(lián)網(wǎng)新技 教育領(lǐng)航

VanishingGradient LSTM長 互聯(lián)網(wǎng)新技 教育領(lǐng)航

提1.遞歸神經(jīng)網(wǎng)絡(luò)2.升級(jí)版3.4.實(shí)例：LSTM用于語言處互聯(lián)網(wǎng)新技 教育領(lǐng)航

RNN局互聯(lián)網(wǎng)新技 教育領(lǐng)航

IamfromChina,IspeakChina->Chinese,決定作用，距離太遠(yuǎn)難以產(chǎn)生互聯(lián)網(wǎng)新技 教育領(lǐng)航

RNN局解決方案－設(shè)計(jì)Gate，保存重 互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM形內(nèi)容 互聯(lián)網(wǎng)新技 教育領(lǐng)航

第一步：新輸入xt前狀態(tài)ht-1決定C互聯(lián)網(wǎng)新技 教育領(lǐng)航

第二步：新輸入xt前狀態(tài)ht-1告訴C哪些新信息想要保存it：新信息添加時(shí)的系數(shù)（對(duì)比ft）?t單獨(dú)新數(shù)據(jù)形成的控互聯(lián)網(wǎng)新技 教育領(lǐng)航

第三步：根據(jù)舊的控制參數(shù)Ct-1,新生成的更新控制參數(shù)?t互聯(lián)網(wǎng)新技 教育領(lǐng)航

第四步：根據(jù)控制參數(shù)Ct產(chǎn)生此刻的新的LSTM輸出互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

GateGate輸出it，ft，ot引導(dǎo)Ct互聯(lián)網(wǎng)新技 教育領(lǐng)航

1.Peephole互聯(lián)網(wǎng)新技 教育領(lǐng)航

正常：第一二步互不影響→互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM－GRU(GatedRecurrent重要變種憶能力的輸出link: （反向推導(dǎo) /written-memories-understanding-deriving-and-extending-the-

互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM工作方互聯(lián)網(wǎng)新技 教育領(lǐng)航

提1.遞歸神經(jīng)網(wǎng)絡(luò)2.升級(jí)版3.4.實(shí)例：LSTM用于語言處互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

（0,0,….1,0,0,0,互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

3互聯(lián)網(wǎng)新技 教育領(lǐng)航

4生成最終生成最終lookupword互聯(lián)網(wǎng)新技 教育領(lǐng)航

互聯(lián)網(wǎng)新技 教育領(lǐng)航

Word2Vec特利用上下文(context)進(jìn)行學(xué)具有類比特互聯(lián)網(wǎng)新技 教育領(lǐng)航

提1.遞歸神經(jīng)網(wǎng)絡(luò)2.升級(jí)版3.4.實(shí)例：LSTM互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM語言生1word2.3LSTM互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM語言生1word2.3LSTM互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM語言生句子：catsaton→互聯(lián)網(wǎng)新技 教育領(lǐng)航

LSTM語言生互聯(lián)網(wǎng)新技 教育