鄭州大學(xué)-機(jī)器學(xué)習(xí) 循環(huán)神經(jīng)網(wǎng)絡(luò)5

循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的介紹為什么有了神經(jīng)網(wǎng)絡(luò)還需要有循環(huán)神經(jīng)網(wǎng)絡(luò)？在普通的神經(jīng)網(wǎng)絡(luò)中，信息的傳遞是單向的，這種限制雖然使得網(wǎng)絡(luò)變得更容易學(xué)習(xí)，但在一定程度上也減弱了神經(jīng)網(wǎng)絡(luò)模型的能力。特別是在很多現(xiàn)實(shí)任務(wù)中，網(wǎng)絡(luò)的輸出不僅和當(dāng)前時(shí)刻的輸入有關(guān)也和過(guò)去一段時(shí)間的輸出相關(guān)。此外，普通網(wǎng)絡(luò)難以處理時(shí)序數(shù)據(jù)，比如視頻，語(yǔ)音，文本等，時(shí)序數(shù)據(jù)的長(zhǎng)度一般是不固定的。例如，在說(shuō)話(huà)時(shí)當(dāng)前要說(shuō)的詞和之前已經(jīng)說(shuō)出去的詞存在關(guān)系，依賴(lài)于上下文語(yǔ)境。前饋神經(jīng)網(wǎng)絡(luò)要求輸入和輸出的維數(shù)都是固定的，不能任意改變。因此，當(dāng)處理這一類(lèi)和時(shí)序相關(guān)的問(wèn)題時(shí)，就需要一種能力更強(qiáng)的模型。循環(huán)神經(jīng)網(wǎng)絡(luò)是一類(lèi)具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元不但可以接受其他神經(jīng)元的信息，也可以接受自身的信息，形成具有環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu)。換句話(huà)說(shuō)：神經(jīng)元的輸出可以在下一個(gè)時(shí)間步直接作用到自身（作為輸入）

tanh函數(shù)輸出層

一個(gè)簡(jiǎn)單的例子深層網(wǎng)絡(luò)網(wǎng)格的訓(xùn)練

一個(gè)簡(jiǎn)單的例子

隱含層31完整的算法把這個(gè)例子推廣到一般情況，得到通用的BPTT算法。只有一個(gè)循環(huán)層和一個(gè)輸出層的循環(huán)神經(jīng)網(wǎng)絡(luò)正向傳播時(shí)的變換為

類(lèi)比前饋型神經(jīng)網(wǎng)絡(luò)，通過(guò)后一刻的誤差項(xiàng)來(lái)計(jì)算當(dāng)前時(shí)刻的誤差項(xiàng)。遞推的終點(diǎn)是最后一刻的誤差：

長(zhǎng)短期記憶模型

LSTM的計(jì)算思路如下：輸入門(mén)作用于當(dāng)前時(shí)刻的輸出值，遺忘門(mén)作用于之前的記憶值，二者加權(quán)和，得到匯總信息；最后通過(guò)輸出門(mén)決定輸出值。如果將LSTM在各個(gè)時(shí)刻的輸出值進(jìn)行展開(kāi)，會(huì)發(fā)現(xiàn)其中有一部分最早時(shí)刻的輸入值避免了與權(quán)重矩陣的累次乘法，這是LSTM能夠緩解梯度消失問(wèn)題的主要原因。記憶細(xì)胞：在LSTM的每個(gè)時(shí)間步里面，都有一個(gè)記憶細(xì)胞，這個(gè)東西給予了LSTM選擇記憶功能，使得LSTM有能力自由選擇每個(gè)時(shí)間步里面的記憶。門(mén)控循環(huán)單元GRU和LSTM的區(qū)別1.這兩種模型在許多任務(wù)中都不相上下，因此，與挑選出一個(gè)理想的架構(gòu)相比，調(diào)整層數(shù)這些超參數(shù)等更重要。2.GRU的參數(shù)較少，因此其訓(xùn)練速度更快，或需要?dú)w納的數(shù)據(jù)更少。相對(duì)應(yīng)的，如果有足夠的訓(xùn)練數(shù)據(jù)，表達(dá)能力更強(qiáng)的LSTM或許效果更佳3.相比較于LSTM，GRU能降低過(guò)擬合風(fēng)險(xiǎn)。雙向網(wǎng)絡(luò)對(duì)于有些問(wèn)題，當(dāng)前時(shí)刻的輸出不僅與過(guò)去時(shí)刻的數(shù)據(jù)有關(guān)，還與將來(lái)時(shí)刻的數(shù)據(jù)有關(guān)，如機(jī)器翻譯問(wèn)題。于是設(shè)計(jì)了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，它用兩個(gè)不同的循環(huán)層分別從正向和反向?qū)?shù)據(jù)進(jìn)行掃描。正向傳播的流程如下：

序列預(yù)測(cè)問(wèn)題1.序列標(biāo)注問(wèn)題序列標(biāo)注問(wèn)題指將一個(gè)序列數(shù)據(jù)映射成離散標(biāo)簽值序列的任務(wù)，其本質(zhì)是根據(jù)上下文信息對(duì)序列每個(gè)時(shí)刻的輸入值進(jìn)行預(yù)測(cè)。對(duì)于語(yǔ)音識(shí)別問(wèn)題，輸入數(shù)據(jù)是語(yǔ)音信號(hào)序列，輸出是離散的文字序列；對(duì)于機(jī)器翻譯問(wèn)題，輸入是一種語(yǔ)言的語(yǔ)句，即單詞序列，輸出是另一種語(yǔ)言的單詞序列；對(duì)于詞性標(biāo)注問(wèn)題，輸入是一句話(huà)的單詞序列，輸出是每個(gè)單詞的詞性，如名詞，動(dòng)詞。與普通的模式分類(lèi)問(wèn)題相比，序列標(biāo)注問(wèn)題最顯著的區(qū)別是輸入序列數(shù)據(jù)的數(shù)據(jù)點(diǎn)之間存在相關(guān)性。它有個(gè)困難之處在于輸入序列和輸出序列之間的對(duì)齊關(guān)系是未知的，以語(yǔ)音識(shí)別問(wèn)題為例，語(yǔ)音信號(hào)哪個(gè)時(shí)間段的數(shù)據(jù)對(duì)應(yīng)哪個(gè)單詞的對(duì)應(yīng)關(guān)系在進(jìn)行識(shí)別之前并不知道，我們不清楚一個(gè)單詞在語(yǔ)音信號(hào)中的起始時(shí)刻和終止時(shí)刻。循環(huán)神經(jīng)網(wǎng)絡(luò)因?yàn)榫哂杏洃浌δ?，特別適合序列標(biāo)注任務(wù)。循環(huán)神經(jīng)網(wǎng)絡(luò)在處理序列標(biāo)注任務(wù)問(wèn)題所面臨的問(wèn)題：1.標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)是單向的，但有些問(wèn)題不僅需要序列過(guò)去時(shí)刻的信息，還需要未來(lái)時(shí)刻的信息。2.循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出序列和輸入序列之間要對(duì)齊，即每一個(gè)時(shí)刻的輸出值與輸入值對(duì)應(yīng)，而有些問(wèn)題中輸入序列和輸出序列的對(duì)應(yīng)關(guān)系是未知的。連續(xù)主義時(shí)序分類(lèi)

2.前綴搜索解碼：通過(guò)使用前向后向算法，逐步地?cái)U(kuò)展輸出的標(biāo)簽序列得到最優(yōu)解。網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是最大化訓(xùn)練樣本集的似然概率，解決計(jì)算條件概率麻煩性的思路是動(dòng)態(tài)規(guī)劃。對(duì)一個(gè)標(biāo)簽序列對(duì)應(yīng)的所有路徑進(jìn)行求和可以分解為迭代地對(duì)這個(gè)路徑的前綴對(duì)應(yīng)的路徑進(jìn)行求和序列到序列的學(xué)習(xí)對(duì)有些問(wèn)題，輸入序列的長(zhǎng)度和輸出序列不一定相等，而且我們事先并不知道輸出序列的長(zhǎng)度，例如，語(yǔ)音識(shí)別和機(jī)器翻譯。序列到序列的學(xué)習(xí)是用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建的一種框架，