循環(huán)神經(jīng)網(wǎng)絡(luò)簡述

循環(huán)神經(jīng)網(wǎng)絡(luò)與LSTM

RecurrentneuralnetworkandLongShort-TermMemory簡述RNN簡介julyedu.comRNN是一類以在網(wǎng)絡(luò)中出現(xiàn)環(huán)為特點(diǎn)的網(wǎng)絡(luò)模型，并且能存儲著神經(jīng)元這一時(shí)刻的輸入與前一時(shí)刻輸出的以來關(guān)系。前向靜態(tài)神經(jīng)網(wǎng)絡(luò)雖然對非線性函數(shù)具有良好的逼近能力，但卻不具動態(tài)性，所以就引入了遞歸神經(jīng)網(wǎng)絡(luò)——RNN。RNN相對于前向靜態(tài)網(wǎng)絡(luò)不同的就是信號從一個(gè)神經(jīng)元到另一個(gè)神經(jīng)元，并不會馬上消失，而是繼續(xù)存活。神經(jīng)網(wǎng)絡(luò)到循環(huán)神經(jīng)網(wǎng)絡(luò)

我們知道神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下循環(huán)神經(jīng)網(wǎng)絡(luò)之 結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)、CNN等）的區(qū)別傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)（包括CNN）輸入和輸出都是相互獨(dú)立的。例如，圖像上的狗和貓是獨(dú)立分割開的。而對于有些任務(wù)，后續(xù)的輸出和之前的內(nèi)容是相關(guān)的，例如，“我是中國人，我的母語是______”RNN引入“記憶”的概念：“循環(huán)”二字來源于其每個(gè)元素都執(zhí)行相同的任務(wù)但是輸出依賴于“輸入”和“記憶”RNN發(fā)展歷史julyedu.comHop?eldnetworksJ.Hop?eld19821986JordanNetworkElmanNetwork1990

J.ElmanBPTTP.WerbosHochreiter&Schmidhuber

LSTM1997Schuster&PaliwalBRNN雙向長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)A.GravesNeuralturingmachine神經(jīng)圖靈機(jī)2014Cho,etalGRU門循環(huán)單元M.Jordan早期（80、90年代）主要思想：重新使用參數(shù)和計(jì)算中期（90-2010）除LSTM以外，RNN基本從主流研究中消失了。當(dāng)前（2010-）應(yīng)用廣泛：自然語言應(yīng)用視頻建模，手寫識別，用戶意圖預(yù)測StackRNN棧遞歸神經(jīng)網(wǎng)絡(luò)2015Joulin&MikolovRNN神經(jīng)元及參數(shù)主要由5個(gè)部分組成輸入網(wǎng)絡(luò)權(quán)值和閾值

求和單元傳遞函數(shù)輸出循環(huán)神經(jīng)網(wǎng)絡(luò)之 結(jié)構(gòu)

簡單來看，把序列按時(shí)間展開Xt是時(shí)間t處的輸入St是時(shí)間t處的“記憶”，St=f(UXt+WSt-1),f可以是tanh等函數(shù)Ot是時(shí)間t出的輸出，比如是預(yù)測下個(gè)詞的話，可能是Softmax輸出的屬于每個(gè)候選詞的概率循環(huán)神經(jīng)網(wǎng)絡(luò)之 結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)之 結(jié)構(gòu)細(xì)節(jié)可以把隱狀態(tài)St視作“記憶體”，捕捉了之前時(shí)間點(diǎn)上的信息。輸出Ot由當(dāng)前時(shí)間及之前所有的“記憶”共同計(jì)算得到。很可惜，實(shí)際應(yīng)用中，St并不能捕捉和保留之前所有信息（記憶有限）不同于CNN，這里的RNN其實(shí)整個(gè)神經(jīng)網(wǎng)絡(luò)都共享一組參數(shù)（U,V,W），極大減小了需要訓(xùn)練和預(yù)估的參數(shù)量圖中的Ot在有些任務(wù)下是不存在的，比如文本情感分析，其實(shí)只需要最后的output結(jié)果就行循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用RNNs的作用詞向量表達(dá)、語句合法性檢查、詞性標(biāo)注等。在RNNs中，目前使用最廣泛最成功的模型便是LSTMs(LongShort-TermMemory，長短時(shí)記憶模型)模型，該模型通常比vanillaRNNs能夠更好地對長短時(shí)依賴進(jìn)行表達(dá)，該模型相對于一般的RNNs，只是在隱藏層做了手腳。循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用語言模型與文本生成(LanguageModelingandGeneratingText)給你一個(gè)單詞序列，我們需要根據(jù)前面的單詞預(yù)測每一個(gè)單詞的可能性。語言模型能夠一個(gè)語句正確的可能性，這是機(jī)器翻譯的一部分，往往可能性越大，語句越正確。另一種應(yīng)用便是使用生成模型預(yù)測下一個(gè)單詞的概率，從而生成新的文本根據(jù)輸出概率的采樣。語言模型中，典型的輸入是單詞序列中每個(gè)單詞的詞向量(如One-hotvector)，輸出時(shí)預(yù)測的單詞序列。語音識別(SpeechRecognition)語音識別是指給一段聲波的聲音信號，預(yù)測該聲波對應(yīng)的某種指定源語言的語句以及該語句的概率值。循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用機(jī)器翻譯(MachineTranslation)機(jī)器翻譯是將一種源語言語句變成意思相同的另一種源語言語句，如將英語語句變成同樣意思的中文語句。與語言模型關(guān)鍵的區(qū)別在于，需要將源語言語句序列輸入后，才進(jìn)行輸出，即輸出第一個(gè)單詞時(shí)，便需要從完整的輸入序列中進(jìn)行獲取。機(jī)器翻譯如下圖所示：循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用圖像描述生成(GeneratingImageDescriptions)和卷積神經(jīng)網(wǎng)絡(luò)(convolutionalNeuralNetworks,CNNs)一樣，RNNs已經(jīng)在對無標(biāo)圖像描述自動生成中得到應(yīng)用。將CNNs與RNNs結(jié)合進(jìn)行圖像描述自動生成。這是一個(gè)非常神奇的研究與應(yīng)用。該組合模型能夠根據(jù)圖像的特征生成描述。如下圖所示：

循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用如何訓(xùn)練RNNs對于RNN是的訓(xùn)練和對傳統(tǒng)的ANN訓(xùn)練一樣。同樣使用BP誤差反向傳播算法，不過有一點(diǎn)區(qū)別。如果將RNNs進(jìn)行網(wǎng)絡(luò)展開，那么參數(shù)W,U,V是共享的，而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)卻不是的。并且在使用梯度下降算法中，每一步的輸出不僅依賴當(dāng)前步的網(wǎng)絡(luò)，并且還以來前面若干步網(wǎng)絡(luò)的狀態(tài)。比如，在t=4時(shí)，我們還需要向后傳遞三步，已經(jīng)后面的三步都需要加上各種的梯度。該學(xué)習(xí)算法稱為BackpropagationThroughTime(BPTT)。需要意識到的是，在vanillaRNNs訓(xùn)練中，BPTT無法解決長時(shí)依賴問題(即當(dāng)前的輸出與前面很長