計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：LSTM（下）

LSTMLSTM結(jié)構(gòu)解析01任務(wù)LSTM實(shí)現(xiàn)方法01任務(wù)學(xué)習(xí)目標(biāo)了解LSTM網(wǎng)絡(luò)結(jié)構(gòu)了解LSTM的實(shí)現(xiàn)方法1LSTM結(jié)構(gòu)解析1LSTM結(jié)構(gòu)解析LSTM的關(guān)鍵是cell狀態(tài)，水平線貫穿圖的頂部。cell狀態(tài)有點(diǎn)像傳送帶。它沿著整個(gè)鏈條一直沿直線運(yùn)動(dòng)，只有一些小的線性相互作用。信息不加改變地流動(dòng)非常容易。如圖所示：1LSTM結(jié)構(gòu)解析LSTM具有刪除或添加信息到節(jié)點(diǎn)狀態(tài)的能力，這個(gè)能力是由被稱為門(Gate)的結(jié)構(gòu)所賦予的。門(Gate)是一種可選地讓信息通過的方式。它由一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)點(diǎn)乘法運(yùn)算組成。如圖所示：sigmoid神經(jīng)網(wǎng)絡(luò)層輸出0和1之間的數(shù)字，這個(gè)數(shù)字代表每個(gè)組件有多少比率的信息可以通過，0表示不通過任何信息，1表示全部通過。LSTM具有三個(gè)gates，以保護(hù)和控制cell狀態(tài)。1LSTM結(jié)構(gòu)解析LSTM的第一步是決定要從節(jié)點(diǎn)狀態(tài)中丟棄什么信息。該決定由被稱為“忘記門”的sigmoid層實(shí)現(xiàn)。它查看

(前一個(gè)輸出)和

(當(dāng)前輸入)，并為單元格狀態(tài)(上一個(gè)狀態(tài))中的每個(gè)數(shù)字輸出0和1之間的數(shù)字。1代表完全保留，而0代表徹底刪除?！巴涢T”的示意圖如圖所示：1LSTM結(jié)構(gòu)解析下一步是決定要在節(jié)點(diǎn)狀態(tài)中存儲(chǔ)什么信息，需要分兩步來進(jìn)行，首先，稱為“輸入門層”的sigmoid層決定了將更新哪些值。接下來一個(gè)tanh層創(chuàng)建候選向量

，該向量將會(huì)被加到節(jié)點(diǎn)的狀態(tài)中。存儲(chǔ)信息步驟如圖所示：現(xiàn)在是時(shí)候去更新上一個(gè)狀態(tài)值

了，將其更新為

。前面的步驟以及決定了應(yīng)該做什么，只需實(shí)際執(zhí)行即可。1LSTM結(jié)構(gòu)解析將上一個(gè)狀態(tài)值乘以

，以此表達(dá)期待忘記的部分。之后將得到的值加上

，得到的是新的候選值，按照更新每個(gè)狀態(tài)值的多少來衡量。更新上一個(gè)狀態(tài)值

的步驟如圖所示：1LSTM結(jié)構(gòu)解析最后，需要決定要輸出什么。此輸出將基于其中的細(xì)胞狀態(tài)，但將是一個(gè)過濾版本。首先，運(yùn)行一個(gè)sigmoid層，它決定要輸出的細(xì)胞狀態(tài)的哪些部分。然后，將單元格狀態(tài)通過tanh（將值規(guī)范化到-1和1之間），并將其乘以sigmoid層的輸出，至此輸出決定的那些部分的值。輸出流程如圖所示：2LSTM實(shí)現(xiàn)方法2LSTM實(shí)現(xiàn)方法tf.keras.layers.LSTM(units,activation=“tanh”,recurrent_activation=“sigmoid”,#用于重復(fù)步驟的激活功能use_bias=True,#是否圖層使用偏置向量kernel_initializer=“glorot_uniform”,#kernel權(quán)重矩陣的初始化程序，用于輸入的線性轉(zhuǎn)換recurrent_initializer=“orthogonal”,#權(quán)重矩陣的初始化程序，用于遞歸狀態(tài)的線性轉(zhuǎn)換bias_initializer=“zeros”,#偏差向量的初始化程序unit_forget_bias=True,#則在初始化時(shí)將1加到遺忘門的偏置上kernel_regularizer=None,＃正則化函數(shù)應(yīng)用于kernel權(quán)重矩陣recurrent_regularizer=None,＃正則化函數(shù)應(yīng)用于權(quán)重矩陣bias_regularizer=None,＃正則化函數(shù)應(yīng)用于偏差向量activity_regularizer=None,＃正則化函數(shù)應(yīng)用于圖層的輸出（其“激活”）kernel_constraint=None,＃約束函數(shù)應(yīng)用于kernel權(quán)重矩陣recurrent_constraint=None,＃約束函數(shù)應(yīng)用于權(quán)重矩陣bias_constraint=None,＃約束函數(shù)應(yīng)用于偏差向量dropout=0.0,＃要進(jìn)行線性轉(zhuǎn)換的輸入單位的分?jǐn)?shù)recurrent_dropout=0.0,＃為遞歸狀態(tài)的線性轉(zhuǎn)換而下降的單位小數(shù)return_sequences=False,＃是否返回最后一個(gè)輸出。在輸出序列或完整序列中return_state=False,＃除輸出外，是否返回最后一個(gè)狀態(tài)go_backwards=False,＃如果為True，則向后處理輸入序列并返回反向的序列stateful=False,＃如果為True，則批次中索引i的每個(gè)樣本的最后狀態(tài)將用作下一個(gè)批次中索引i的樣本的初始狀態(tài)。time_ma