《深度學(xué)習(xí)項(xiàng)目案例開(kāi)發(fā)》課件-任務(wù)六：使用LSTM網(wǎng)絡(luò)自動(dòng)生成

任務(wù)六：使用LSTM網(wǎng)絡(luò)自動(dòng)生成

圖片摘要文本任務(wù)知識(shí)—LSTM長(zhǎng)短記憶網(wǎng)絡(luò)RNN反向傳播01梯度消失和梯度爆炸02LSTM網(wǎng)絡(luò)結(jié)構(gòu)03LSTM用途及優(yōu)缺點(diǎn)04RNN反向傳播/01

輸出層權(quán)重V的梯度計(jì)算公式為計(jì)算輸出層梯度反向傳播首先需要損失Lt，通常使用平方誤差損失或交叉熵?fù)p失，計(jì)算公式如下：反向傳播期分為4個(gè)步驟：第一步：計(jì)算輸出層梯度，首先計(jì)算輸出層誤差，公式如下：反向傳播到隱藏層第二步：反向傳播到隱藏層，對(duì)于每一個(gè)時(shí)間步t，從最后一個(gè)時(shí)間開(kāi)始反向傳播，計(jì)算當(dāng)前時(shí)間步的隱藏層誤差需要考慮未來(lái)時(shí)間步的誤差傳遞公式如下其中，f＇(h(t))是激活函數(shù)的導(dǎo)數(shù)（例如，對(duì)于tanh激活函數(shù)的導(dǎo)數(shù)為1－(h(t))2

計(jì)算遞歸權(quán)重矩陣W梯度計(jì)算隱藏層梯度計(jì)算輸入權(quán)重U梯度權(quán)重更新

梯度消失和梯度爆炸/024.任務(wù)知識(shí)RNN的梯度表達(dá)式中用乘積表示了最終的梯度，如果某一個(gè)隱藏層的的前一隱藏層的單個(gè)梯度小于1，這時(shí)經(jīng)過(guò)多個(gè)時(shí)間步的反向傳播，梯度的乘積會(huì)越來(lái)越小，最終導(dǎo)致梯度消失。如果一個(gè)梯度值大于1，乘積就會(huì)越來(lái)越大，導(dǎo)致梯度爆炸。梯度爆炸會(huì)導(dǎo)致訓(xùn)練過(guò)程崩潰，梯度消失可以采用使用Relu函數(shù)替換tanh激活函數(shù)等方法降低其的影響。RNN梯度爆炸和梯度消失的問(wèn)題在RNN常采用梯度裁剪，使用Xavier、He方法初始化權(quán)重，使用正則化、Dropout等方法緩解梯度爆炸的現(xiàn)象；對(duì)于梯度消失問(wèn)題可以選用更合適的激活函數(shù)，增加輸入門(mén)、遺忘門(mén)和輸出門(mén)來(lái)控制信息的流動(dòng)，保留長(zhǎng)時(shí)間依賴(lài)關(guān)系。同時(shí)也可以使用批歸一化、殘差網(wǎng)絡(luò)等。RNN梯度爆炸和梯度消失的問(wèn)題4.任務(wù)知識(shí)RNN存在的其他問(wèn)題長(zhǎng)期依賴(lài)問(wèn)題：RNN在處理長(zhǎng)序列時(shí)，難以捕捉到遠(yuǎn)距離位置之間的依賴(lài)關(guān)系。盡管理論上RNNs可以處理任意長(zhǎng)度的序列，但實(shí)際上，它們更擅長(zhǎng)處理短期依賴(lài)。計(jì)算效率低：RNN的序列處理本質(zhì)上是順序的，這意味著無(wú)法進(jìn)行并行計(jì)算，這在處理長(zhǎng)序列時(shí)會(huì)導(dǎo)致計(jì)算效率低下。難以訓(xùn)練：由于梯度消失和梯度爆炸問(wèn)題，RNNs的訓(xùn)練過(guò)程常常需要小心調(diào)參和選擇合適的優(yōu)化方法，否則容易陷入局部最優(yōu)或訓(xùn)練失敗。RNN的記憶容量有限的問(wèn)題在RNN中，梯度的更新與權(quán)重矩陣的乘積有關(guān)，如果權(quán)重矩陣的特征值小于1，經(jīng)過(guò)多次相乘后，梯度會(huì)迅速變得很小，導(dǎo)致梯度消失。同時(shí)常用的激活函數(shù)（如sigmoid和tanh）在某些輸入范圍內(nèi)會(huì)產(chǎn)生非常小的梯度，這會(huì)進(jìn)一步加劇梯度消失問(wèn)題。而梯度消失會(huì)導(dǎo)致模型的訓(xùn)練變得困難，特別是在需要捕捉長(zhǎng)程依賴(lài)的任務(wù)中，模型的性能會(huì)顯著下降。這就會(huì)導(dǎo)致RNN喪失學(xué)習(xí)遠(yuǎn)端前序信息的能力，也可以理解為RNN網(wǎng)絡(luò)“記憶容量有限”。LSTM網(wǎng)絡(luò)結(jié)構(gòu)/03LSTM長(zhǎng)短記憶網(wǎng)絡(luò)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)是RNN網(wǎng)絡(luò)的一種，它增加了三個(gè)門(mén)結(jié)構(gòu)。輸入門(mén)用于控制輸入信息的流入，遺忘門(mén)用于控制舊信息的遺忘，輸出門(mén)用于控制輸出信息的流出。通過(guò)這些門(mén)的控制，LSTM可以選擇性地記住或忘記信息。遺忘門(mén)定義了你希望允許通過(guò)的前一個(gè)狀態(tài)ht-1的數(shù)量。輸入門(mén)定義了你當(dāng)前的輸入xt允許通過(guò)多少新計(jì)算的狀態(tài)。輸出門(mén)定義了你希望向下一層公開(kāi)多少內(nèi)部狀態(tài)。根據(jù)當(dāng)前輸人xt和上一個(gè)隱狀態(tài)ht-1來(lái)計(jì)算內(nèi)部隱狀態(tài)g它們的對(duì)應(yīng)的參數(shù)權(quán)重是Wi、Ui、Wf、Uf和Wo、UoLSTM長(zhǎng)短記憶網(wǎng)絡(luò)-門(mén)結(jié)構(gòu)單元狀態(tài)C，類(lèi)似于傳送帶，直接在用來(lái)傳輸三個(gè)門(mén)的輸出數(shù)據(jù)，它只有一些線性的交互，可以保證傳輸?shù)臄?shù)據(jù)不發(fā)生變化。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-單元狀態(tài)CLSTM如何控制門(mén)中的輸出數(shù)據(jù)呢，遺忘門(mén)包含一個(gè)包含一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)pointwise乘法操作。Sigmoid層輸出0到1之間的概率值，描述每個(gè)部分有多少量可以通過(guò)，0代表“不許任何量通過(guò)”，1就指“允許任意量通過(guò)”。可以通過(guò)“門(mén)”讓信息選擇性通過(guò)，來(lái)去除或者增加信息到狀態(tài)單元中。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-遺忘門(mén)決定放什么新信息到模型中，這里需要3個(gè)操作，Sigmoid層決定什么值需要更新，Tanh層創(chuàng)建一個(gè)新的候選值向量，然后將兩個(gè)值相加。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-輸入門(mén)首先將舊狀態(tài)Ct-1與遺忘門(mén)ft的值相乘，丟棄掉無(wú)用的信息，然后加上it與的乘積，得到更新的狀態(tài)Ct，其中it與的乘積表示新的內(nèi)部隱狀態(tài)。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-更新?tīng)顟B(tài)首先運(yùn)行一個(gè)sigmoid層來(lái)確定細(xì)胞狀態(tài)的哪個(gè)部分將輸出。用tanh處理細(xì)胞狀態(tài)（得到一個(gè)在-1到1之間的值），再將它和sigmoid門(mén)的輸出相乘，輸出確定輸出的那部分。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-輸出LSTM用途及優(yōu)缺點(diǎn)/04LSTM用途，LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，它通過(guò)使用記憶單元和門(mén)控機(jī)制來(lái)有效捕獲序列數(shù)據(jù)中的長(zhǎng)距離依賴(lài)關(guān)系，主要用于處理和預(yù)測(cè)時(shí)間序列數(shù)據(jù)。LSTM常用于處理時(shí)間序列數(shù)據(jù)問(wèn)題，也可以用于自然語(yǔ)言處理領(lǐng)域，例如語(yǔ)言建模、機(jī)器翻譯、文本生成等任務(wù)，在處理類(lèi)似任務(wù)是LSTM能夠處理序列數(shù)據(jù)中的上下文信息，這對(duì)于理解和生成自然語(yǔ)言至關(guān)重要。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-優(yōu)點(diǎn)但是LSTM的結(jié)構(gòu)較復(fù)雜，計(jì)算資源消耗較大，訓(xùn)練時(shí)間相對(duì)較長(zhǎng)，尤其在處理長(zhǎng)序列數(shù)據(jù)時(shí)為了達(dá)到良好的性能，LSTM通常需要大量的訓(xùn)練數(shù)據(jù)進(jìn)行模型學(xué)習(xí)。由于LSTM的計(jì)算過(guò)程具有順序依賴(lài)性，使得并行化處理較困難，這可能限制其在大規(guī)模數(shù)據(jù)上的應(yīng)用。同時(shí)LSTM具有多個(gè)參數(shù)（如記憶單元數(shù)量、學(xué)習(xí)率等），需要進(jìn)行細(xì)致的調(diào)優(yōu)才能達(dá)到最佳性能。LSTM長(zhǎng)短記憶網(wǎng)絡(luò)-缺點(diǎn)了解LSTM的結(jié)構(gòu)01了解輸入門(mén)、遺忘門(mén)、輸出門(mén)的工作原理02了解了LSTM的優(yōu)缺點(diǎn)03任務(wù)六：使用LSTM網(wǎng)絡(luò)自動(dòng)生成

圖片摘要文本RNN循環(huán)神經(jīng)網(wǎng)絡(luò)任務(wù)導(dǎo)入01任務(wù)目標(biāo)02任務(wù)導(dǎo)學(xué)03任務(wù)知識(shí)點(diǎn)04任務(wù)總結(jié)05任務(wù)導(dǎo)入/01根據(jù)圖像生成對(duì)應(yīng)的摘要文本是人工智能的一個(gè)典型應(yīng)用場(chǎng)景，?它通過(guò)機(jī)器學(xué)習(xí)模型將圖像內(nèi)容轉(zhuǎn)換為文字描述。自動(dòng)生成摘要文本可以快速將圖片內(nèi)容轉(zhuǎn)換為易于理解的自然語(yǔ)言，大幅度減少人工編寫(xiě)時(shí)間和成本，提升信息處理效率。文本摘要能增強(qiáng)信息的可讀性，使用戶(hù)能夠快速獲取圖片的核心內(nèi)容，尤其在新聞、社交媒體等需要快速傳播信息的領(lǐng)域非常有用。生成的文本可用作語(yǔ)義標(biāo)簽，提升圖像檢索系統(tǒng)的準(zhǔn)確性和效率。本任務(wù)使用LSTM網(wǎng)絡(luò)來(lái)自動(dòng)生成圖片摘要文本。任務(wù)目標(biāo)/02了解時(shí)序的概念理解RNN的工作原理理解LSTM的基本工作原理理解梯度消失和梯度爆炸的基本原理解循環(huán)神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播知識(shí)目標(biāo)理解LSTM狀態(tài)單元、遺忘門(mén)、輸出門(mén)的作用能根據(jù)需求選用LSTM網(wǎng)絡(luò)模型和CNN模型共同完成任務(wù)拓展能力能使用LSTM完成時(shí)序任務(wù)能使構(gòu)建LSTM網(wǎng)絡(luò)模型能訓(xùn)訓(xùn)練保存LSTM網(wǎng)絡(luò)模型能完調(diào)用LSTM網(wǎng)絡(luò)完成根據(jù)圖片生成文字描述的人物能力目標(biāo)任務(wù)導(dǎo)學(xué)/03LSTM簡(jiǎn)介L(zhǎng)STM網(wǎng)絡(luò)在自動(dòng)生成圖片摘要文本的過(guò)程中，能夠捕捉到圖片內(nèi)容的時(shí)序關(guān)系和語(yǔ)義信息，從而生成具有邏輯性和連貫性的自然語(yǔ)言描述。這種方法不僅提高了圖像內(nèi)容分析的自動(dòng)化程度，還為圖像檢索、圖像標(biāo)注等領(lǐng)域提供了有力的技術(shù)支持。LSTM（長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)）作為一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），在處理序列數(shù)據(jù)方面具有顯著優(yōu)勢(shì)，被廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域。LSTM可以通過(guò)提取圖片特征信息，將其轉(zhuǎn)化為文本描述。通常，這個(gè)過(guò)程包括使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取圖片的視覺(jué)特征，然后將這些特征傳遞給LSTM進(jìn)行序列學(xué)習(xí)和文本生成。任務(wù)知識(shí)點(diǎn)/04傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（包括CNN），輸入和輸出都是互相獨(dú)立的，例如圖像中的貓狗是分隔開(kāi)的，但是有些任務(wù)，后續(xù)的輸出和之前的內(nèi)容是相關(guān)的。需要理解這句話(huà)意思時(shí)，孤立的理解這句話(huà)的每個(gè)詞是不夠的，需要將這些這些詞連接成序列，根據(jù)前序的詞語(yǔ)生成后續(xù)的詞語(yǔ)。任務(wù)就可以看成輸入是一個(gè)序列的信息，輸出是和序列相關(guān)的信息，即前面的輸入和后面的輸入是有關(guān)系的。這是就需要使用RNN循環(huán)神經(jīng)網(wǎng)絡(luò)，循環(huán)的意思表明網(wǎng)絡(luò)模型中的每個(gè)單元都執(zhí)行相同的任務(wù)，但是輸出依賴(lài)于輸入和記憶。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)-循環(huán)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生最簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層組成。在t時(shí)刻，循環(huán)神經(jīng)網(wǎng)絡(luò)有一個(gè)輸入x(t)和輸出y(t)，輸出y(t)被送回網(wǎng)絡(luò)作為t+1時(shí)刻的輸入使用。和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一樣，學(xué)習(xí)的參數(shù)存儲(chǔ)為權(quán)重矩陣RNN有3個(gè)權(quán)重矩陣，U是輸入層到隱藏層的權(quán)重矩陣，V是隱藏層到輸出層的權(quán)重矩陣，W是隱藏層上一次的值作為這一次的輸入的權(quán)重矩陣。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)-循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層的值s不僅僅取決于當(dāng)前這次的輸入x，還取決于上一次隱藏層的值h，這時(shí)w就包含了之前的輸入數(shù)據(jù)的信息，起到了“記憶”單元的作用。把RNN網(wǎng)絡(luò)按照時(shí)間線展開(kāi)。可以把輸入處理成一個(gè)時(shí)間序列，xt表示時(shí)間t處的輸入，ht是時(shí)間t處的“記憶”，ht=f(UXt+Wht?1)，f可以是tanh激活函數(shù)，yt是時(shí)間t出的輸出，如果是預(yù)測(cè)下個(gè)詞，可以使用softmax輸出屬于每個(gè)候選詞的概率。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN中W矩陣可以把隱狀態(tài)ht視作“記憶體”，捕捉了之前時(shí)間點(diǎn)上的信息。輸出ht由當(dāng)前時(shí)間及之前所有的“記憶”共同計(jì)算得到。RNN整個(gè)神經(jīng)網(wǎng)絡(luò)都共享一組參數(shù)（U,V,W），極大減小了需要訓(xùn)練和預(yù)估的參數(shù)量。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN中ht矩陣RNN廣泛應(yīng)用于自然語(yǔ)言處理、時(shí)間序列預(yù)測(cè)、音頻和視頻處理等領(lǐng)域。RNN擅長(zhǎng)處理文本生成、機(jī)器翻譯、語(yǔ)音識(shí)別和情感分析等任務(wù)。RNN可以通過(guò)學(xué)習(xí)已有的語(yǔ)言模式生成上下文連貫的句子，自動(dòng)將一種語(yǔ)言的句子翻譯成另一種語(yǔ)言，并將語(yǔ)音信號(hào)轉(zhuǎn)換為文本。在聊天機(jī)器人、內(nèi)容創(chuàng)作工具、語(yǔ)音助手和語(yǔ)音控制設(shè)備中得到了廣泛應(yīng)用。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用-自然語(yǔ)言處理在時(shí)間序列預(yù)測(cè)中，RNN能夠通過(guò)捕捉數(shù)據(jù)中的時(shí)序特征和依賴(lài)關(guān)系，對(duì)未來(lái)趨勢(shì)進(jìn)行預(yù)測(cè)。這在金融市場(chǎng)預(yù)測(cè)、需求預(yù)測(cè)和傳感器數(shù)據(jù)分析等領(lǐng)域尤為重要。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用-時(shí)間序列預(yù)測(cè)中RNN可以根據(jù)歷史股票數(shù)據(jù)預(yù)測(cè)未來(lái)的價(jià)格變化，為投資決策提供參考；通過(guò)學(xué)習(xí)季節(jié)性變化和趨勢(shì)，預(yù)測(cè)商品的未來(lái)需求量；分析工業(yè)設(shè)備傳感器數(shù)據(jù)，預(yù)測(cè)設(shè)備故障，實(shí)現(xiàn)預(yù)測(cè)性維護(hù)。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用-時(shí)間序列預(yù)測(cè)中在音頻和視頻處理領(lǐng)域，RNN被用于音樂(lè)生成、視頻字幕生成和視頻分類(lèi)等任務(wù)。自動(dòng)為視頻生成字幕，識(shí)別視頻中的動(dòng)作和場(chǎng)景。這些能力在音樂(lè)創(chuàng)作、視頻會(huì)議和視頻內(nèi)容管理中具有重要應(yīng)用。RNN還被用于機(jī)器人和自動(dòng)駕駛中的路徑規(guī)劃和動(dòng)作預(yù)測(cè)，幫助機(jī)器人在復(fù)雜環(huán)境中進(jìn)行智能決策。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用-自然語(yǔ)言處理RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）是處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。其前向傳播計(jì)算方法與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同，因?yàn)镽NN的隱藏狀態(tài)不僅依賴(lài)于當(dāng)前輸入，還依賴(lài)于前一個(gè)時(shí)間步的隱藏狀態(tài)。這種設(shè)計(jì)使RNN能夠處理時(shí)間序列數(shù)據(jù)并捕獲長(zhǎng)短期依賴(lài)關(guān)系。RNN中前向傳播計(jì)算RRNN的基本單元由以下幾個(gè)部分組成：輸入層：輸入序列中的當(dāng)前時(shí)間步的特征向量。隱藏層：表示當(dāng)前時(shí)間步的隱藏狀態(tài)，依賴(lài)于當(dāng)前輸入和前一個(gè)隱藏狀態(tài)。輸出層：當(dāng)前時(shí)間步的輸出，可以通過(guò)一個(gè)線性變換加上激活函數(shù)得到。RNN中前向傳播計(jì)算-基本組成首先初始化隱藏層：在處理序列開(kāi)始時(shí)，隱藏狀態(tài)通常初始化為零向量。輸入序列處理對(duì)于給定的輸入序列{x0、x1...xt}，RNN逐步處理每個(gè)時(shí)間步的輸入。RNN中前向傳播計(jì)算-輸入層初始化輸入序列處理對(duì)于給定的輸入序列{x0、x1、....、xt}，RNN逐步處理每個(gè)時(shí)間步的輸入。隱藏狀態(tài)更新：對(duì)于每一個(gè)時(shí)間步t根據(jù)前一個(gè)時(shí)間步的隱藏狀態(tài)ht-1和當(dāng)前時(shí)間步的輸入xt更新隱藏狀態(tài)ht，計(jì)算方法如下。其中W是隱藏狀態(tài)的遞歸權(quán)重矩陣。U是輸入到隱藏層的權(quán)重矩陣。tanh是激活函數(shù)（常用的是tanh或ReLU）。RNN中前向傳播計(jì)算-隱藏狀態(tài)層更新任務(wù)總結(jié)了解什么是時(shí)間序列問(wèn)題01了解RNN的基本結(jié)構(gòu)02了解RNN應(yīng)用場(chǎng)景03掌握RNN的前向傳播計(jì)算方法04建立模型提取文本特征人工智能學(xué)院—任務(wù)六使用LSTM網(wǎng)絡(luò)自動(dòng)生成

圖片摘要文本1.任務(wù)導(dǎo)入任務(wù)總結(jié)建立模型提取圖像特征人工智能學(xué)院—任務(wù)六使用LSTM網(wǎng)絡(luò)自動(dòng)生成

圖片摘要文本1.任務(wù)導(dǎo)入任務(wù)總結(jié)讀取MSCOCO數(shù)據(jù)集的image和caption人工智能學(xué)院—任務(wù)六使用LSTM網(wǎng)絡(luò)自動(dòng)生成

圖片摘要文本1.任務(wù)導(dǎo)入任務(wù)總結(jié)項(xiàng)目概述、讀取MSCOCO數(shù)據(jù)集目錄人工智能學(xué)院—