2023PM全面理解深度學(xué)習(xí)

強(qiáng)化學(xué)習(xí)-Reinforcementlearning|DEEPLEARNING|AlphaGo就使用到了深度學(xué)習(xí)。深度學(xué)習(xí)是機(jī)?學(xué)習(xí)的一個(gè)分支(最重要的分支工智能的第三次浪潮。詳情可以看《人工智能的發(fā)展史——3AI浪潮》假設(shè)深度學(xué)習(xí)要處理的信息是“水流”，而處理數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)是一個(gè)由管道和閥門組成的巨大水管網(wǎng)絡(luò)。網(wǎng)絡(luò)的入口是若干管道開口，網(wǎng)絡(luò)的出口也是若干管道開口。這個(gè)水管網(wǎng)絡(luò)有許多層，每一層由許多個(gè)可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)的需要，水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對(duì)復(fù)雜任務(wù)來說，調(diào)節(jié)閥的總數(shù)可以成千上萬甚至更多。水管網(wǎng)絡(luò)中，每一層的每個(gè)調(diào)節(jié)閥都通過水管與下一層的所有調(diào)節(jié)閥連接起來，組成一個(gè)從前到后，逐層完全連通的水流系統(tǒng)。比如，當(dāng)計(jì)算機(jī)看到一張寫有“田”字的圖片，就簡(jiǎn)單將組成這張圖片的所有數(shù)字（在計(jì)算機(jī)里，圖片的每個(gè)顏色點(diǎn)都是用“0”和“1”組成的數(shù)字來表示的）全都變成信息的水流，從入口灌進(jìn)水管網(wǎng)絡(luò)。我們預(yù)先在水管網(wǎng)絡(luò)的每個(gè)出口都插一塊字牌，對(duì)應(yīng)于每一個(gè)我們想讓計(jì)算機(jī)認(rèn)識(shí)的漢字。這時(shí)，因?yàn)檩斎氲氖恰疤铩边@個(gè)漢字，等水流流過整個(gè)水管網(wǎng)絡(luò)，計(jì)算機(jī)就會(huì)跑到管道出口位置去看一看，是不是標(biāo)記由“田”字的管道出口流出來的水流最多。如果是這樣，就說明這個(gè)管道網(wǎng)絡(luò)符合要求。如果不是這樣，就調(diào)節(jié)水管網(wǎng)絡(luò)里的每一個(gè)流量調(diào)節(jié)閥，讓“田”字出口“流出”的水最多。下一步，學(xué)習(xí)“申”字時(shí)，我們就用類似的方法，把每一張寫有“申”字的圖片變成一大堆數(shù)字組成的水流，灌進(jìn)水管網(wǎng)絡(luò)，看一看，是不是寫有“申”字的那個(gè)管道出口流水最多，如果不是，我們還得再調(diào)整所有的閥門。這一次，要既保證剛才學(xué)過的“田”字不受影響，也要保證新的“申”字可以被正確處理。如此反復(fù)進(jìn)行，知道所有漢字對(duì)應(yīng)的水流都可以按照期望的方式流過整個(gè)水管網(wǎng)絡(luò)。這時(shí)，我們就說，這個(gè)水管網(wǎng)絡(luò)是一個(gè)訓(xùn)練好的深度學(xué)習(xí)模型了。當(dāng)大量漢字被這個(gè)管道網(wǎng)絡(luò)處理，所有閥門都調(diào)節(jié)到位后，整套水管網(wǎng)絡(luò)就可以用來識(shí)別漢字了。這時(shí)，我們可以把調(diào)節(jié)好的所有閥門都“焊死”，靜候新的水流到來。數(shù)據(jù)清洗數(shù)據(jù)標(biāo)簽歸一化去噪降維對(duì)于數(shù)據(jù)預(yù)處理感興趣的可以看看《AI數(shù)據(jù)集最常見的6大問題（附解決方案）深度學(xué)習(xí)高度依賴數(shù)據(jù)，數(shù)據(jù)量越大，他的表現(xiàn)就越好。在圖像識(shí)別、面部識(shí)別、NLP等TensorFlow、Pytorch。這些框架深度學(xué)習(xí)對(duì)算力要求很高，普通的CPU已經(jīng)無法滿足深度學(xué)習(xí)的要求。主流的算力都是GPUTPU，所以對(duì)于硬件的要求很高，成本也很高。由于深度學(xué)習(xí)依賴數(shù)據(jù)，并且可解釋性不高。在訓(xùn)練數(shù)據(jù)不平衡的情況下會(huì)出現(xiàn)性別歧視、種族歧視等問題。4–能夠?qū)⒋髷?shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結(jié)果了解更多《一文看懂卷積神經(jīng)網(wǎng)絡(luò)-CNN（基本原理+獨(dú)特價(jià)值+實(shí)際應(yīng)用）–了“記憶功能”。但是RNN存在嚴(yán)重的短期記憶問題，長(zhǎng)期的數(shù)據(jù)影響很?。呐滤侵豏NN幾個(gè)典型的應(yīng)用如下：–了解更多《–GAN？（基本概念+工作原理）–在Flappybird這個(gè)游戲中，我們需要簡(jiǎn)單的點(diǎn)擊操作來控制小鳥，躲過各種水管，飛的機(jī)?有一個(gè)明確的小鳥角色——代理需要控制小鳥飛的更遠(yuǎn)——目標(biāo)整個(gè)游戲過程中需要躲避各種水管——環(huán)境躲避水管的方法是讓小鳥用力飛一下——行動(dòng)飛的越遠(yuǎn)，就會(huì)獲得越多的積分——獎(jiǎng)勵(lì)“數(shù)據(jù)喂養(yǎng)”。了解更多：《一文看懂什么是強(qiáng)化學(xué)習(xí)？（基本概念+應(yīng)用場(chǎng)景+主流算法）–CNNCNN有2CNN已經(jīng)得到了廣泛的應(yīng)用，比如：人臉識(shí)別、自動(dòng)駕駛、美圖秀秀、安防等CNNCNN出現(xiàn)之前，圖像對(duì)于人工智能來說是一個(gè)難題，有21000×1000RGB3個(gè)參數(shù)來表示1000×1000像素的圖片，我們就需要處理3卷積神經(jīng)網(wǎng)絡(luò)–CNN解決的第一個(gè)問題就是「將復(fù)雜問題簡(jiǎn)化」，把大量參數(shù)降維成少更重要的是：我們?cè)诖蟛糠謭?chǎng)景下，降維并不會(huì)影響結(jié)果。比如1000而CNN解決了這個(gè)問題，他用類似視覺的方式保留了圖像的特征，當(dāng)圖像做翻轉(zhuǎn)，旋轉(zhuǎn)那么卷積神經(jīng)網(wǎng)絡(luò)是如何實(shí)現(xiàn)的呢？在我們了解CNN原理之前，先來看看人類的視覺原1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)，頒發(fā)給了DavidHubel（出生于加拿大的美國(guó)神經(jīng)生物學(xué)家）和TorstenWieselRogerSperry。前兩位的主要貢獻(xiàn)，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處人類的視覺原理如下：從原始信號(hào)攝入開始（瞳孔攝入像素Pixels），那么我們可以很自然的想到：可以不可以模仿人類大腦的這個(gè)特點(diǎn)，構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)，較低層的識(shí)別初級(jí)的圖像特征，若干底層特征組成更上一層特征，最終通過多個(gè)層級(jí)的組合，最終在頂層做出分類呢？卷積神經(jīng)網(wǎng)絡(luò)-CNNCNN由3卷積層負(fù)責(zé)提取圖像中的局部特征；池化層用來大幅降低參數(shù)量級(jí)(降維)；全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的部分，用來輸出想要的結(jié)果。卷積——在具體應(yīng)用中，往往有多個(gè)卷積核，可以認(rèn)為，每個(gè)卷積核代表了一種圖像模式，如果某個(gè)圖像塊與此卷積核卷積出的值大，則認(rèn)為此圖像塊十分接近于此卷積核。如果我們?cè)O(shè)計(jì)了6個(gè)卷積核，可以理解：我們認(rèn)為這個(gè)圖像上有6種底層紋理模式，也就是我們用6中基礎(chǔ)模式就能描繪出一副圖像。以下就是25種不同的卷積核的示例：池化層（下采樣）——上圖中，我們可以看到，原始圖片是20×20的，我們對(duì)其進(jìn)行下采樣，采樣窗口為10×10，最終將其下采樣成為一個(gè)2×2全連接層——經(jīng)過卷積層和池化層降維過的數(shù)據(jù)，全連接層才能”跑得動(dòng)”，不然數(shù)據(jù)量太大，計(jì)算成本高，效率低下。典型的CNN并非只是上面提到的3層結(jié)構(gòu)，而是多層結(jié)構(gòu)，例如LeNet-5的結(jié)構(gòu)就如下卷積層池化層卷積層池化層卷積層CNNCNNCNN卷積神經(jīng)網(wǎng)絡(luò)–CNN很擅長(zhǎng)處理圖像。而視頻是圖像的疊加，所以同樣擅長(zhǎng)處理視頻內(nèi)一些特定領(lǐng)域的圖片，分類的準(zhǔn)確率可以達(dá)到95%+，已經(jīng)算是一個(gè)可用性很高的應(yīng)用典型場(chǎng)景：圖像搜索典型場(chǎng)景：自動(dòng)駕駛、安防、醫(yī)療典型場(chǎng)景：美圖秀秀、視頻后期加工、圖像生成典型場(chǎng)景：安防、金融、生活CNN能夠?qū)⒋髷?shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結(jié)果–CNN已經(jīng)很強(qiáng)大的，為什么還需要RNN的獨(dú)特價(jià)值——卷積神經(jīng)網(wǎng)絡(luò)–CNN和普通的算法大部分都是輸入和輸出的一一對(duì)應(yīng)，也就是一個(gè)輸入RNN之所以能夠有效的處理序列數(shù)據(jù)，主要是基于他的比較特殊的運(yùn)行原理。下面給大家RNN的基本運(yùn)行原理。RNN跟傳統(tǒng)神經(jīng)網(wǎng)絡(luò)最大的區(qū)別在于每次都會(huì)將前一次的輸出結(jié)果，帶到下一次的隱藏層timeisit？”我們需要先對(duì)這句話進(jìn)行分詞：RNN“what”RNN的輸入，得到輸出「01然后，我們按照順序，將“time”RNN網(wǎng)絡(luò)，得到輸出「02這個(gè)過程我們可以看到，輸入“time”的時(shí)候，前面“what”的輸出也產(chǎn)生了影響（隱藏影響就很?。ㄈ绾谏途G色區(qū)域），RNN存在的短期記憶問題。RNNRNN的優(yōu)化算法，下面給大家簡(jiǎn)單介紹一RNN是一種死板的邏輯，越晚的輸入影響越大，越早的輸入影響越小，且無法改變這個(gè)邏LSTM做的最大的改變就是打破了這個(gè)死板的邏輯，而改用了一套靈活了邏輯——只保留LSTM類似上面的劃重點(diǎn)，他可以保留較長(zhǎng)序列數(shù)據(jù)中的「重要信息」，忽略不重要的信息RNN短期記憶的問題。LSTM的詳細(xì)介紹《長(zhǎng)短期–LSTM》LSTMGatedRecurrentUnit–GRULSTMLSTM劃重點(diǎn)，遺忘不重要信息的特點(diǎn)，在long-term傳播的時(shí)候也不會(huì)被丟失。文本生成：類似上面的填空題，給出前后文，然后預(yù)測(cè)空格中的詞是什么。機(jī)?翻譯語音識(shí)別：根據(jù)輸入音頻判斷對(duì)應(yīng)的文字是什么。生成圖像描述：類似看圖說話，給一張圖，能夠描述出圖片中的內(nèi)容。這個(gè)往往是CNN視頻標(biāo)記了“記憶功能”。但是RNN存在嚴(yán)重的短期記憶問題，長(zhǎng)期的數(shù)據(jù)影響很?。呐滤侵豏NN幾個(gè)典型的應(yīng)用如下：長(zhǎng)短期記憶網(wǎng)絡(luò)——通常被稱為L(zhǎng)STM，是一種特殊的RNN，能夠?qū)W習(xí)長(zhǎng)期依賴性。由Hochreiter和Schmidhuber（1997）提出的，并且在接下來的工作中被許多人改進(jìn)和推廣。LSTM在各種各樣的問題上表現(xiàn)非常出色，現(xiàn)在被廣泛使用。LSTM被明確設(shè)計(jì)用來避免長(zhǎng)期依賴性問題。長(zhǎng)時(shí)間記住信息實(shí)際上是LSTM的默認(rèn)行所有遞歸神經(jīng)網(wǎng)絡(luò)都具有神經(jīng)網(wǎng)絡(luò)的鏈?zhǔn)街貜?fù)模塊。在標(biāo)準(zhǔn)的RNN中，這個(gè)重復(fù)模塊具tanh層。LSTM也具有這種類似的鏈?zhǔn)浇Y(jié)構(gòu)，但重復(fù)模塊具有不同的結(jié)構(gòu)。不是一個(gè)單獨(dú)的神經(jīng)網(wǎng)LSTM的圖解?，F(xiàn)在，讓我們?cè)囍ナ煜の覀儗⑹褂肔STMLSTM可以通過所謂“門”S01之間，表示有多大比例的信息通過。0值表示“沒有信息通過”，1值表示“所有信息通過”。如果對(duì)詳細(xì)的技術(shù)原理感興趣，可以看看這篇文章《IllustratedGuidetoLSTM’sandGRU’s:Astepbystepexplanation》–GANs是最近2年很熱門的一種無監(jiān)督算法，他能生成出非常逼真的本文將詳細(xì)介紹生成對(duì)抗網(wǎng)絡(luò)–GANs的設(shè)計(jì)初衷、基本原理、10種典型算法和13GANSGANs的設(shè)計(jì)動(dòng)機(jī)就是——人工提取特征——人工判斷生成結(jié)果的好壞——而GANs能自動(dòng)完成這個(gè)過程，且不斷的優(yōu)化，這是一種效率非常高，且成本很低的方GANS生成對(duì)抗網(wǎng)絡(luò)（GANs）由2 第一階段：固定「判別?D」，訓(xùn)練「生成?G我們使用一個(gè)還OK判別?，讓一個(gè)「生成?G」不斷生成“假數(shù)據(jù)”，然后給這個(gè)「判別一開始，「生成?G但是隨著不斷的訓(xùn)練，「生成?G」技能不斷提升，最終騙過了「判別?D第二階段：固定「生成?G」，訓(xùn)練「判別?D當(dāng)通過了第一階段，繼續(xù)訓(xùn)練「生成?GG」，然后開始訓(xùn)練「判別?D「判別?D」通過不斷訓(xùn)練，提高了自己的鑒別能力，最終他可以準(zhǔn)確的判斷出所有的假圖片。到了這個(gè)時(shí)候，「生成?G」已經(jīng)無法騙過「判別?D通過不斷的循環(huán)，「生成?G」和「判別?D最終我們得到了一個(gè)效果非常好的「生成?G」，我們就可以用它來生成我們想要的圖片了。下面的實(shí)際應(yīng)用部分會(huì)展示很多“驚艷”GANs的詳細(xì)技術(shù)原理感興趣，可以看看下面2《生成性對(duì)抗網(wǎng)絡(luò)（GAN）–附代碼《長(zhǎng)文解釋生成對(duì)抗網(wǎng)絡(luò)GAN的詳細(xì)原理（20分鐘閱讀）GANS能更好建模數(shù)據(jù)分布（圖像更銳利、清晰 理論上，GANs能訓(xùn)練任何一種生成?網(wǎng)絡(luò)。其他的框架需要生成?網(wǎng)絡(luò)有一些特 無需利用馬爾科夫鏈反復(fù)采樣，無需在學(xué)習(xí)過程中進(jìn)行推斷，沒有復(fù)雜的變分下D收斂，G發(fā)散。D/G 模式缺失（ModeCollapse）問題。GANs的學(xué)習(xí)過程可能出現(xiàn)模式缺失，生成?擴(kuò)展閱讀：《為什么訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)如此困難？10大典型的GANSGANsGANs的研究呈指數(shù)級(jí)的上漲，目前每個(gè)月都有數(shù)百GANsGANsGANs動(dòng)物園」里查看幾乎所有的算法。我們?yōu)榇笊厦鎯?nèi)容整理自《GenerativeAdversarialNetworks–TheStorySoFar》原文中對(duì)算法GANS的13GANs看上去不如「語音識(shí)別」「文本挖掘」那么直觀。不過他的應(yīng)用已經(jīng)進(jìn)入到我們的GANs的實(shí)際應(yīng)用。GANsGANs簡(jiǎn)單說就是把一種形式的圖像轉(zhuǎn)換成另外一種形式的圖像，就好像加濾鏡一樣神奇。例如：把草稿轉(zhuǎn)換成照片把衛(wèi)星照片轉(zhuǎn)換為Google地圖的圖片把照片轉(zhuǎn)換成油畫把白天轉(zhuǎn)換成黑夜在2016年標(biāo)題為“StackGAN：使用StackGAN的文本到逼真照片的圖像合成”的論文中，演示了使用GAN，特別是他們的StackGAN，從鳥類和花卉等簡(jiǎn)單對(duì)象的文本描述語意圖像在2017年標(biāo)題為“高分辨率圖像合成和帶條件GAN的語義操縱”的論文中，演示了在語義在2017年標(biāo)題為“姿勢(shì)引導(dǎo)人形象生成”的論文中，可以自動(dòng)生成人體模特，并且使用新照片到GANs可以通過人臉照片自動(dòng)生成對(duì)應(yīng)的表情（Emojis）使用GANsGANs給GANs假如照片中有一個(gè)區(qū)域出現(xiàn)了問題（例如被涂上顏色或者被抹去），GANs可以修復(fù)這個(gè)區(qū)域，還原成原始的狀態(tài)。給出多個(gè)不同角度的2D圖像，就可以生成一個(gè)3D強(qiáng)化學(xué)習(xí)-REINFORCEMENT|在Flappybird這個(gè)游戲中，我們需要簡(jiǎn)單的點(diǎn)擊操作來控制小鳥，躲過各種水管，飛的機(jī)?有一個(gè)明確的小鳥角色——代理需要控制小鳥飛的更遠(yuǎn)——目標(biāo)整個(gè)游戲過程中需要躲避各種水管——環(huán)境躲避水管的方法是讓小鳥用力飛一下——行動(dòng)飛的越遠(yuǎn)，就會(huì)獲得越多的積分——獎(jiǎng)勵(lì)“數(shù)據(jù)喂養(yǎng)”。2016年：AlphaGoMaster擊敗李世石，使用強(qiáng)化學(xué)習(xí)的AlphaGoZero僅花了40天時(shí)AlphaGoMaster?！稄?qiáng)化學(xué)習(xí)與推薦系統(tǒng)的強(qiáng)強(qiáng)聯(lián)合《基于深度強(qiáng)化學(xué)習(xí)的對(duì)話管理中的策略自適應(yīng)《強(qiáng)化學(xué)習(xí)在業(yè)界的實(shí)際應(yīng)用有模型學(xué)習(xí)（Model-Based）對(duì)環(huán)境有提前的認(rèn)知，可以提前考慮規(guī)劃，但是缺點(diǎn)是如果模型跟真實(shí)世界不一致，那么在實(shí)際使用場(chǎng)景下會(huì)表現(xiàn)的不好。免模型學(xué)習(xí)（Model-Free）放棄了模型學(xué)習(xí)，在效率上不如前者，但是這種方式更加容易實(shí)現(xiàn)，也容易在真實(shí)場(chǎng)景下調(diào)整到很好的狀態(tài)。所以免模型學(xué)習(xí)方法更受歡迎，得到更加廣泛的開發(fā)和測(cè)試。這個(gè)系列的方法將策略顯示表示為 。它們直接對(duì)性能目 進(jìn)行梯度同策略的，也就是說每一步更新只會(huì)用最新的策略執(zhí)行時(shí)采集到的數(shù)據(jù)。策略優(yōu)化通常還包括學(xué)習(xí)出，作為的近似，該函數(shù)用于確定如何更新策略。A2C/A3C,通過梯度下降直接最大化