深度學習匯報

1、深度學習（Deep Learning） 1/25Outline 概念基本學習算法基本學習算法 應(yīng)用應(yīng)用 目前的困難程度目前的困難程度2/25深度學習的概念深度學習的概念3/25什么是deep learning? 深度學習：一種基于無監(jiān)督特征學習和特征層次結(jié)構(gòu)的學習方法。 本質(zhì)：通過構(gòu)建多隱層的模型和海量訓練數(shù)據(jù)，來學習更有用的特征，從而最終提升分類或預(yù)測的準確性。 含多隱層的多層感知器就是一種深度學習結(jié)構(gòu)。 DL訓練過程訓練過程4/25深度學習的基本思想： 對于Deep Learning，需要自動地學習特征，假設(shè)有一堆輸入I，輸出是O，設(shè)計一個系統(tǒng)S（有n層），形象地表示為： I =S1=S2

2、=.=Sn = O，通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么就可以自動地獲取得到輸入I的一系列層次特征，即S1，., Sn。深度學習訓練過程：第一步：采用自下而上的無監(jiān)督學習 1）逐層構(gòu)建單層神經(jīng)元。 2）每層采用wake-sleep算法進行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。DL訓練過程訓練過程5/25wake-sleep算法:1）wake階段： 認知過程，通過外界的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。2）sleep階段： 生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利

3、用認知（Encoder）權(quán)重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認知（Encoder）權(quán)重。DL訓練過程訓練過程6/25 第二步：自頂向下的監(jiān)督學習 這一步是在第一步學習獲得各層參數(shù)進的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標簽數(shù)據(jù)的監(jiān)督學習，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。DL模型模型7/25深度學習的具體模型及方法： 1、自動編碼器（ AutoEncoder ） 2、稀疏自動編碼器(Sparse AutoEncoder) 3、限制波爾茲曼機（Restricted Boltzmann Machine） 4

4、、深信度網(wǎng)絡(luò)（Deep Belief Networks） 5、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）自動編碼器自動編碼器8/251、自動編碼器（ AutoEncoder ） 將input輸入一個encoder編碼器，就會得到一個code，這個code也就是輸入的一個表示，再加一個decoder解碼器，這時候decoder就會輸出一個信息，那么如果輸出的這個信息和一開始的輸入信號input是很像的（理想情況下就是一樣的），就有理由相信這個code是靠譜的。所以，通過調(diào)整encoder和decoder的參數(shù)，使得重構(gòu)誤差最小，就得到了輸入input信號的第一個表

5、示了，也就是編碼code了。因為是無標簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。稀疏自動編碼器稀疏自動編碼器9/252、稀疏自動編碼器(Sparse AutoEncoder) 如上圖，其實就是限制每次得到的表達code盡量稀疏。因為稀疏的表達往往比其他的表達要有效。 在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點中大部分都要為0，只有少數(shù)不為0），就可以得到Sparse AutoEncoder法。RBM10/253、限制波爾茲曼機（RBM） 定義：假設(shè)有一個二部圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層

6、(h)，如果假設(shè)所有的節(jié)點都是隨機二值（0，1）變量節(jié)點，同時假設(shè)全概率分布p(v,h)滿足Boltzmann分布，稱這個模型是RBM。RBM11/25訓練模型： 聯(lián)合組態(tài)（jointconfiguration）的能量可以表示為：而某個組態(tài)的聯(lián)合概率分布可以通過Boltzmann 分布（和這個組態(tài)的能量）來確定：給定隱層h的基礎(chǔ)上，可視層的概率確定：（可視層節(jié)點之間是條件獨立的）RBM12/25 給定可視層v的基礎(chǔ)上，隱層的概率確定： 給定一個滿足獨立同分布的樣本集：D=v(1), v(2), v(N)，我們需要學習參數(shù)=W,a,b。 最大似然估計：對最大對數(shù)似然函數(shù)求導(dǎo)，就可以得到L最大時對

7、應(yīng)的參數(shù)W了。DBN13/254、深信度網(wǎng)絡(luò)（DBN） DBNs是一個概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對，生成模型是建立一個觀察數(shù)據(jù)和標簽之間的聯(lián)合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了后者，也就是P(Label|Observation)。 對于在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)的BP算法的時候，DBNs遇到了以下問題： （1）需要為訓練提供一個有標簽的樣本集； （2）學習過程較慢； （3）不適當?shù)膮?shù)選擇會導(dǎo)致學習收斂于局部最優(yōu)解。DBN14/25 DBNs由多個限制玻爾茲曼機（RBM）層組成，一個典型的

8、神經(jīng)網(wǎng)絡(luò)類型如下圖所示。 在最高兩層，權(quán)值被連接到一起，更低層的輸出將會提供一個參考的線索或者關(guān)聯(lián)給頂層，頂層就會將其聯(lián)系到它的記憶內(nèi)容。CNN15/255、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks） 卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。CNNs是第一個真正成功訓練多層網(wǎng)絡(luò)結(jié)構(gòu)的學習算法。 概念示范：輸入圖像通過與m個可訓練的濾波器和可加偏置進行卷積，在C1層產(chǎn)生m個特征映射圖，然后特征映射圖中每組的n個像素再進行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到m個S2層的特征映射圖。這些映射圖再經(jīng)過濾波

9、得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。CNN16/25關(guān)于參數(shù)減少與權(quán)值共享：減少參數(shù)的方法：每個神經(jīng)元無需對全局圖像做感受，只需感受局部區(qū)域（Feature Map），在高層會將這些感受不同局部的神經(jīng)元綜合起來獲得全局信息。每個神經(jīng)元參數(shù)設(shè)為相同，即權(quán)值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。CNN17/25隱層神經(jīng)元數(shù)量的確定： 神經(jīng)元數(shù)量與輸入圖像大小、濾波器大小和濾波器的滑動步長有關(guān)。 例如，輸入圖像是1000 x1000像素，濾波器大小是10 x10，假設(shè)濾波器間沒有重疊，即步長為10，這樣隱層的

10、神經(jīng)元個數(shù)就是(1000 x1000 )/ (10 x10)=10000個。CNN18/25 總之，卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享以及時間或空間子采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得某種程度的位移、尺度、形變不變性。CNN的優(yōu)點： 1、避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習； 2、同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學習，降低了網(wǎng)絡(luò)的復(fù)雜性； 3、采用時間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性； 4、輸入信息和網(wǎng)絡(luò)拓撲結(jié)構(gòu)能很好的吻合，在語音識別和圖像處理方面有著獨特優(yōu)勢。應(yīng)用應(yīng)用19/25深度學習的應(yīng)用：1、深度學習在圖像識別上的應(yīng)用

11、空間金字塔實驗在Caltech 256數(shù)據(jù)集上，利用單特征識別，Sparse CRBM性能最優(yōu)。應(yīng)用應(yīng)用20/25應(yīng)用應(yīng)用21/252、深度學習在音頻識別上的應(yīng)用 許多專家還發(fā)現(xiàn)，不僅圖像存在這個規(guī)律，聲音也存在。他們從未標注的聲音中發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)，其余的聲音可以由這20種基本結(jié)構(gòu)合成。應(yīng)用應(yīng)用22/253、深度學習在視頻識別上的應(yīng)用4、深度學習在自然語言處理上的應(yīng)用5、深度學習在多模態(tài)學習中的應(yīng)用6、深度學習在多任務(wù)學習中的應(yīng)用7、基于深度學習的遷移學習應(yīng)用8、深度學習在大尺度數(shù)據(jù)集上的應(yīng)用目前的困難程度目前的困難程度23/25深度學習面臨的問題：1、理論問題 理論問題主要體現(xiàn)在兩個方面，一個是統(tǒng)計學方面的，即需要多少訓練樣本才能學習到足夠好的深度模型；另一個是計算方面的，即需要多少的計算資源才能通過訓練得到更好的模型，理想的計算優(yōu)化方法是什么？2、建模問題 針對具體應(yīng)用問題，如何設(shè)計一個最合適的深度模型來就解決問題？是否可以建立一個通用的深度模型或深度模型的建模語言，作為統(tǒng)一的框架來處理語音、圖像和語言？ 另外，對于怎么用深度模型來表示像語義這樣的結(jié)構(gòu)化的信息還需要更多的研究。3、工程問題 對于互聯(lián)網(wǎng)公司而言，如何在工程上利用大規(guī)模的并行計算平臺來實現(xiàn)海量數(shù)據(jù)訓練，這是首要解決的問題。目前的困難程度目前的困難程度24/25未來需解決的問題：（