深度學(xué)習(xí)報(bào)告

深度學(xué)習(xí)概述譙平2016年07月21日目錄什么是深度學(xué)習(xí)為什么需要深度學(xué)習(xí)深度學(xué)習(xí)如何進(jìn)行訓(xùn)練深度學(xué)習(xí)常用模型深度學(xué)習(xí)框架Caffe什么是深度學(xué)習(xí)-概述深度學(xué)習(xí)：一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)方法基本原理：深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。什么是深度學(xué)習(xí)-對比神經(jīng)網(wǎng)絡(luò)：深度學(xué)習(xí)：什么是深度學(xué)習(xí)-對比相同點(diǎn)：二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個(gè)對數(shù)回歸模型。不同點(diǎn)：神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：采用逐層訓(xùn)練機(jī)制。采用該機(jī)制的原因在于如果采用BP機(jī)制，對于一個(gè)深層網(wǎng)絡(luò)（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的梯度擴(kuò)散。為什么需要深度學(xué)習(xí)-源頭人腦視覺機(jī)理1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個(gè)邊緣指向某個(gè)方向時(shí)，這種神經(jīng)元細(xì)胞就會(huì)活躍為什么需要深度學(xué)習(xí)-源頭由此可知人的視覺系統(tǒng)的信息處理是分級的，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測就越少，就越利于分類。為什么需要深度學(xué)習(xí)-特征良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用；識別系統(tǒng)主要的計(jì)算和測試工作耗時(shí)主要集中在特征提取部分；特征的樣式目前一般都是人工設(shè)計(jì)的，靠人工提取特征。底層感知預(yù)處理特征提取特征選擇預(yù)測與識別傳統(tǒng)的模式識別方法：為什么需要深度學(xué)習(xí)-特征機(jī)器學(xué)習(xí)中，獲得好的特征是識別成功的關(guān)鍵目前存在大量人工設(shè)計(jì)的特征，不同研究對象特征不同，特征具有多樣性，如：SIFT,HOG,TEXTON等手工選取特征費(fèi)時(shí)費(fèi)力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣是否能自動(dòng)地學(xué)習(xí)特征？中層特征中層信號：為什么需要深度學(xué)習(xí)-特征連續(xù)平行連接拐角物體部件:他們對于人工而言是十分困難的，那么如何學(xué)習(xí)呢？為什么需要深度學(xué)習(xí)-特征一般而言，特征越多，給出信息就越多，識別準(zhǔn)確性會(huì)得到提升；但特征多，計(jì)算復(fù)雜度增加，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在每個(gè)特征上就會(huì)稀疏。結(jié)論：不一定特征越多越好！需要有多少個(gè)特征，需要學(xué)習(xí)確定。為什么需要深度學(xué)習(xí)-深層初級（淺層）特征表示高層特征或圖像，往往是由一些基本結(jié)構(gòu)（淺層特征）組成的為什么需要深度學(xué)習(xí)-深層結(jié)構(gòu)性特征表示為什么需要深度學(xué)習(xí)-深層淺層學(xué)習(xí)的局限人工神經(jīng)網(wǎng)絡(luò)（BP算法）—雖被稱作多層感知機(jī)，但實(shí)際是種只含有一層隱層節(jié)點(diǎn)的淺層模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒有隱層節(jié)點(diǎn)（如LR）的淺層模型局限性：有限樣本和計(jì)算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限。為什么需要深度學(xué)習(xí)-深層2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。為什么需要深度學(xué)習(xí)-深層深度學(xué)習(xí)本質(zhì)：通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。為什么需要深度學(xué)習(xí)-深層好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。為什么需要深度學(xué)習(xí)-對比神經(jīng)網(wǎng)絡(luò)的局限性：1）比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；2）訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；為什么需要深度學(xué)習(xí)-對比神經(jīng)網(wǎng)絡(luò)的BP算法的缺點(diǎn)：（1）反饋調(diào)整時(shí)，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越?。唬?）收斂易至局部最小，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時(shí)易導(dǎo)致這一情況；（3）BP算法需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；深度學(xué)習(xí)如何進(jìn)行訓(xùn)練EncoderDecoderInputImageClasslabele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:深度學(xué)習(xí)如何進(jìn)行訓(xùn)練Wake-Sleep算法為例：第一步：采用自下而上的無監(jiān)督學(xué)習(xí)1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。這個(gè)過程可以看作是一個(gè)特征學(xué)習(xí)的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。深度學(xué)習(xí)如何進(jìn)行訓(xùn)練wake-sleep算法:1）wake階段：認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個(gè)重建信息（Reconstruction），計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實(shí)一樣”。2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個(gè)抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念”。深度學(xué)習(xí)如何進(jìn)行訓(xùn)練第二步：自頂向下的監(jiān)督學(xué)習(xí)

這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個(gè)分類器（例如logistic回歸、SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)。深度學(xué)習(xí)的第一步實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。深度學(xué)習(xí)常用模型自動(dòng)編碼器（AutoEncoder）稀疏自動(dòng)編碼器(SparseAutoEncoder)降噪自動(dòng)編碼器(DenoisingAutoEncoders)限制玻爾茲曼機(jī)（RestrictedBoltzmannMachine）深度信任網(wǎng)絡(luò)（DeepBeliefNetworks）卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）深度學(xué)習(xí)常用模型一EncoderDecoderInput(Image/Features)OutputFeaturese.g.Feed-back/

top-downpathFeed-forward/

bottom-uppath自動(dòng)編碼器（AutoEncoder）深度學(xué)習(xí)常用模型二稀疏自動(dòng)編碼器(SparseAutoEncoder)限制每次得到的表達(dá)code盡量稀疏限制每次得到的表達(dá)code盡量稀疏深度學(xué)習(xí)常用模型二稀疏自動(dòng)編碼器(SparseAutoEncoder)FiltersFeaturesSparseCodingInput

Patch深度學(xué)習(xí)常用模型二σ(Wx)DzInputPatchxSparseFeaturesze.g.EncoderfiltersWSigmoidfunctionσ(.)DecoderfiltersDL1SparsityTraining稀疏自動(dòng)編碼器(SparseAutoEncoder)深度學(xué)習(xí)常用模型二稀疏自動(dòng)編碼器(SparseAutoEncoder)1）訓(xùn)練階段：給定一系列的樣本圖片[x1,x2,…]，我們需要學(xué)習(xí)得到一組基[Φ1,Φ2,…]，也就是字典。

深度學(xué)習(xí)常用模型二2）編碼階段：給定一個(gè)新的圖片x，由上面得到的字典，利用OMP算法求解一個(gè)LASSO問題得到稀疏向量a。這個(gè)稀疏向量就是這個(gè)輸入向量x的一個(gè)稀疏表達(dá)。深度學(xué)習(xí)常用模型三降噪自動(dòng)編碼器(DenoisingAutoEncoders)

在自動(dòng)編碼器的基礎(chǔ)上，對訓(xùn)練數(shù)據(jù)加入噪聲，自動(dòng)編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。深度學(xué)習(xí)常用模型四限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）定義：假設(shè)有一個(gè)二部圖，同層節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值（0，1值）變量節(jié)點(diǎn)，同時(shí)假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個(gè)模型是RestrictedBoltzmannMachine(RBM)。深度學(xué)習(xí)常用模型四限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）限制波爾茲曼機(jī)（RBM）是一種深度學(xué)習(xí)模型。深度學(xué)習(xí)常用模型四限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）定義聯(lián)合組態(tài)（jointconfiguration）能量：這樣某個(gè)組態(tài)的聯(lián)合概率分布可以通過Boltzmann分布和這個(gè)組態(tài)的能量來確定：深度學(xué)習(xí)常用模型四限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）給定隱層h的基礎(chǔ)上，可視層的概率確定：（可視層節(jié)點(diǎn)之間是條件獨(dú)立的）給定可視層v的基礎(chǔ)上，隱層的概率確定：深度學(xué)習(xí)常用模型四限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）

待求問題：給定一個(gè)滿足獨(dú)立同分布的樣本集：D={v(1),v(2),…,v(N)}，需要學(xué)習(xí)模型參數(shù)θ={W,a,b}。

求解：

最大似然估計(jì)：我們需要選擇一個(gè)參數(shù)，讓我們當(dāng)前的觀測樣本的概率最大對最大對數(shù)似然函數(shù)求導(dǎo)，即可得到L最大時(shí)對應(yīng)的參數(shù)W：若隱藏層層數(shù)增加，可得到DeepBoltzmannMachine(DBM)深度學(xué)習(xí)常用模型五深信度網(wǎng)絡(luò)（DeepBeliefNetworks）DeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），而在最遠(yuǎn)離可視層的部分使用RestrictedBoltzmannMachine的模型。深度學(xué)習(xí)常用模型五深信度網(wǎng)絡(luò)（DeepBeliefNetworks）深度學(xué)習(xí)常用模型五深信度網(wǎng)絡(luò)（DeepBeliefNetworks）深度學(xué)習(xí)常用模型六卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）

CNN人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。深度學(xué)習(xí)常用模型六CNN的Convolution過程如圖，原圖像是5*5大小，有25個(gè)神經(jīng)元，用一個(gè)3*3的卷積核對它進(jìn)行卷積，得到了如右圖所示的卷積后的Featuremap。該特征圖大小為3*3。假設(shè)一種卷積核只提取出圖像的一種特征，所以一般要多個(gè)卷積核來提取不同的特征，所以每一層一般都會(huì)有多張F(tuán)eaturemap。

同一張F(tuán)eaturemap上的神經(jīng)元共用一個(gè)卷積核，這大大減少了網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)。深度學(xué)習(xí)常用模型六CNN的Pooling過程如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性(translationinvariant)。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后，依然會(huì)產(chǎn)生相同的(池化的)特征。圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對圖像某一個(gè)區(qū)域上的特征取平均值(或最大值)。這種聚合的操作就叫做池化(pooling)。深度學(xué)習(xí)常用模型六CNN的優(yōu)點(diǎn)-參數(shù)減少如下圖所示，如果我們有1000x1000像素的圖像，有1百萬個(gè)隱層神經(jīng)元，那么他們?nèi)B接的話（每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)），就有1000000×1000000=10^12個(gè)連接，也就是10^12個(gè)權(quán)值參數(shù)。

局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10x10的窗口相連接，則1百萬個(gè)隱層神經(jīng)元就只有1000000×100

，即10^8個(gè)參數(shù)。其權(quán)值連接個(gè)數(shù)比原來減少了四個(gè)數(shù)量級。深度學(xué)習(xí)常用模型六CNN的優(yōu)點(diǎn)-權(quán)值共享

在上面的局部連接中，每個(gè)神經(jīng)元都對應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的，那么參數(shù)數(shù)目就變?yōu)?00了。我們可以把這100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式，該方式與位置無關(guān)。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們在這一部分學(xué)習(xí)的特征也能用在另一部分上，所以對于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。深度學(xué)習(xí)常用模型六文字識別系統(tǒng)LeNet-5

1.輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設(shè)定有6個(gè)不同的C1層，每一個(gè)C1層內(nèi)的權(quán)值是相同的。

2.S2層是一個(gè)下采樣層，由4個(gè)點(diǎn)下采樣為1個(gè)點(diǎn)，也就是4個(gè)數(shù)的加權(quán)平均，加權(quán)系數(shù)也需要通過學(xué)習(xí)得到。這個(gè)過程也叫做Pool。深度學(xué)習(xí)框架CaffeCaffe是一個(gè)清晰而高效的深度學(xué)習(xí)框架，其作者是博士畢業(yè)于UCBerkeley的賈揚(yáng)清，目前在Google工作。Caffe是純粹的C++/CUDA架構(gòu)，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接無縫切換：深度學(xué)習(xí)框架CaffeCaffe的優(yōu)勢1.上手快：模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出。

Caffe給出了模型的定義、最優(yōu)化設(shè)置以及預(yù)訓(xùn)練的權(quán)重，方便立即上手。2.速度快：能夠運(yùn)行最棒的模型與海量的數(shù)據(jù)。Caffe與cuDNN結(jié)合使用，測試AlexNet模型，在K40上處理每張圖片只需要1.17ms.3.模塊化：方便擴(kuò)展到新的任務(wù)和設(shè)置上.可以使用Caffe提供的各層類型來定義自己的模型。4.開放性：公開的代碼和參考模型用于再現(xiàn)。深度學(xué)習(xí)框架Caffe-Mnist實(shí)例Mnist數(shù)據(jù)集手寫數(shù)字圖片60000張訓(xùn)練庫圖片10000張測試庫圖片獲取：./get_mnist.sh深度學(xué)習(xí)框架Caffe-Mnist實(shí)例Mnist數(shù)據(jù)集的格式轉(zhuǎn)換

格式轉(zhuǎn)換./create_mnist.sh深度學(xué)習(xí)框架Caffe-Mnist實(shí)例全局參數(shù)配置（lenet_totxt）深度學(xué)習(xí)框架Caffe-Mnist實(shí)例LeNet網(wǎng)絡(luò)（lenet_train_totxt）layer{name:"mnist"type:"Data"transform_param{scale:0.00390625}data_param{source:"mnist_train_lmdb"backend:LMDBbatch_size:64}top:"data"top:"label"}layer{name:"conv1"type:"Convolution"param{lr_mult:1}param{lr_mult:2}convolution_param{num_output:20kernel_size:5stride:1weight_filler{type:"xavier"}bias_filler{type:"cons