深度學(xué)習(xí)綜述

深度學(xué)習(xí)綜述目錄TOC\o"1-5"\h\z\o"CurrentDocument"深度學(xué)習(xí)的概念 0卷積神經(jīng)網(wǎng)絡(luò)模型 1深度信任網(wǎng)絡(luò)模型 2堆棧自編碼網(wǎng)絡(luò)模型 3\o"CurrentDocument"深度學(xué)習(xí)算法 4深度費(fèi)希爾映射方法 4非線(xiàn)性變換方法 5稀疏編碼對(duì)稱(chēng)機(jī)算法 5遷移學(xué)習(xí)算法 5自然語(yǔ)言解析算法 6學(xué)習(xí)率自適應(yīng)方法 6\o"CurrentDocument"深度學(xué)習(xí)的實(shí)際應(yīng)用 6語(yǔ)音識(shí)別 6視頻分析 6人臉識(shí)別 7圖像識(shí)別和檢索 7\o"CurrentDocument"深度學(xué)習(xí)的問(wèn)題及發(fā)展趨勢(shì) 8\o"CurrentDocument"總結(jié) 8\o"CurrentDocument"參考文獻(xiàn) 9#深度學(xué)習(xí)綜述摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域，在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。近年來(lái)，深度學(xué)習(xí)在各領(lǐng)域上也取得了豐碩的研究成果。本文簡(jiǎn)要論述了深度學(xué)習(xí)的概念、模型、算法以及在各領(lǐng)域的應(yīng)用，最后說(shuō)明深度學(xué)習(xí)的問(wèn)題及發(fā)展趨勢(shì)。關(guān)鍵字：深度學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inrecentyears,deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords:Deeplearning,neuralnetwork,machinelearning深度學(xué)習(xí)的概念深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究方向，近年來(lái)在圖像識(shí)別與檢索、語(yǔ)言信息處理、語(yǔ)音識(shí)別等多領(lǐng)域中都取得較為成功的發(fā)展。深度學(xué)習(xí)應(yīng)用的發(fā)展基礎(chǔ)在于建立模型來(lái)模擬人類(lèi)大腦的神經(jīng)連接結(jié)構(gòu) ,在處理圖像、聲音和文本這些信號(hào)時(shí),通過(guò)多個(gè)變換階段分層對(duì)數(shù)據(jù)特征進(jìn)行描述 ,進(jìn)而給出數(shù)據(jù)的解釋。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念最早 G.E.Hinton等于2006年提出?；谏钚哦染W(wǎng)（DBN）提出非監(jiān)督貪心訓(xùn)練逐層算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨□□□□□□□□□□□□□□□□□ Lecun□□□□□□□□□□□□□□個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。同機(jī)器學(xué)習(xí)方法一樣，深度機(jī)器學(xué)習(xí)方法也有有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之分，不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型不同。例如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而就是一種無(wú)監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和堆棧自編碼網(wǎng)絡(luò)模型等，下面對(duì)這些模型進(jìn)行描述。卷積神經(jīng)網(wǎng)絡(luò)模型卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在于網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或是其他形式的變形具有高度不變形。Lecun的卷積神經(jīng)網(wǎng)絡(luò)由卷積層和子抽樣層兩種類(lèi)型的神經(jīng)網(wǎng)絡(luò)層組成。每一層有一個(gè)拓?fù)鋱D結(jié)構(gòu)，即在接收域內(nèi)，每個(gè)神經(jīng)元與輸入圖像中某個(gè)位置對(duì)應(yīng)的固定二維位置編碼信息關(guān)聯(lián)。在每層的各個(gè)位置分布著許多不同的神經(jīng)元，每個(gè)神經(jīng)元有一組輸入權(quán)值，這些權(quán)值與前一層神經(jīng)網(wǎng)絡(luò)矩形塊中的神經(jīng)元關(guān)聯(lián)；同一組權(quán)值和不同輸入矩形塊與不同位置的神經(jīng)元關(guān)聯(lián)。下圖是一個(gè)用于手寫(xiě)體字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，由一個(gè)輸入層、四個(gè)隱層和一個(gè)輸出層組成。由下圖可以看出，與完全連接的多層前饋感知器網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)使用接收域的局部連接，限制了網(wǎng)絡(luò)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)的另一個(gè)特點(diǎn)是權(quán)值共享，圖中包含大量連接權(quán)值，但是由于同一隱層的神經(jīng)元共享同一權(quán)值集，大大減少了自由參數(shù)的數(shù)量。圖1—1用于手寫(xiě)體字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上實(shí)現(xiàn)一種輸入到輸出的映射關(guān)系，能夠?qū)W習(xí)大量輸入與輸出之間的映射關(guān)系，不需要任何輸入和輸出之間的精確數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以使網(wǎng)絡(luò)具有輸入輸出之間的映射能力。卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行的是有監(jiān)督訓(xùn)練，在開(kāi)始訓(xùn)練前，用一些不同的小隨機(jī)數(shù)對(duì)網(wǎng)絡(luò)的所有權(quán)值進(jìn)行初始化。卷積神經(jīng)網(wǎng)絡(luò)中這種層間聯(lián)系和空域信息的緊密關(guān)系，使其適于圖像處理和理解。而且，在其自動(dòng)提取圖像的顯著特征方面還表現(xiàn)出了比較優(yōu)異的性能。在目前大部分的工作中，研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到了多種機(jī)器學(xué)習(xí)問(wèn)題中，包括人臉識(shí)別，文檔分析和語(yǔ)言檢測(cè)等。為了達(dá)到尋找視頻中幀與幀之間的相干性的目的，目前卷積神經(jīng)網(wǎng)絡(luò)通過(guò)一個(gè)時(shí)間想干性去訓(xùn)練，但這個(gè)不是卷積神經(jīng)網(wǎng)絡(luò)特有的。深度信任網(wǎng)絡(luò)模型深度信任網(wǎng)絡(luò)可以解釋為貝葉斯概率生成模型，由多層隨機(jī)隱變量組成，上面的兩層具有無(wú)向?qū)ΨQ(chēng)連接，下面的層得到來(lái)自上一層的自頂向下的有向連接，最底層單元的狀態(tài)為可見(jiàn)輸入數(shù)據(jù)向量。深度信任網(wǎng)絡(luò)由若干結(jié)構(gòu)單元堆□□□,□□ 1—2□□,□□□□□□□ RBM。堆棧中每個(gè) RBM□□□□□層神經(jīng)元數(shù)量等于前一 RBM單元的隱層神經(jīng)元數(shù)量。根據(jù)深度學(xué)習(xí)機(jī)制，采用□□□□□□□□□ RBM□□,□□□□□□□□□□□ RBM模型，將 RBM模型進(jìn)行堆棧通過(guò)增加層來(lái)改善模型性能。在無(wú)監(jiān)督預(yù)訓(xùn)練過(guò)程中， DBN編碼輸入到頂層 RBM后解碼頂層的狀態(tài)到最底層的單元實(shí)現(xiàn)輸入的重構(gòu)。

圖1—2DBN的生成過(guò)程RBM的無(wú)向圖模型如圖 1—3所示，作為DBN的結(jié)構(gòu)單元，RBM與每一層DBN共享參數(shù)。區(qū)一圖1—3RBM的無(wú)向圖模型RBM□□□□□□□□□□□□□,□□□□□□□□□□□□□□□,只有可見(jiàn)層節(jié)點(diǎn)與隱層節(jié)點(diǎn)之間有連接權(quán)值，而可見(jiàn)層節(jié)點(diǎn)與可見(jiàn)層節(jié)點(diǎn)以及隱層節(jié)點(diǎn)與隱層節(jié)點(diǎn)之間無(wú)連接。堆棧自編碼網(wǎng)絡(luò)模型堆棧自編碼網(wǎng)絡(luò)的結(jié)構(gòu)與深度信任網(wǎng)絡(luò)類(lèi)似，由若干結(jié)構(gòu)單元堆棧組成，RBM。RBM。c(口)將輸入x編碼成表示c(x),r(x)=g(c(x))。因此，自編碼L(r(x)，x)來(lái)執(zhí)行訓(xùn)練。r(x),xQ2□□□□□□,c(x)訓(xùn)自編碼模型是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)，第一層稱(chēng)為編碼層，第二層稱(chēng)為解碼層。如圖1—4所示，訓(xùn)練該模型的目的是用編碼器□□□□g(口)從c(x)□□□□□□□□□模型的輸出是其輸入本身，通過(guò)最小化重構(gòu)誤差□□□□□□,□□ L(r(x),x)=□

練網(wǎng)絡(luò)將輸入投影到數(shù)據(jù)的主分量空間中，此時(shí)自編碼模型的作用等效于PCA；當(dāng)隱層非線(xiàn)性時(shí)與PCA□□,□□□□□□□□□□□□,□□□□□□夠得到多模態(tài)輸入分布。重構(gòu)誤差的概率分布可以解釋為非歸一化對(duì)數(shù)概率密度函數(shù)這種特殊形式的能量函數(shù)，意味著有低重構(gòu)誤差的樣例對(duì)應(yīng)的模型具有更高的概率。練網(wǎng)絡(luò)將輸入投影到數(shù)據(jù)的主分量空間中，此時(shí)自編碼模型的作用等效于PCA；當(dāng)隱層非線(xiàn)性時(shí)與PCA□□,□□□□□□□□□□□□,□□□□□□夠得到多模態(tài)輸入分布。重構(gòu)誤差的概率分布可以解釋為非歸一化對(duì)數(shù)概率密度函數(shù)這種特殊形式的能量函數(shù)，意味著有低重構(gòu)誤差的樣例對(duì)應(yīng)的模型具有更高的概率。圖1—4自編碼模型結(jié)構(gòu)自編碼模型的重構(gòu)誤差的梯度與深度信任網(wǎng)絡(luò)的 CD更新規(guī)則表達(dá)式存在對(duì)應(yīng)關(guān)系。堆棧自編碼網(wǎng)絡(luò)的結(jié)構(gòu)單元除了上述的自編碼模型之外，還可以使用自編碼模型的一些變形，如降噪自編碼模型和收縮自編碼模型等。降噪自編碼模型避免了一般的自編碼模型可能會(huì)學(xué)習(xí)得到無(wú)編碼功能的恒等函數(shù)和需要樣本的個(gè)數(shù)大于樣本的維數(shù)的限制，嘗試通過(guò)最小化降噪重構(gòu)誤差，從含隨機(jī)噪聲的數(shù)據(jù) 中重構(gòu)真實(shí)的原始輸入。降噪自編碼模型使用由少量樣本組成的微批次樣本執(zhí)行隨機(jī)梯度下降算法，這樣可以充分利用圖處理單元的矩陣到矩陣快速運(yùn)算使得算法能夠更快地收斂。降噪自編碼模型與得分匹配方法直接相關(guān)。得分匹配是一種歸納原理，當(dāng)所求解的問(wèn)題易于處理時(shí)，可以用來(lái)代替極大似然求解過(guò)程。深度學(xué)習(xí)算法深度費(fèi)希爾映射方法Wong□□□□□□□□□□□□□□——□□□□□□□□□□□□,□□□□□□□□□□□□□□□□□,□□ Fisher□□□□□□□□□□□□高特征的區(qū)分度。深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)具有深度非局部學(xué)習(xí)結(jié)構(gòu)，從更少的樣本中學(xué)習(xí)變化很大的數(shù)據(jù)集中的特點(diǎn)，顯示出比核方法更強(qiáng)的特征識(shí)別能力，同時(shí)RDFM□□□□□□□□□□□□□□□□,□□□□□□□□□□□□□□合問(wèn)題。在各種類(lèi)型的數(shù)據(jù)集上進(jìn)行試驗(yàn)，得到的結(jié)果說(shuō)明了在深度學(xué)習(xí)微調(diào)階段運(yùn)用無(wú)監(jiān)督正則化的必要性。非線(xiàn)性變換方法Raiko□□□□□□□□□□□□□□, □□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□,□□□ MLP□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□,□ shortcut權(quán)□□□□□□□□,□ Fisher□□□□□□□□,□□□□□□□□□□□度。通過(guò)實(shí)驗(yàn)證明非線(xiàn)性變換方法的有效性，該變換使得基本隨機(jī)梯度學(xué)習(xí)與當(dāng)前的學(xué)習(xí)算法在速度上不相上下，并有助于找到泛化性能更好的分類(lèi)器。用這種非線(xiàn)性變換方法實(shí)現(xiàn)的深度無(wú)監(jiān)督自編碼模型進(jìn)行圖像分類(lèi)和學(xué)習(xí)圖像的低維表示的實(shí)驗(yàn)，說(shuō)明這些變換有助于學(xué)習(xí)深度至少達(dá)到五個(gè)隱層的深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，證明了變換的有效性，提高了基本隨機(jī)梯度學(xué)習(xí)算法的速度，有助于找到泛化性能更好的分類(lèi)器。稀疏編碼對(duì)稱(chēng)機(jī)算法Ranzato等人提出一種新的有效的無(wú)監(jiān)督學(xué)習(xí)算法——稀疏編碼對(duì)稱(chēng)機(jī)，能夠在無(wú)須歸一化的情況下有效產(chǎn)生稀疏表示。稀疏編碼對(duì)稱(chēng)機(jī)的損失函數(shù)是重構(gòu)誤差和稀疏罰函數(shù)的加權(quán)總和，基于該損失函數(shù)比較和選擇不同的無(wú)監(jiān)督學(xué)習(xí)機(jī)，提出一種與文獻(xiàn)算法相關(guān)的迭代在線(xiàn)學(xué)習(xí)算法，并在理論和實(shí)驗(yàn)上將稀□□□□□□□□□□□□□□ PCA進(jìn)行比較，在手寫(xiě)體數(shù)字識(shí)別 MNIST數(shù)據(jù)集和實(shí)際圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，表明該方法的優(yōu)越性。遷移學(xué)習(xí)算法在許多常見(jiàn)學(xué)習(xí)場(chǎng)景中訓(xùn)練和測(cè)試數(shù)據(jù)集中的類(lèi)標(biāo)簽不同，必須保證訓(xùn)練和測(cè)試數(shù)據(jù)集中的相似性進(jìn)行遷移學(xué)習(xí)。 Mesnil等人研究了用于無(wú)監(jiān)督遷移學(xué)習(xí)場(chǎng)景中學(xué)習(xí)表示的不同種類(lèi)模型結(jié)構(gòu)，將多個(gè)不同結(jié)構(gòu)的層堆棧使用無(wú)監(jiān)督學(xué)習(xí)算法用于五個(gè)學(xué)習(xí)任務(wù)，并研究了用于少量已標(biāo)記訓(xùn)練樣本的簡(jiǎn)單線(xiàn)性分類(lèi)器堆棧深度結(jié)構(gòu)學(xué)習(xí)算法。叫研究了無(wú)監(jiān)督遷移學(xué)習(xí)問(wèn)題，討論了無(wú)監(jiān)督預(yù)訓(xùn)練有用的原因，如何在遷移學(xué)習(xí)場(chǎng)景中利用無(wú)監(jiān)督預(yù)訓(xùn)練，以及在什么情況下需要注意從不同數(shù)據(jù)分布得到的樣例上的預(yù)測(cè)問(wèn)題。

自然語(yǔ)言解析算法Collobert基于深度遞歸卷口圖變換網(wǎng)絡(luò)提出一種快速可擴(kuò)展的判別算法用于自然語(yǔ)言解析，將文法解析樹(shù)分解到堆棧層中，只用極少的基本文本特征，得到的性能與現(xiàn)有的判別解析器和標(biāo)準(zhǔn)解析器的性能相似，而在速度上有了很大提升。學(xué)習(xí)率自適應(yīng)方法學(xué)習(xí)率自適應(yīng)方法可用于提高深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的收斂性并且去除超Duchi等人Duchi等人Leroux等人提□□□□□□□□□□□ Schaul□□□□□□□□□□□□□；出自然梯度的對(duì)角低秩在線(xiàn)近似方法，并說(shuō)明該算法在一些學(xué)習(xí)場(chǎng)景中能加速訓(xùn)練過(guò)程。深度學(xué)習(xí)的實(shí)際應(yīng)用語(yǔ)音識(shí)別2011年，微軟語(yǔ)音識(shí)別采用深度學(xué)習(xí)技術(shù)降低語(yǔ)音識(shí)別錯(cuò)誤領(lǐng)域十多年來(lái)最大的突破性進(jìn)展。2013年語(yǔ)音識(shí)別2011年，微軟語(yǔ)音識(shí)別采用深度學(xué)習(xí)技術(shù)降低語(yǔ)音識(shí)別錯(cuò)誤領(lǐng)域十多年來(lái)最大的突破性進(jìn)展。2013年新型語(yǔ)音識(shí)別技術(shù)，可提供“接近即時(shí)”的語(yǔ)音至文本的轉(zhuǎn)換服務(wù)，比目前的語(yǔ)音識(shí)別技術(shù)快兩倍。同時(shí)，準(zhǔn)確率提高了解的方式。深度神經(jīng)網(wǎng)絡(luò)技術(shù)能夠像人類(lèi)大腦一樣工作，該技術(shù)將會(huì)取代谷歌等競(jìng)爭(zhēng)對(duì)手在搜索和安卓產(chǎn)品中常用的技術(shù)。在國(guó)際上，快速進(jìn)行了深度學(xué)習(xí)語(yǔ)音識(shí)別研究，并且速度飛快。國(guó)內(nèi)方面，科大訊飛、百度、中科院自動(dòng)化所等公司或研究單位，也在進(jìn)行深度學(xué)習(xí)在語(yǔ)音識(shí)別上的研究。視頻分析描述視頻的靜態(tài)圖像特征可以采用從以往的視覺(jué)研究方法對(duì)動(dòng)態(tài)特征的描述往往依賴(lài)于光流估計(jì)、對(duì)關(guān)鍵點(diǎn)的跟蹤和動(dòng)態(tài)紋理。如何將這些信息體現(xiàn)在深度模型中是個(gè)難點(diǎn)。最直接的做法是將視頻是為三維圖像，直接應(yīng)用卷積網(wǎng)絡(luò)在每一層學(xué)習(xí)三維濾波器。但是這一思20-30%，是該6月18日，微軟宣布已經(jīng)研發(fā)出一種15%，該技術(shù)模仿人類(lèi)大腦對(duì)溝通理IBM、google等公司都imageNet□□□□□□□□□□□□路顯然沒(méi)有考慮到時(shí)間維和空間維的差異性。另外一種簡(jiǎn)單更加有效的思路是，通過(guò)與處理計(jì)算光流場(chǎng)或其它動(dòng)態(tài)特征的空間廠(chǎng)分布，作為卷及網(wǎng)絡(luò)的一個(gè)輸入通道。也有研究工作利用深度編碼器以非線(xiàn)性的方式提取動(dòng)態(tài)紋理。在最新的研究工作中，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)受到廣泛關(guān)注，它可以捕捉長(zhǎng)期依賴(lài)性，對(duì)視頻中復(fù)雜的動(dòng)態(tài)建模。人臉識(shí)別深度學(xué)習(xí)在物體識(shí)別上的另一個(gè)重要突破就是人臉識(shí)別。人臉識(shí)別的最大挑戰(zhàn)是如何區(qū)分由于光線(xiàn)、姿態(tài)和表情等因素引起的類(lèi)內(nèi)變化和由于身份不同產(chǎn)生的類(lèi)間變化。這兩種變化的分布是非線(xiàn)性的，且極為復(fù)雜，傳統(tǒng)的線(xiàn)性模型無(wú)法將它們有效區(qū)分開(kāi)。深度學(xué)習(xí)的目的是通過(guò)多層的非線(xiàn)性變換得到新的特征表示。這些特征須盡可能多地去掉內(nèi)變化，而保留類(lèi)間變化。人臉識(shí)別包括人臉確認(rèn)和人臉辨識(shí)兩種任務(wù)。人臉確認(rèn)是判斷兩張人臉照片是否屬于同一□□□,□□□□□□□□□□□□□□□□□□□□ N個(gè)類(lèi)別之一，類(lèi)別是由人臉的身份定義的。這個(gè)是多分類(lèi)問(wèn)題，更具有挑戰(zhàn)性，其難度隨著類(lèi)別數(shù)的增加而增大。兩種任務(wù)都可以通過(guò)深度模型學(xué)習(xí)人臉的特征表達(dá)。圖像識(shí)別和檢索深度信任網(wǎng)絡(luò)和堆棧自編碼網(wǎng)絡(luò)在單個(gè)圖像識(shí)別任務(wù)中表現(xiàn)出很好的性能，成功用于生成緊湊而有意義的圖像檢索表示形式，并且已用于大型圖像檢索任務(wù)中，得到非常好的結(jié)果。圖像識(shí)別方面比深度信任網(wǎng)絡(luò)更一般的方法。Taylor等人將條件深度信任網(wǎng)絡(luò)用于視頻排序和人類(lèi)動(dòng)作合成，條件深度信任網(wǎng)絡(luò)使得深度信任網(wǎng)絡(luò)的權(quán)值與之前的數(shù)據(jù)相關(guān)聯(lián)，可以提高訓(xùn)練的有效性。Lee和Raina等人用稀疏編碼和深度信任網(wǎng)絡(luò)從自然圖像中學(xué)習(xí)有效特征表示。Nair等人提出改進(jìn)的深度信任網(wǎng)絡(luò)，口模型的頂層模型用三階 BM,他們將這種□□□□□□□□□□□ NORB數(shù)據(jù)集上，實(shí)驗(yàn)結(jié)果顯示出訓(xùn)練得到了很低的□□□□□ Tang等人提出兩種策略來(lái)提高深度信任網(wǎng)絡(luò)的魯棒性，首先將深度信任網(wǎng)絡(luò)的第一層具有稀疏連接結(jié)構(gòu)引入正則化方法，接著提出一種概率降噪算法，這些技術(shù)在高噪聲圖像識(shí)別任務(wù)和隨機(jī)噪聲的魯棒性方面顯示出其有效性□ Lee等人提出一種深度學(xué)習(xí)方法使腦圖像分割自動(dòng)化，用卷積神經(jīng)網(wǎng)絡(luò)建立用于腦圖像分割的判別特征，能自動(dòng)從人類(lèi)專(zhuān)家提供的類(lèi)標(biāo)簽中進(jìn)行學(xué)習(xí)，通過(guò)實(shí)驗(yàn)驗(yàn)證該方法在自動(dòng)多類(lèi)腦圖像分割方面顯示出優(yōu)越的性能，表明該方法可以替代已有的模板圖像分割方法，減少了圖像分割過(guò)程對(duì)人類(lèi)專(zhuān)家的干預(yù)和對(duì)先驗(yàn)信息的需求。深度學(xué)習(xí)的問(wèn)題及發(fā)展趨勢(shì)深度學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué) （圖像識(shí)別、視頻識(shí)別等 ）和語(yǔ)音識(shí)別中的應(yīng)用尤其是大規(guī)模數(shù)據(jù)集下的應(yīng)用取得突破性的進(jìn)展 ,但仍有以下問(wèn)題值得進(jìn)一步研究:無(wú)標(biāo)記數(shù)據(jù)的特征學(xué)習(xí) 目前,標(biāo)記數(shù)據(jù)的特征學(xué)習(xí)仍然占據(jù)主導(dǎo)地位,而真實(shí)世界存在著海量的無(wú)標(biāo)記數(shù)據(jù) ,將這些無(wú)標(biāo)記數(shù)據(jù)逐一添加人工標(biāo)簽,顯然是不現(xiàn)實(shí)的.所以,隨著數(shù)據(jù)集和存儲(chǔ)技術(shù)的發(fā)展 ,必將越來(lái)越重視對(duì)無(wú)標(biāo)記數(shù)據(jù)的特征學(xué)習(xí) ,以及將無(wú)標(biāo)記數(shù)據(jù)進(jìn)行自動(dòng)添加標(biāo)簽技術(shù)的研究。模型規(guī)模與訓(xùn)練速度、訓(xùn)練精度之間的權(quán)衡 一般地 ,相同數(shù)據(jù)集下,模型規(guī)模越大 ,訓(xùn)練精度越高 ,訓(xùn)練速度會(huì)越慢。 例如一些模型方法采用ReLU非線(xiàn)性變換、 GPU運(yùn)算,在保證精度的前提下 ,往往需要訓(xùn)練。 雖然離線(xiàn)訓(xùn)練并不影響訓(xùn)練之后模型的應(yīng)用 ,但是對(duì)于模型優(yōu)化 ,諸如模型規(guī)模調(diào)整、超參數(shù)設(shè)置、訓(xùn)練時(shí)調(diào)試等問(wèn)題 ,訓(xùn)練時(shí)間會(huì)嚴(yán)重影響其效率。 故而,如何在保證一定的訓(xùn)練精度的前提下 ,提高訓(xùn)練速度 ,依然是深度學(xué)習(xí)方向研究的課題之一。與其他方法的融合 從上述應(yīng)用實(shí)例中可發(fā)現(xiàn) ,單一的深度學(xué)習(xí)方法,往往并不能帶來(lái)最好的效果 ,通常融合其他方法或多種方法進(jìn)行平均打分會(huì)帶來(lái)更高的精確率。 因此,深度學(xué)習(xí)方法與其他效果 ,通常融合其他方法或多種方法進(jìn)行平均打分 ,會(huì)帶來(lái)更高的精確率。 因此,深度學(xué)習(xí)方法與其他方法的融合,具有一定的研究意義