深度學(xué)習(xí)基本理論與應(yīng)用

目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用第一頁，共41頁。概述2012年6月，《紐約時報》披露了GoogleBrain項目，吸引了公眾的廣泛關(guān)注。這個項目是由著名的斯坦福大學(xué)機(jī)器學(xué)習(xí)教授Andrew和在大規(guī)模計算機(jī)系統(tǒng)方面的世界頂尖專家Jeff共同主導(dǎo)，用16000個CPUCore的并行計算平臺訓(xùn)練一種稱為“深層神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型，在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機(jī)一氣呵成自動完成語音識別、英中機(jī)器翻譯，以及中文語音合成，效果非常流暢。據(jù)報道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，DeepLearning）。2012.6“谷歌大腦”項目2012.11微軟智能同聲傳譯第二頁，共41頁。概述2013年1月，在百度的年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個重點(diǎn)方向就是深度學(xué)習(xí)，并為此而成立InstituteofDeepLearning（IDL）。這是百度成立十多年以來第一次成立研究院。2013年4月，《麻省理工學(xué)院技術(shù)評論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)（BreakthroughTechnology）之首。百度首席科學(xué)家吳恩達(dá)2014年12月19日表示，百度在深度學(xué)習(xí)領(lǐng)域的發(fā)展已經(jīng)超過了谷歌與蘋果，如果這項技術(shù)真具有劃時代的革命意義，那么百度就此開啟并且引領(lǐng)了語音2.0時代，也即是人工智能時代的一個重要分支，改變搜索，更改變交互。第三頁，共41頁。概述全球爆發(fā)人工智能產(chǎn)業(yè)浪潮第四頁，共41頁。概述三大因素推勱人工智能快速發(fā)展第五頁，共41頁。概述當(dāng)前處亍行業(yè)應(yīng)用大規(guī)模起量階段第六頁，共41頁。目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用第七頁，共41頁。深度學(xué)習(xí)簡介識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分；特征的樣式目前一般都是人工設(shè)計的，靠人工提取特征；手工選取特征費(fèi)時費(fèi)力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗和運(yùn)氣；不能夠自動地學(xué)習(xí)特征Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識別方法（淺層學(xué)習(xí)）：第八頁，共41頁。深度學(xué)習(xí)簡介傳統(tǒng)的模式識別方法（如BP算法）

如BP算法，隨機(jī)設(shè)定初值，計算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；反饋調(diào)整時，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越?。皇諗恳字辆植孔钚?，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時易導(dǎo)致這一情況；需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；第九頁，共41頁。深度學(xué)習(xí)簡介2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。采用逐層訓(xùn)練機(jī)制的原因在于如果采用BP機(jī)制，對于一個deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴(kuò)散）第十頁，共41頁。深度學(xué)習(xí)簡介本質(zhì)：

通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄危疤卣鲗W(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從歷史數(shù)據(jù)中學(xué)習(xí)知識，從而對未來做預(yù)測第十一頁，共41頁。深度學(xué)習(xí)簡介好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。ImageNet圖像分類結(jié)果第十二頁，共41頁。目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用第十三頁，共41頁。深度學(xué)習(xí)的訓(xùn)練過程第一步：采用自下而上的無監(jiān)督學(xué)習(xí)EncoderDecoderInputImageClasslabelFeaturesEncoderDecoderFeaturesEncoderDecoder逐層構(gòu)建單層神經(jīng)元每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整這個過程可以看作是一個featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分第十四頁，共41頁。深度學(xué)習(xí)的訓(xùn)練過程wake-sleep算法:（1）wake階段：認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個重建信息（Reconstruction），計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實一樣”（2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個概念”第十五頁，共41頁。深度學(xué)習(xí)的訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)的第一步實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)第十六頁，共41頁。目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用深度殘差網(wǎng)絡(luò)的應(yīng)用第十七頁，共41頁。深度學(xué)習(xí)的具體模型及方法生成式/無監(jiān)督模型判別式模型正則化的自編碼器降噪自動編碼器(DenoisingAutoEncoders)稀疏自動編碼器(SparseAutoEncoder))受限玻爾茲曼機(jī)深度置信網(wǎng)絡(luò)（DeepBeliefNetworks—DBN）等等遞歸神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（深度殘差網(wǎng)絡(luò)）等等第十八頁，共41頁。深度學(xué)習(xí)的具體模型及方法自動編碼器（AutoEncoder）AutoEncoder還不能用來分類數(shù)據(jù)，因為它還沒有學(xué)習(xí)如何去連結(jié)一個輸入和一個類。它只是學(xué)會了如何去重構(gòu)或者復(fù)現(xiàn)它的輸入而已。在AutoEncoder的最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。我們需要將最后層的特征code輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)，這也分兩種第十九頁，共41頁。深度學(xué)習(xí)的具體模型及方法自動編碼器（AutoEncoder）只調(diào)整分類器（黑色部分）通過有標(biāo)簽樣本，微調(diào)整個系統(tǒng)：（如果有足夠多的數(shù)據(jù)，這個是最好的。端對端學(xué)習(xí)）第二十頁，共41頁。深度學(xué)習(xí)的具體模型及方法降噪自動編碼器(DenoisingAutoEncoders)在自動編碼器的基礎(chǔ)上，對訓(xùn)練數(shù)據(jù)加入噪聲，自動編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。第二十一頁，共41頁。深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點(diǎn)中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源）稀疏性的約束是使得學(xué)習(xí)到的表達(dá)更有意義的一種重要約束；深度學(xué)習(xí)中要優(yōu)化的參數(shù)非常多，如果不加入稀疏性的約束往往會使得學(xué)習(xí)到的權(quán)重矩陣為單位矩陣，這樣就失去了深度的意義第二十二頁，共41頁。深度學(xué)習(xí)的具體模型及方法受限玻爾茲曼機(jī)（RestrictedBoltzmannMachine）定義：假設(shè)有一個二部圖，同層節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值（0，1值）變量節(jié)點(diǎn)，同時假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型RestrictedBoltzmannMachine(RBM)。玻爾茲曼機(jī)(Boltzmannmachine)本質(zhì)上是一種能量模型。限制條件是在給定可見層或者隱層中的其中一層后，另一層的單元彼此獨(dú)立。第二十三頁，共41頁。深度學(xué)習(xí)的具體模型及方法深度置信網(wǎng)絡(luò)（DeepBeliefNetworks）-DBNDeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），而在最遠(yuǎn)離可視層的部分使用RestrictedBoltzmannMachine的模型。第二十四頁，共41頁。深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運(yùn)算來大大減少每層中需要訓(xùn)練的未知權(quán)重系數(shù)的數(shù)量

輸入40x60C112@5x5…S112@20x30…C28@5x5……S28@10x15…卷積池化卷積池化全連接C3120softmax輸出第二十五頁，共41頁。卷積層上一層輸出卷積核卷積核類似于濾波器，通過移動卷積核來提取上層輸入的局部特征，卷積核也就是生物學(xué)里視覺系統(tǒng)上的“局部感受野”，模擬視覺神經(jīng)細(xì)胞接受刺激的方式。featuremap（特征映射）二維離散卷積函數(shù)：深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs第二十六頁，共41頁。池化(pooling)對4x4的矩陣進(jìn)行步長為2的池化操作，結(jié)果矩陣為2x2，矩陣的大小降低了4倍，參數(shù)個數(shù)降低了4倍；池化能起到下采樣的作用，能簡化網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)，為增加網(wǎng)絡(luò)深度留下余地。池化操作一般有兩種：最大池化(maxpooling)、平均池化(averagepooing)。平均池化最大池化深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs第二十七頁，共41頁。特征表達(dá)從低級的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標(biāo)的一部分等，再到更高層，整個目標(biāo)、目標(biāo)的行為等。高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)高級語義。抽象層面越高，存在的可能猜測就越少，就越利于分類。人的視覺系統(tǒng)的信息處理是分級的人類視覺系統(tǒng)深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs第二十八頁，共41頁。全連接和SoftmaxK分類的Softmax假設(shè)函數(shù)是：全連接：就是添加一個隱含層，與上層輸入的每個結(jié)點(diǎn)進(jìn)行全連接；Softmax回歸模型：是logistic回歸模型在多分類問題上的推廣，可以解決多分類的問題。所有k個類別加起來的概率和為1.深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs第二十九頁，共41頁。深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運(yùn)算來大大減少每層中需要訓(xùn)練的未知權(quán)重系數(shù)的數(shù)量

CNN的優(yōu)點(diǎn)：避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學(xué)習(xí)，降低了網(wǎng)絡(luò)的復(fù)雜性；采用時間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性；輸入信息和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能很好的吻合，在語音識別和圖像處理方面有著獨(dú)特優(yōu)勢，成為這兩方面的研究熱點(diǎn)。第三十頁，共41頁。目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用第三十一頁，共41頁。深度學(xué)習(xí)的應(yīng)用機(jī)器視覺、智能語音成為產(chǎn)業(yè)化水平最高的人工智能領(lǐng)域第三十二頁，共41頁。深度學(xué)習(xí)的應(yīng)用圖像識別空間金字塔第三十三頁，共41頁。深度學(xué)習(xí)的應(yīng)用圖像識別第三十四頁，共41頁。深度學(xué)習(xí)的應(yīng)用圖像超分辨第三十五頁，共