深度學(xué)習(xí)介紹課件

深度學(xué)習(xí)簡介1深度學(xué)習(xí)簡介1主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項2主要內(nèi)容現(xiàn)狀2現(xiàn)狀2006年7月，機器學(xué)習(xí)界的著名學(xué)者GeofferyHinton和他的學(xué)生RuslanSalakhutdinov在《Science》上發(fā)表了一篇關(guān)于深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的文章，引起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的關(guān)注；2012年5月到10月，為了回應(yīng)對于深度學(xué)習(xí)方法的質(zhì)疑，也為了測試深度學(xué)習(xí)算法的真實效果，GeofferyHinton和他的另外一個學(xué)生AlexKrizhevsky參加了ImageNet大規(guī)模視覺識別競賽，以大幅領(lǐng)先優(yōu)勢取得第一名；2012年6月，機器學(xué)習(xí)和人工智能的知名學(xué)者AndrewNg等人與谷歌經(jīng)過多年的合作，在語音識別與圖像目標(biāo)識別方面取得了突破性的進展；2012年11月，在二十一世紀計算大會上，微軟首席研究官RickRashid展示了一套基于深層神經(jīng)網(wǎng)絡(luò)模型的語音識別系統(tǒng)，能實時流暢翻譯，切顯著地降低了錯誤率，這在語音識別領(lǐng)域是一個突破；2013年1月，百度創(chuàng)始人兼CEO李彥宏在年會上宣布將成立百度研究院；2013年7月，谷歌收購了深度學(xué)習(xí)初創(chuàng)公司DNNResearchInc.，公司員工GeofferyHinton和他的兩個學(xué)生AlexKrizhevsky，IlyaSutskever加入谷歌；3現(xiàn)狀2006年7月，機器學(xué)習(xí)界的著名學(xué)者GeofferyH現(xiàn)狀2013年10月，雅虎收購圖像識別公司LookFlow，正式加入深度學(xué)習(xí)研究隊伍；2015到2016年，蘋果收購人工智能研究公司VocalIQ，Percepti，Emotient，Turi等，強化Siri和攝像等應(yīng)用上的優(yōu)勢；2015年11月，谷歌發(fā)布人工智能系統(tǒng)TensorFlow并宣布開放源代碼；2016年5月，亞馬遜發(fā)布了一個開源的使用GPU訓(xùn)練和部署深層神經(jīng)網(wǎng)絡(luò)開源工具DSSTNE；2016年8月，英特爾開發(fā)者大會上，英特爾宣布將于2017年推出專門為人工智能和深度學(xué)習(xí)而設(shè)計的最新一代CPU—IntelXeonPhi處理器，代號KnightsMill，英特爾宣稱其運算能力比對手NVIDIA的Kepler系列GPU產(chǎn)品快兩倍以上。2016年10月，NVIDIA發(fā)布了新版本的通用并行計算架構(gòu)庫：統(tǒng)一計算設(shè)備架構(gòu)（ComputeUnifiedDeviceArchitecture，CUDA）8.0，以及深度學(xué)習(xí)專用GPU加速庫：cuDNN5.0；2016年11月，在2016全球超級計算機大會（SC16）上，AMD宣布推出新版Radeon開放計算平臺（RadeonOpenComputePlatform，ROCm），以及用于GPU加速器的免費開源庫MIOpen。4現(xiàn)狀2013年10月，雅虎收購圖像識別公司LookFlow，主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項5主要內(nèi)容現(xiàn)狀5神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類模擬生物神經(jīng)網(wǎng)絡(luò)的模型，基于大量訓(xùn)練數(shù)據(jù)，用來預(yù)測（決策問題）或估計目標(biāo)函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”之間相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含有可以根據(jù)訓(xùn)練樣本調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入樣本，并且擁有學(xué)習(xí)能力。作為機器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來處理一系列傳統(tǒng)機器方法無法處理，或者處理難度較大的問題，包括計算機視覺、語音識別等任務(wù)。6神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類模擬生基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入進行加權(quán)求和，之后進行非線性映射得到該神經(jīng)元的輸出值。神經(jīng)網(wǎng)絡(luò)按照拓撲結(jié)構(gòu)，大體分為層狀與網(wǎng)狀兩大類。常用激活函數(shù)：

ReLU函數(shù)S型函數(shù)雙曲正切函數(shù)神經(jīng)元模型7基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入進行加權(quán)求神經(jīng)網(wǎng)絡(luò)輸出：激活函數(shù)：8神經(jīng)網(wǎng)絡(luò)輸出：激活函數(shù)：8神經(jīng)網(wǎng)絡(luò)9神經(jīng)網(wǎng)絡(luò)9BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：輸入值從輸入層神經(jīng)元通過加權(quán)連接逐層前向傳播，經(jīng)過隱含層，最后到達輸出層得到輸出。在信號的前向傳播過程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。反向傳播算法：網(wǎng)絡(luò)的實際輸出與期望輸出之間的差值即為誤差信號。誤差信號由輸出端開始逐層反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值根據(jù)誤差的梯度進行調(diào)節(jié)，通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更加接近期望輸出。前饋網(wǎng)絡(luò)結(jié)構(gòu)10BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：前饋網(wǎng)絡(luò)結(jié)構(gòu)10說明代價函數(shù)在遇到回歸問題時，指定代價函數(shù)以使目標(biāo)變量的真實值和預(yù)測值的距離最?。淮鷥r函數(shù)描述了網(wǎng)絡(luò)輸出與真實值之間的誤差；網(wǎng)絡(luò)模型的訓(xùn)練過程即：通過隨機梯度下降的方法最小化代價函數(shù)以提高網(wǎng)絡(luò)精度；可以在代價函數(shù)中引入其他約束以滿足設(shè)定要求。11說明代價函數(shù)11反向傳播算法反向傳播算法可表示為以下幾個步驟：1.進行前饋傳導(dǎo)計算，利用前向傳導(dǎo)公式，得到

直到輸出層

的激活值。2.對輸出層（第

層），計算：

3.對于

的各層，計算：4.計算最終需要的偏導(dǎo)數(shù)值：5.根據(jù)殘差對參數(shù)W和b做出更新：12反向傳播算法反向傳播算法可表示為以下幾個步驟：12反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)13反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)13主要問題主要問題訓(xùn)練過程易陷入局部極小值，從而得不到全局最優(yōu)解；計算量大，訓(xùn)練次數(shù)多，使得學(xué)習(xí)效率低，收斂速度慢；對于隱含層個數(shù)和隱含層神經(jīng)元節(jié)點的個數(shù)選擇，至今還沒有一個具體的定論，缺乏理論指導(dǎo)；訓(xùn)練時，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢常用改進方法添加動量項，Dropout等規(guī)則化算法等；采用改進的梯度下降法，使用硬件輔助計算；RNN，LSTM等改進模型和神經(jīng)元。14主要問題主要問題14主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項15主要內(nèi)容現(xiàn)狀15深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)和BP算法，構(gòu)造多層網(wǎng)絡(luò)，通過最小化代價函數(shù)的方法來提高分類精度。對于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實際使用的多數(shù)是只含有一層隱層節(jié)點的淺層模型。深度學(xué)習(xí)更側(cè)重于如何通過增加網(wǎng)絡(luò)的深度，來減小每層需要擬合的特征個數(shù)，來提取出數(shù)據(jù)（尤其是語音與圖像數(shù)據(jù)）的高層特征信息，從而達到更好的測試性能與分類精度。深度學(xué)習(xí)對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能更好地建立從底層信號到高層語義的復(fù)雜映射關(guān)系。傳統(tǒng)的機器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)目前還看不到瓶頸。16深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)和BP算法，構(gòu)造深度學(xué)習(xí)淺層模型深層模型隱含層數(shù)1-25層以上表達能力有限更強特征提取方式人工設(shè)計或自動學(xué)習(xí)自動學(xué)習(xí)代價函數(shù)存在凸代價函數(shù)，可以收斂到全局最優(yōu)解非凸代價函數(shù)，存在大量局部最優(yōu)點。（實際情況是容易收斂到非常好的點）訓(xùn)練難度低高理論基礎(chǔ)成熟不完善，需要根據(jù)實驗結(jié)果調(diào)整模型先驗知識和工程經(jīng)驗非常依賴較少依賴訓(xùn)練樣本數(shù)量多非常多使用場景數(shù)據(jù)包含簡單特征數(shù)據(jù)包含復(fù)雜、多層、抽象特征17深度學(xué)習(xí)淺層模型深層模型隱含層數(shù)1-25層以上表達能力有限更深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建包含很多隱含層的神經(jīng)網(wǎng)絡(luò)模型，以更少的單層參數(shù)與更深的網(wǎng)絡(luò)結(jié)構(gòu)，通過海量訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)特征的多層抽象表示，從而最終提升分類或預(yù)測的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：１）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層以上、甚至100多層的隱含層；２）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，使得分類或預(yù)測更加容易。18深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建包含很多隱含層的神經(jīng)網(wǎng)絡(luò)模深層帶來的好處為什么采用層次網(wǎng)絡(luò)19深層帶來的好處為什么采用層次網(wǎng)絡(luò)19預(yù)訓(xùn)練與梯度消失現(xiàn)象神經(jīng)網(wǎng)絡(luò)層數(shù)加深以后，容易出現(xiàn)梯度消失現(xiàn)象；由于前層的梯度是由后層的梯度項相乘得到，梯度會逐層衰減，從而導(dǎo)致后層的網(wǎng)絡(luò)學(xué)習(xí)率超過前層，BP算法收斂緩慢。當(dāng)神經(jīng)網(wǎng)絡(luò)有很多層時，就會面臨不穩(wěn)定的情況。對網(wǎng)絡(luò)的預(yù)訓(xùn)練可以較好地避免這種現(xiàn)象。這是因為：實驗表明，在非凸優(yōu)化問題上初始點的選擇十分重要；無監(jiān)督學(xué)習(xí)增加了深層結(jié)構(gòu)的魯棒性；對神經(jīng)網(wǎng)絡(luò)進行不同的預(yù)訓(xùn)練能夠使網(wǎng)絡(luò)學(xué)習(xí)到數(shù)據(jù)的不同的高質(zhì)量特征；單純增加一個網(wǎng)絡(luò)的深度，如果不進行預(yù)訓(xùn)練處理，會提高陷于局部極小點的可能性。20預(yù)訓(xùn)練與梯度消失現(xiàn)象神經(jīng)網(wǎng)絡(luò)層數(shù)加深以后，容易出現(xiàn)梯度消失現(xiàn)主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項21主要內(nèi)容現(xiàn)狀21自編碼器結(jié)構(gòu)單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上是一個三層的反向傳播神經(jīng)網(wǎng)絡(luò)。它逐層采用無監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱含層上，再經(jīng)過反變換映射到輸出上，實現(xiàn)輸入輸出的近似等價。自動編碼器的主要思想是利用無監(jiān)督方式最小化重建誤差，學(xué)習(xí)到的權(quán)重提供了一個網(wǎng)絡(luò)初始化的較好的初始點。無監(jiān)督學(xué)習(xí)的主要目的是從無標(biāo)簽的數(shù)據(jù)中提取有用的特征，以減少輸入信息，保留數(shù)據(jù)中關(guān)鍵的有效信息。網(wǎng)絡(luò)通過沒有標(biāo)簽的數(shù)據(jù)學(xué)習(xí)到潛在的分布信息，有利于它區(qū)分有標(biāo)簽的信息。然而，在網(wǎng)絡(luò)中，權(quán)重仍然需要進行微調(diào)。因此，需要在神經(jīng)網(wǎng)絡(luò)的頂部增加一個線性回歸，再對有標(biāo)簽的數(shù)據(jù)進行處理。網(wǎng)絡(luò)的微調(diào)會采用梯度下降法，對所有層同時進行調(diào)整。22自編碼器結(jié)構(gòu)單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)自編碼器的建立建立AutoEncoder的方法是：對于m個數(shù)據(jù)的輸入，有：Code編碼:使用非線性激活函數(shù)，將維輸入數(shù)據(jù)映射到維隱含層（隱含節(jié)點表示特征）其中W是一個的權(quán)重矩陣，b是一個d'維的偏移向量Decode解碼:通過反向映射，對映射后的數(shù)據(jù)進行重建SAE網(wǎng)絡(luò)每一次訓(xùn)練輸入都會得到映射后的與解碼后的。通過對代價函數(shù)的最優(yōu)化可以得到訓(xùn)練集上的權(quán)重與偏置。

23自編碼器的建立建立AutoEncoder的方法是：

23節(jié)點的稀疏性限制為了增強網(wǎng)絡(luò)的穩(wěn)定性，避免過擬合的發(fā)生，我們需要讓少部分神經(jīng)元輸出值大于0，其他的大部分為0（或近似為0），這就是所謂的稀疏性。在人腦中有大量的神經(jīng)元，但是大多數(shù)自然圖像通過視覺進入人腦時，只會刺激到少部分神經(jīng)元，大部分神經(jīng)元都是出于抑制狀態(tài)的。而且，大多數(shù)自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。稀疏性處理能夠更加有助于我們用少量的神經(jīng)元提取出自然圖像更加本質(zhì)的特征。從數(shù)學(xué)的角度來說，稀疏編碼是一種多維數(shù)據(jù)描述方法，數(shù)據(jù)經(jīng)稀疏編碼后僅有少數(shù)分量同時處于明顯激活狀態(tài)。在實際應(yīng)用中，稀疏編碼有如下幾個優(yōu)點：稀疏編碼方案存儲能力大，具有聯(lián)想記憶能力，并且計算簡便；使自然信號的結(jié)構(gòu)更加清晰；事實上，這一簡單的自編碼神經(jīng)網(wǎng)絡(luò)通常可以學(xué)習(xí)出一個跟主成分分析（PCA）結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。24節(jié)點的稀疏性限制為了增強網(wǎng)絡(luò)的穩(wěn)定性，避免過擬合的發(fā)生，我們圖像實驗原始圖像隱含層特征可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測器學(xué)習(xí)到圖像邊緣信息25圖像實驗原始圖像隱含層特征可以看到，AE在圖像處理的特征提取StackedAutoEncoder一個AE模型有1個可視層、1個隱含層1個重建層。通過自下而上的映射，實現(xiàn)編碼與反編碼重建：激活函數(shù)minimizeCOST

FUNCTIONupdate梯度下降26StackedAutoEncoder激活函數(shù)minimiz參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列基本參數(shù)；構(gòu)建SAE網(wǎng)絡(luò)：分層建立輸入-輸出-輸入的AE網(wǎng)絡(luò)，并對權(quán)值與偏置初始化；SAE預(yù)訓(xùn)練：對網(wǎng)絡(luò)只傳入訓(xùn)練數(shù)據(jù)，在有限迭代步數(shù)下進行無監(jiān)督的學(xué)習(xí)，以學(xué)得數(shù)據(jù)特征，得到權(quán)值與偏置的初始值；參數(shù)微調(diào)：加入輸出層，將SAE網(wǎng)絡(luò)轉(zhuǎn)化成輸入-輸出的NN網(wǎng)絡(luò)并傳入訓(xùn)練標(biāo)簽，即放棄輸出到輸入的反向映射，進行反向傳播學(xué)習(xí)，減小訓(xùn)練誤差；測試：對測試數(shù)據(jù)進行神經(jīng)網(wǎng)絡(luò)測試，得到結(jié)果。SAE構(gòu)建方法27參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列ExampleDefinedByUser空間去冗余壓縮28ExampleDefinedByUser空間去冗余28實驗總結(jié)1.訓(xùn)練時間與迭代步數(shù)、層數(shù)、節(jié)點數(shù)、數(shù)據(jù)量四者呈線性關(guān)系；2.隨著迭代步數(shù)的增加，分類精度迅速提高，然而分類有其上限，過多的迭代步數(shù)無法提高分類精度；不同的數(shù)據(jù)所適用的網(wǎng)絡(luò)層數(shù)不一致，并不是層數(shù)越高，效果越理想；對節(jié)點的實驗表明，神經(jīng)網(wǎng)絡(luò)更適用于數(shù)據(jù)的壓縮，單層過高的節(jié)點數(shù)會降低分類效果；同時，數(shù)據(jù)量也比較明顯地影響著分類精度；3.實驗表明，向SAE網(wǎng)絡(luò)中引入降維的數(shù)據(jù)并不能很好的提高分類效果；4.對比其他分類算法SVM與KNN，實驗表明，SAE網(wǎng)絡(luò)更適合于大量數(shù)據(jù)的學(xué)習(xí)，而SVM與KNN淺層網(wǎng)絡(luò)訓(xùn)練與測試所用時間更短，而且可以在較少的數(shù)據(jù)量下獲得比較良好的分類效果。29實驗總結(jié)1.訓(xùn)練時間與迭代步數(shù)、層數(shù)、節(jié)點數(shù)、數(shù)據(jù)量四者呈CNN基本知識卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖像識別領(lǐng)域的研究熱點。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、旋轉(zhuǎn)或者其他形式的變形具有一定的不變性。卷積網(wǎng)絡(luò)的核心思想是將：局部感知、權(quán)值共享以及下采樣這三種結(jié)構(gòu)結(jié)合起來，以達到圖像降維的特征學(xué)習(xí)與分類。30CNN基本知識卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖局部連接卷積神經(jīng)網(wǎng)絡(luò)上下層之間采用局部連接的方式構(gòu)建網(wǎng)絡(luò)，每個隱含層的節(jié)點只與上一層的一部分連續(xù)輸入點相連接，這樣模擬了大腦皮層中，不同位置的視覺細胞只對局部區(qū)域有響應(yīng)這一現(xiàn)象。CNN中局部連接以卷積的方法來實現(xiàn)。對于自然圖像來說，從圖像中某個部位提取到的特征也適用于其它部位，因此這種卷積和局部連接的特征提取方式可以提高特征的位置不變性。31局部連接卷積神經(jīng)網(wǎng)絡(luò)上下層之間采用局部連接的方式構(gòu)建網(wǎng)絡(luò)，每權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積核通過滑動窗口作用于整個輸入圖像，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個卷積濾波器共享相同的可學(xué)習(xí)參數(shù)，包括相同的卷積核權(quán)重矩陣和偏置項。例如對于32x32的圖像數(shù)據(jù)，全連接神經(jīng)網(wǎng)絡(luò)需要32*32=1024個神經(jīng)元連接。采用卷積網(wǎng)權(quán)值共享方式，32個3x3的卷積核就可以了，一共32x3x3=288個可學(xué)習(xí)參數(shù)。32權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積核通過滑動窗口作下采樣卷積核與輸入圖像進行卷積之后生成特征圖，之后緊跟著一個進行二次篩選的下采樣層（或稱為池化層）。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰?。在通過卷積獲得了特征(features)之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，但這樣做計算量太大。例如：對于一個96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個定義在8X8輸入上的特征，每一個特征和圖像卷積都會得到一個(96?8+1)*(96?8+1)=7921維的卷積特征，由于有400個特征圖，所以每個樣例(example)都會得到一個7921*400=3,168,400維的特征向量。學(xué)習(xí)一個擁有超過3百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合(over-fitting)。33下采樣卷積核與輸入圖像進行卷積之后生成特征圖，之后緊跟著一個下采樣為了降低特征維度，一個很自然的想法就是對不同位置的特征進行聚合統(tǒng)計，例如，人們可以計算圖像一個區(qū)域上的某個特定特征的平均值(或最大值)。這些概要統(tǒng)計特征不僅具有低得多的維度(相比使用所有提取得到的特征)，同時還會改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化(pooling)，包括平均池化或者最大池等多種方法。34下采樣為了降低特征維度，一個很自然的想法就是對不同位置的特征LeNet-535LeNet-535深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（DeepBeliefNet，DBN）是擁有深層架構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包含多個隱含層，而使用DBN的障礙在于如何訓(xùn)練這樣的深層網(wǎng)絡(luò)。通常情況下，由于網(wǎng)絡(luò)權(quán)值的隨機初始化，基于梯度的優(yōu)化容易陷入局部最小值。Hinton等提出了一種新的貪婪逐層非監(jiān)督算法來初始化基于受限玻爾茲曼機（RestrictedBoltzmannMachine，RBM）的DBN網(wǎng)絡(luò)。這個算法提供了網(wǎng)絡(luò)權(quán)值的初始化方法，隨后可以使用基于梯度的算法如梯度下降法來微調(diào)網(wǎng)絡(luò)權(quán)值。36深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（DeepBeliefNet，受限玻爾茲曼機RBM只有兩層神經(jīng)元，有m個可視節(jié)點和n個隱含節(jié)點，其中每個可視節(jié)點只和n個隱含節(jié)點相關(guān)，和其他可視節(jié)點是獨立的。是即可視節(jié)點的狀態(tài)只與n個隱含節(jié)點相關(guān)，對于每個隱含節(jié)點也是，只與m個可視節(jié)點相關(guān)，這個特點使得RBM的訓(xùn)練變得容易。注意這兩層間的對稱雙向連接。RBM網(wǎng)絡(luò)有幾個參數(shù)，一個是可視層與隱含層之間的權(quán)重矩陣，一個是可視節(jié)點的偏移量b，一個是隱含節(jié)點的偏移量c，這幾個參數(shù)決定了RBM網(wǎng)絡(luò)將一個m維的樣本編碼成一個什么樣的n維的樣本。受限玻爾茲曼機37受限玻爾茲曼機RBM只有兩層神經(jīng)元，有m個可視節(jié)點和n個隱含RBM介紹RBM區(qū)別于BM的一點是，前者要求層內(nèi)神經(jīng)元之間沒有連接，而后者允許層內(nèi)連接定義能量函數(shù)聯(lián)合概率分布性質(zhì)：給定可見層時，隱含層神經(jīng)元激活條件獨立；反之亦然。給定訓(xùn)練樣本訓(xùn)練一個RBM意味著調(diào)整參數(shù)以擬合給定訓(xùn)練樣本。數(shù)學(xué)推導(dǎo)可知，該問題等價于求下述函數(shù)最大值38RBM介紹RBM區(qū)別于BM的一點是，前者要求層內(nèi)神經(jīng)元之間沒RBM訓(xùn)練39RBM訓(xùn)練39

一般地，鏈接權(quán)重Wij可初始化為來自正態(tài)分布N(0,0.01)的隨機數(shù)，隱單元的偏置cj初始化為0；

對于第i個可見單元，偏置bj初始化為log[pi/(1-pi)]。pi表示訓(xùn)練樣本中第i個特征處于激活狀態(tài)所占的比率

學(xué)習(xí)率epsilon至關(guān)重要，大則收斂快，但是算法可能不穩(wěn)定。小則慢。為克服這一矛盾引入動量，使本次參數(shù)值修改的方向不完全由當(dāng)前樣本似然函數(shù)梯度方向決定，而是上一次參數(shù)值修改方向與本次梯度方向的結(jié)合可以避免過早的收斂到局部最優(yōu)點

k為動量項學(xué)習(xí)率開始時k=0.5，重構(gòu)誤差處于平穩(wěn)增加狀態(tài)時，k=0.940 一般地，鏈接權(quán)重Wij可初始化為來自正態(tài)分布N(0,0.0RBM評估41RBM評估41主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項42主要內(nèi)容現(xiàn)狀42對深度學(xué)習(xí)的評價理論上無法證明它為何有效，但是在實際問題上它的確有效。沒有形成系統(tǒng)的理論。各個DL模型為什么好用？原理本質(zhì)是什么？各個模型都適用于什么場合？針對特定數(shù)據(jù)，特定問題，如何組合搭建模型，各個參數(shù)怎么選？如何根據(jù)特定模型，特定數(shù)據(jù)來訓(xùn)練模型？優(yōu)點：1.在計算機視覺和語音識別方面確實結(jié)果超過傳統(tǒng)方法一大截；2.具有較好的transferlearning性質(zhì)，一個模型訓(xùn)練好了拿到另一個問題上做一些簡單的refinement就可以用了；3.只要層數(shù)夠，就可以學(xué)到足夠好的特征。缺點：1.訓(xùn)練耗時，模型正確性驗證復(fù)雜且麻煩；2.某些深度網(wǎng)絡(luò)需要GPU支持；3.某些模型難以詮釋，學(xué)得的特征對人而言并不直觀。43對深度學(xué)習(xí)的評價理論上無法證明它為何有效，但是在實際問題上它應(yīng)用圖像識別，文本模型，時序相關(guān)數(shù)據(jù)序列語音識別+機器翻譯MultimodalLearning廣告系統(tǒng)把深度學(xué)習(xí)思想應(yīng)用到其他的模型上44應(yīng)用圖像識別，文本模型，時序相關(guān)數(shù)據(jù)序列44展望當(dāng)前深度學(xué)習(xí)領(lǐng)域的學(xué)術(shù)研究可以包含四部分：優(yōu)化，泛化，表達以及應(yīng)用。除了應(yīng)用之外每個部分又可以分成實踐和理論兩個方面；包括谷歌、百度等都在研究，并產(chǎn)生了很多理論研究與工程應(yīng)用；深度學(xué)習(xí)引領(lǐng)了機器學(xué)習(xí)的方向，相關(guān)的機器視覺方向，從理論到產(chǎn)品，導(dǎo)致了這個行業(yè)不斷的火熱。45展望當(dāng)前深度學(xué)習(xí)領(lǐng)域的學(xué)術(shù)研究可以包含四部分：優(yōu)化，泛化，表參考資料StanfordTutorial/wiki/index.php/UFLDL_Tutorial/MainFolder/CoursePage.php?course=MachineLearning/46參考資料StanfordTutorial46參考資料/以及TransferLearning,PracticalTricksandGuides,SparseCoding,FoundationTheoryandMotivation,UnsupervisedFeatureLearning,Autoencoders等多個專題。47參考資料http://www.deeplearning.ne參考資料/，43個軟件48參考資料http://www.deeplearning.ne參考資料/大量數(shù)據(jù)集49參考資料http://www.deeplearning.ne謝謝大家！50謝謝大家！50深度學(xué)習(xí)簡介51深度學(xué)習(xí)簡介1主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項52主要內(nèi)容現(xiàn)狀2現(xiàn)狀2006年7月，機器學(xué)習(xí)界的著名學(xué)者GeofferyHinton和他的學(xué)生RuslanSalakhutdinov在《Science》上發(fā)表了一篇關(guān)于深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的文章，引起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的關(guān)注；2012年5月到10月，為了回應(yīng)對于深度學(xué)習(xí)方法的質(zhì)疑，也為了測試深度學(xué)習(xí)算法的真實效果，GeofferyHinton和他的另外一個學(xué)生AlexKrizhevsky參加了ImageNet大規(guī)模視覺識別競賽，以大幅領(lǐng)先優(yōu)勢取得第一名；2012年6月，機器學(xué)習(xí)和人工智能的知名學(xué)者AndrewNg等人與谷歌經(jīng)過多年的合作，在語音識別與圖像目標(biāo)識別方面取得了突破性的進展；2012年11月，在二十一世紀計算大會上，微軟首席研究官RickRashid展示了一套基于深層神經(jīng)網(wǎng)絡(luò)模型的語音識別系統(tǒng)，能實時流暢翻譯，切顯著地降低了錯誤率，這在語音識別領(lǐng)域是一個突破；2013年1月，百度創(chuàng)始人兼CEO李彥宏在年會上宣布將成立百度研究院；2013年7月，谷歌收購了深度學(xué)習(xí)初創(chuàng)公司DNNResearchInc.，公司員工GeofferyHinton和他的兩個學(xué)生AlexKrizhevsky，IlyaSutskever加入谷歌；53現(xiàn)狀2006年7月，機器學(xué)習(xí)界的著名學(xué)者GeofferyH現(xiàn)狀2013年10月，雅虎收購圖像識別公司LookFlow，正式加入深度學(xué)習(xí)研究隊伍；2015到2016年，蘋果收購人工智能研究公司VocalIQ，Percepti，Emotient，Turi等，強化Siri和攝像等應(yīng)用上的優(yōu)勢；2015年11月，谷歌發(fā)布人工智能系統(tǒng)TensorFlow并宣布開放源代碼；2016年5月，亞馬遜發(fā)布了一個開源的使用GPU訓(xùn)練和部署深層神經(jīng)網(wǎng)絡(luò)開源工具DSSTNE；2016年8月，英特爾開發(fā)者大會上，英特爾宣布將于2017年推出專門為人工智能和深度學(xué)習(xí)而設(shè)計的最新一代CPU—IntelXeonPhi處理器，代號KnightsMill，英特爾宣稱其運算能力比對手NVIDIA的Kepler系列GPU產(chǎn)品快兩倍以上。2016年10月，NVIDIA發(fā)布了新版本的通用并行計算架構(gòu)庫：統(tǒng)一計算設(shè)備架構(gòu)（ComputeUnifiedDeviceArchitecture，CUDA）8.0，以及深度學(xué)習(xí)專用GPU加速庫：cuDNN5.0；2016年11月，在2016全球超級計算機大會（SC16）上，AMD宣布推出新版Radeon開放計算平臺（RadeonOpenComputePlatform，ROCm），以及用于GPU加速器的免費開源庫MIOpen。54現(xiàn)狀2013年10月，雅虎收購圖像識別公司LookFlow，主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項55主要內(nèi)容現(xiàn)狀5神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類模擬生物神經(jīng)網(wǎng)絡(luò)的模型，基于大量訓(xùn)練數(shù)據(jù)，用來預(yù)測（決策問題）或估計目標(biāo)函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”之間相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含有可以根據(jù)訓(xùn)練樣本調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入樣本，并且擁有學(xué)習(xí)能力。作為機器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來處理一系列傳統(tǒng)機器方法無法處理，或者處理難度較大的問題，包括計算機視覺、語音識別等任務(wù)。56神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類模擬生基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入進行加權(quán)求和，之后進行非線性映射得到該神經(jīng)元的輸出值。神經(jīng)網(wǎng)絡(luò)按照拓撲結(jié)構(gòu)，大體分為層狀與網(wǎng)狀兩大類。常用激活函數(shù)：

ReLU函數(shù)S型函數(shù)雙曲正切函數(shù)神經(jīng)元模型57基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入進行加權(quán)求神經(jīng)網(wǎng)絡(luò)輸出：激活函數(shù)：58神經(jīng)網(wǎng)絡(luò)輸出：激活函數(shù)：8神經(jīng)網(wǎng)絡(luò)59神經(jīng)網(wǎng)絡(luò)9BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：輸入值從輸入層神經(jīng)元通過加權(quán)連接逐層前向傳播，經(jīng)過隱含層，最后到達輸出層得到輸出。在信號的前向傳播過程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。反向傳播算法：網(wǎng)絡(luò)的實際輸出與期望輸出之間的差值即為誤差信號。誤差信號由輸出端開始逐層反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值根據(jù)誤差的梯度進行調(diào)節(jié)，通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更加接近期望輸出。前饋網(wǎng)絡(luò)結(jié)構(gòu)60BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：前饋網(wǎng)絡(luò)結(jié)構(gòu)10說明代價函數(shù)在遇到回歸問題時，指定代價函數(shù)以使目標(biāo)變量的真實值和預(yù)測值的距離最??；代價函數(shù)描述了網(wǎng)絡(luò)輸出與真實值之間的誤差；網(wǎng)絡(luò)模型的訓(xùn)練過程即：通過隨機梯度下降的方法最小化代價函數(shù)以提高網(wǎng)絡(luò)精度；可以在代價函數(shù)中引入其他約束以滿足設(shè)定要求。61說明代價函數(shù)11反向傳播算法反向傳播算法可表示為以下幾個步驟：1.進行前饋傳導(dǎo)計算，利用前向傳導(dǎo)公式，得到

直到輸出層

的激活值。2.對輸出層（第

層），計算：

3.對于

的各層，計算：4.計算最終需要的偏導(dǎo)數(shù)值：5.根據(jù)殘差對參數(shù)W和b做出更新：62反向傳播算法反向傳播算法可表示為以下幾個步驟：12反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)63反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)13主要問題主要問題訓(xùn)練過程易陷入局部極小值，從而得不到全局最優(yōu)解；計算量大，訓(xùn)練次數(shù)多，使得學(xué)習(xí)效率低，收斂速度慢；對于隱含層個數(shù)和隱含層神經(jīng)元節(jié)點的個數(shù)選擇，至今還沒有一個具體的定論，缺乏理論指導(dǎo)；訓(xùn)練時，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢常用改進方法添加動量項，Dropout等規(guī)則化算法等；采用改進的梯度下降法，使用硬件輔助計算；RNN，LSTM等改進模型和神經(jīng)元。64主要問題主要問題14主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項65主要內(nèi)容現(xiàn)狀15深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)和BP算法，構(gòu)造多層網(wǎng)絡(luò)，通過最小化代價函數(shù)的方法來提高分類精度。對于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實際使用的多數(shù)是只含有一層隱層節(jié)點的淺層模型。深度學(xué)習(xí)更側(cè)重于如何通過增加網(wǎng)絡(luò)的深度，來減小每層需要擬合的特征個數(shù)，來提取出數(shù)據(jù)（尤其是語音與圖像數(shù)據(jù)）的高層特征信息，從而達到更好的測試性能與分類精度。深度學(xué)習(xí)對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能更好地建立從底層信號到高層語義的復(fù)雜映射關(guān)系。傳統(tǒng)的機器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)目前還看不到瓶頸。66深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)和BP算法，構(gòu)造深度學(xué)習(xí)淺層模型深層模型隱含層數(shù)1-25層以上表達能力有限更強特征提取方式人工設(shè)計或自動學(xué)習(xí)自動學(xué)習(xí)代價函數(shù)存在凸代價函數(shù)，可以收斂到全局最優(yōu)解非凸代價函數(shù)，存在大量局部最優(yōu)點。（實際情況是容易收斂到非常好的點）訓(xùn)練難度低高理論基礎(chǔ)成熟不完善，需要根據(jù)實驗結(jié)果調(diào)整模型先驗知識和工程經(jīng)驗非常依賴較少依賴訓(xùn)練樣本數(shù)量多非常多使用場景數(shù)據(jù)包含簡單特征數(shù)據(jù)包含復(fù)雜、多層、抽象特征67深度學(xué)習(xí)淺層模型深層模型隱含層數(shù)1-25層以上表達能力有限更深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建包含很多隱含層的神經(jīng)網(wǎng)絡(luò)模型，以更少的單層參數(shù)與更深的網(wǎng)絡(luò)結(jié)構(gòu)，通過海量訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)特征的多層抽象表示，從而最終提升分類或預(yù)測的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：１）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層以上、甚至100多層的隱含層；２）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，使得分類或預(yù)測更加容易。68深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建包含很多隱含層的神經(jīng)網(wǎng)絡(luò)模深層帶來的好處為什么采用層次網(wǎng)絡(luò)69深層帶來的好處為什么采用層次網(wǎng)絡(luò)19預(yù)訓(xùn)練與梯度消失現(xiàn)象神經(jīng)網(wǎng)絡(luò)層數(shù)加深以后，容易出現(xiàn)梯度消失現(xiàn)象；由于前層的梯度是由后層的梯度項相乘得到，梯度會逐層衰減，從而導(dǎo)致后層的網(wǎng)絡(luò)學(xué)習(xí)率超過前層，BP算法收斂緩慢。當(dāng)神經(jīng)網(wǎng)絡(luò)有很多層時，就會面臨不穩(wěn)定的情況。對網(wǎng)絡(luò)的預(yù)訓(xùn)練可以較好地避免這種現(xiàn)象。這是因為：實驗表明，在非凸優(yōu)化問題上初始點的選擇十分重要；無監(jiān)督學(xué)習(xí)增加了深層結(jié)構(gòu)的魯棒性；對神經(jīng)網(wǎng)絡(luò)進行不同的預(yù)訓(xùn)練能夠使網(wǎng)絡(luò)學(xué)習(xí)到數(shù)據(jù)的不同的高質(zhì)量特征；單純增加一個網(wǎng)絡(luò)的深度，如果不進行預(yù)訓(xùn)練處理，會提高陷于局部極小點的可能性。70預(yù)訓(xùn)練與梯度消失現(xiàn)象神經(jīng)網(wǎng)絡(luò)層數(shù)加深以后，容易出現(xiàn)梯度消失現(xiàn)主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork雜項71主要內(nèi)容現(xiàn)狀21自編碼器結(jié)構(gòu)單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上是一個三層的反向傳播神經(jīng)網(wǎng)絡(luò)。它逐層采用無監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱含層上，再經(jīng)過反變換映射到輸出上，實現(xiàn)輸入輸出的近似等價。自動編碼器的主要思想是利用無監(jiān)督方式最小化重建誤差，學(xué)習(xí)到的權(quán)重提供了一個網(wǎng)絡(luò)初始化的較好的初始點。無監(jiān)督學(xué)習(xí)的主要目的是從無標(biāo)簽的數(shù)據(jù)中提取有用的特征，以減少輸入信息，保留數(shù)據(jù)中關(guān)鍵的有效信息。網(wǎng)絡(luò)通過沒有標(biāo)簽的數(shù)據(jù)學(xué)習(xí)到潛在的分布信息，有利于它區(qū)分有標(biāo)簽的信息。然而，在網(wǎng)絡(luò)中，權(quán)重仍然需要進行微調(diào)。因此，需要在神經(jīng)網(wǎng)絡(luò)的頂部增加一個線性回歸，再對有標(biāo)簽的數(shù)據(jù)進行處理。網(wǎng)絡(luò)的微調(diào)會采用梯度下降法，對所有層同時進行調(diào)整。72自編碼器結(jié)構(gòu)單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)自編碼器的建立建立AutoEncoder的方法是：對于m個數(shù)據(jù)的輸入，有：Code編碼:使用非線性激活函數(shù)，將維輸入數(shù)據(jù)映射到維隱含層（隱含節(jié)點表示特征）其中W是一個的權(quán)重矩陣，b是一個d'維的偏移向量Decode解碼:通過反向映射，對映射后的數(shù)據(jù)進行重建SAE網(wǎng)絡(luò)每一次訓(xùn)練輸入都會得到映射后的與解碼后的。通過對代價函數(shù)的最優(yōu)化可以得到訓(xùn)練集上的權(quán)重與偏置。

73自編碼器的建立建立AutoEncoder的方法是：

23節(jié)點的稀疏性限制為了增強網(wǎng)絡(luò)的穩(wěn)定性，避免過擬合的發(fā)生，我們需要讓少部分神經(jīng)元輸出值大于0，其他的大部分為0（或近似為0），這就是所謂的稀疏性。在人腦中有大量的神經(jīng)元，但是大多數(shù)自然圖像通過視覺進入人腦時，只會刺激到少部分神經(jīng)元，大部分神經(jīng)元都是出于抑制狀態(tài)的。而且，大多數(shù)自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。稀疏性處理能夠更加有助于我們用少量的神經(jīng)元提取出自然圖像更加本質(zhì)的特征。從數(shù)學(xué)的角度來說，稀疏編碼是一種多維數(shù)據(jù)描述方法，數(shù)據(jù)經(jīng)稀疏編碼后僅有少數(shù)分量同時處于明顯激活狀態(tài)。在實際應(yīng)用中，稀疏編碼有如下幾個優(yōu)點：稀疏編碼方案存儲能力大，具有聯(lián)想記憶能力，并且計算簡便；使自然信號的結(jié)構(gòu)更加清晰；事實上，這一簡單的自編碼神經(jīng)網(wǎng)絡(luò)通?？梢詫W(xué)習(xí)出一個跟主成分分析（PCA）結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。74節(jié)點的稀疏性限制為了增強網(wǎng)絡(luò)的穩(wěn)定性，避免過擬合的發(fā)生，我們圖像實驗原始圖像隱含層特征可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測器學(xué)習(xí)到圖像邊緣信息75圖像實驗原始圖像隱含層特征可以看到，AE在圖像處理的特征提取StackedAutoEncoder一個AE模型有1個可視層、1個隱含層1個重建層。通過自下而上的映射，實現(xiàn)編碼與反編碼重建：激活函數(shù)minimizeCOST

FUNCTIONupdate梯度下降76StackedAutoEncoder激活函數(shù)minimiz參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列基本參數(shù)；構(gòu)建SAE網(wǎng)絡(luò)：分層建立輸入-輸出-輸入的AE網(wǎng)絡(luò)，并對權(quán)值與偏置初始化；SAE預(yù)訓(xùn)練：對網(wǎng)絡(luò)只傳入訓(xùn)練數(shù)據(jù)，在有限迭代步數(shù)下進行無監(jiān)督的學(xué)習(xí)，以學(xué)得數(shù)據(jù)特征，得到權(quán)值與偏置的初始值；參數(shù)微調(diào)：加入輸出層，將SAE網(wǎng)絡(luò)轉(zhuǎn)化成輸入-輸出的NN網(wǎng)絡(luò)并傳入訓(xùn)練標(biāo)簽，即放棄輸出到輸入的反向映射，進行反向傳播學(xué)習(xí)，減小訓(xùn)練誤差；測試：對測試數(shù)據(jù)進行神經(jīng)網(wǎng)絡(luò)測試，得到結(jié)果。SAE構(gòu)建方法77參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列ExampleDefinedByUser空間去冗余壓縮78ExampleDefinedByUser空間去冗余28實驗總結(jié)1.訓(xùn)練時間與迭代步數(shù)、層數(shù)、節(jié)點數(shù)、數(shù)據(jù)量四者呈線性關(guān)系；2.隨著迭代步數(shù)的增加，分類精度迅速提高，然而分類有其上限，過多的迭代步數(shù)無法提高分類精度；不同的數(shù)據(jù)所適用的網(wǎng)絡(luò)層數(shù)不一致，并不是層數(shù)越高，效果越理想；對節(jié)點的實驗表明，神經(jīng)網(wǎng)絡(luò)更適用于數(shù)據(jù)的壓縮，單層過高的節(jié)點數(shù)會降低分類效果；同時，數(shù)據(jù)量也比較明顯地影響著分類精度；3.實驗表明，向SAE網(wǎng)絡(luò)中引入降維的數(shù)據(jù)并不能很好的提高分類效果；4.對比其他分類算法SVM與KNN，實驗表明，SAE網(wǎng)絡(luò)更適合于大量數(shù)據(jù)的學(xué)習(xí)，而SVM與KNN淺層網(wǎng)絡(luò)訓(xùn)練與測試所用時間更短，而且可以在較少的數(shù)據(jù)量下獲得比較良好的分類效果。79實驗總結(jié)1.訓(xùn)練時間與迭代步數(shù)、層數(shù)、節(jié)點數(shù)、數(shù)據(jù)量四者呈CNN基本知識卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖像識別領(lǐng)域的研究熱點。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、旋轉(zhuǎn)或者其他形式的變形具有一定的不變性。卷積網(wǎng)絡(luò)的核心思想是將：局部感知、權(quán)值共享以及下采樣這三種結(jié)構(gòu)結(jié)合起來，以達到圖像降維的特征學(xué)習(xí)與分類。80CNN基本知識卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖局部連接卷積神經(jīng)網(wǎng)絡(luò)上下層之間采用局部連接的方式構(gòu)建網(wǎng)絡(luò)，每個隱含層的節(jié)點只與上一層的一部分連續(xù)輸入點相連接，這樣模擬了大腦皮層中，不同位置的視覺細胞只對局部區(qū)域有響應(yīng)這一現(xiàn)象。CNN中局部連接以卷積的方法來實現(xiàn)。對于自然圖像來說，從圖像中某個部位提取到的特征也適用于其它部位，因此這種卷積和局部連接的特征提取方式可以提高特征的位置不變性。81局部連接卷積神經(jīng)網(wǎng)絡(luò)上下層之間采用局部連接的方式構(gòu)建網(wǎng)絡(luò)，每權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積核通過滑動窗口作用于整個輸入圖像，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個卷積濾波器共享相同的可學(xué)習(xí)參數(shù)，包括相同的卷積核權(quán)重矩陣和偏置項。例如對于32x32的圖像數(shù)據(jù)，全連接神經(jīng)網(wǎng)絡(luò)需要32*32=1024個神經(jīng)元連接。采用卷積網(wǎng)權(quán)值共享方式，32個3x3的卷積核就可以了，一共32x3x3=288個可學(xué)習(xí)參數(shù)。82權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積核通過滑動窗口作下采樣卷積核與輸入圖像進行卷積之后生成特征圖，之后緊跟著一個進行二次篩選的下采樣層（或稱為池化層）。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰ΑＴ谕ㄟ^卷積獲得了特征(features)之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，但這樣做計算量太大。例如：對于一個96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個定義在8X8輸入上的特征，每一個特征和圖像卷積都會得到一個(96?8+1)*(96?8+1)=7921維的卷積特征，由于有400個特征圖，所以每個樣例(example)都會得到一個7921*400=3,168,400維的特征向量。學(xué)習(xí)一個擁有超過3百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合(over-fitting)。83下采樣卷積核與輸入圖像進行卷積之后生成特征圖，之后緊跟著一個下采樣為了降低特征維度，一個很自然的想法就是對不同位置的特征進行聚合統(tǒng)計，例如，人們可以計算圖像一個區(qū)域上的某個特定特征的平均值(或最大值)。這些概要統(tǒng)計特征不僅具有低得多的維度(相比使用所有提取得到的特征)，同時還會改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化(pooling)，包括平均池化或者最大池等多種方法。84下采樣為了降低特征維度，一個很自然的想法就是對不同位置的特征LeNet-585LeNet-535深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（DeepBeliefNet，DBN）是擁有深層架構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包含多個隱含層，而使用DBN的障礙在于如何訓(xùn)練這樣的深層網(wǎng)絡(luò)。通常情況下，由于網(wǎng)絡(luò)權(quán)值的隨機初始化，基于梯度的優(yōu)化容易陷入局部最小值。Hinton等提出了一種新的貪婪逐層非監(jiān)督算法來初始化基于受限玻爾茲曼機（RestrictedBoltzmannMachine，RBM）的DBN網(wǎng)絡(luò)。這個算法提供了網(wǎng)絡(luò)權(quán)值的初始化方法，隨后可以使用基于梯度的算法如梯度下降法來微調(diào)網(wǎng)絡(luò)權(quán)值。86深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（DeepBeliefNet，受限玻爾茲曼機RBM只有兩層神經(jīng)元，有m個可視節(jié)點和n個隱含節(jié)點，其中每個可視節(jié)點只和n