深度學(xué)習(xí)介紹（專業(yè)應(yīng)用）

1、深度學(xué)習(xí)簡(jiǎn)介1陽山書屋主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network雜項(xiàng)2陽山書屋現(xiàn)狀2006年7月，機(jī)器學(xué)習(xí)界的著名學(xué)者Geoffery Hinton 和他的學(xué)生Ruslan Salakhutdinov在Science上發(fā)表了一篇關(guān)于深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的文章，引起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的關(guān)注；2012年5月到10月，為了回應(yīng)對(duì)于深度學(xué)習(xí)方法的質(zhì)疑，也為了測(cè)試深度學(xué)習(xí)算法的真實(shí)效果，Geoffery Hinton和他的另外一個(gè)學(xué)生Alex Krizhevsky參

2、加了ImageNet大規(guī)模視覺識(shí)別競(jìng)賽，以大幅領(lǐng)先優(yōu)勢(shì)取得第一名；2012年6月，機(jī)器學(xué)習(xí)和人工智能的知名學(xué)者Andrew Ng等人與谷歌經(jīng)過多年的合作，在語音識(shí)別與圖像目標(biāo)識(shí)別方面取得了突破性的進(jìn)展；2012年11月，在二十一世紀(jì)計(jì)算大會(huì)上，微軟首席研究官Rick Rashid展示了一套基于深層神經(jīng)網(wǎng)絡(luò)模型的語音識(shí)別系統(tǒng)，能實(shí)時(shí)流暢翻譯，切顯著地降低了錯(cuò)誤率，這在語音識(shí)別領(lǐng)域是一個(gè)突破；2013年1月，百度創(chuàng)始人兼CEO李彥宏在年會(huì)上宣布將成立百度研究院；2013年7月，谷歌收購了深度學(xué)習(xí)初創(chuàng)公司DNNResearch Inc.，公司員工GeofferyHinton和他的兩個(gè)學(xué)生Alex K

3、rizhevsky，Ilya Sutskever 加入谷歌；3陽山書屋現(xiàn)狀2013年10月，雅虎收購圖像識(shí)別公司LookFlow，正式加入深度學(xué)習(xí)研究隊(duì)伍；2015到2016年，蘋果收購人工智能研究公司VocalIQ，Percepti，Emotient，Turi等，強(qiáng)化Siri和攝像等應(yīng)用上的優(yōu)勢(shì)；2015年11月，谷歌發(fā)布人工智能系統(tǒng)TensorFlow并宣布開放源代碼；2016年5月，亞馬遜發(fā)布了一個(gè)開源的使用GPU訓(xùn)練和部署深層神經(jīng)網(wǎng)絡(luò)開源工具DSSTNE；2016年8月，英特爾開發(fā)者大會(huì)上，英特爾宣布將于2017年推出專門為人工智能和深度學(xué)習(xí)而設(shè)計(jì)的最新一代CPUIntel Xeon

4、Phi處理器，代號(hào)Knights Mill，英特爾宣稱其運(yùn)算能力比對(duì)手NVIDIA的Kepler 系列GPU產(chǎn)品快兩倍以上。2016年10月，NVIDIA 發(fā)布了新版本的通用并行計(jì)算架構(gòu)庫：統(tǒng)一計(jì)算設(shè)備架構(gòu)（Compute Unified Device Architecture，CUDA）8.0，以及深度學(xué)習(xí)專用GPU 加速庫：cuDNN 5.0；2016年11月，在2016全球超級(jí)計(jì)算機(jī)大會(huì)（SC16）上，AMD 宣布推出新版Radeon開放計(jì)算平臺(tái)（Radeon Open Compute Platform，ROCm），以及用于GPU 加速器的免費(fèi)開源庫MIOpen。4陽山書屋主要內(nèi)容現(xiàn)狀神

5、經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network雜項(xiàng)5陽山書屋神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)與認(rèn)知識(shí)別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類模擬生物神經(jīng)網(wǎng)絡(luò)的模型，基于大量訓(xùn)練數(shù)據(jù)，用來預(yù)測(cè)（決策問題）或估計(jì)目標(biāo)函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”之間相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含有可以根據(jù)訓(xùn)練樣本調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入樣本，并且擁有學(xué)習(xí)能力。作為機(jī)器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來處理一系列傳統(tǒng)機(jī)器方法無法處理，或者處理難度較大的問題，包括計(jì)算機(jī)視覺、語音識(shí)別

6、等任務(wù)。6陽山書屋基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對(duì)所有輸入進(jìn)行加權(quán)求和，之后進(jìn)行非線性映射得到該神經(jīng)元的輸出值。神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)，大體分為層狀與網(wǎng)狀兩大類。常用激活函數(shù)： ReLU函數(shù) S型函數(shù) 雙曲正切函數(shù)神經(jīng)元模型7陽山書屋神經(jīng)網(wǎng)絡(luò)輸出：激活函數(shù)：8陽山書屋神經(jīng)網(wǎng)絡(luò)9陽山書屋BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計(jì)算：輸入值從輸入層神經(jīng)元通過加權(quán)連接逐層前向傳播，經(jīng)過隱含層，最后到達(dá)輸出層得到輸出。在信號(hào)的前向傳播過程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。反向傳播算法：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值即為誤差信號(hào)。誤差信號(hào)由輸出端開始逐層反向傳播。在誤差信

7、號(hào)反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值根據(jù)誤差的梯度進(jìn)行調(diào)節(jié)，通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更加接近期望輸出。前饋網(wǎng)絡(luò)結(jié)構(gòu)10陽山書屋說明代價(jià)函數(shù) 在遇到回歸問題時(shí)，指定代價(jià)函數(shù) 以使目標(biāo)變量的真實(shí)值和預(yù)測(cè)值的距離最小； 代價(jià)函數(shù)描述了網(wǎng)絡(luò)輸出與真實(shí)值之間的誤差； 網(wǎng)絡(luò)模型的訓(xùn)練過程即：通過隨機(jī)梯度下降的方法最小化代價(jià)函數(shù)以提高網(wǎng)絡(luò)精度； 可以在代價(jià)函數(shù)中引入其他約束以滿足設(shè)定要求。11陽山書屋反向傳播算法反向傳播算法可表示為以下幾個(gè)步驟：1.進(jìn)行前饋傳導(dǎo)計(jì)算，利用前向傳導(dǎo)公式，得到 直到輸出層 的激活值。2.對(duì)輸出層（第 層），計(jì)算： 3.對(duì)于 的各層，計(jì)算：4.計(jì)算最終需要的偏導(dǎo)數(shù)值：5.根據(jù)

8、殘差對(duì)參數(shù)W和b做出更新：12陽山書屋反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)13陽山書屋主要問題主要問題訓(xùn)練過程易陷入局部極小值，從而得不到全局最優(yōu)解；計(jì)算量大，訓(xùn)練次數(shù)多，使得學(xué)習(xí)效率低，收斂速度慢；對(duì)于隱含層個(gè)數(shù)和隱含層神經(jīng)元節(jié)點(diǎn)的個(gè)數(shù)選擇，至今還沒有一個(gè)具體的定論，缺乏理論指導(dǎo)；訓(xùn)練時(shí)，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)常用改進(jìn)方法添加動(dòng)量項(xiàng)，Dropout等規(guī)則化算法等；采用改進(jìn)的梯度下降法，使用硬件輔助計(jì)算；RNN，LSTM等改進(jìn)模型和神經(jīng)元。14陽山書屋主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型Stacked Auto-EncoderConvolutional Neural Netwo

9、rkDeep Belief Network雜項(xiàng)15陽山書屋深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)和BP算法，構(gòu)造多層網(wǎng)絡(luò)，通過最小化代價(jià)函數(shù)的方法來提高分類精度。對(duì)于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實(shí)際使用的多數(shù)是只含有一層隱層節(jié)點(diǎn)的淺層模型。深度學(xué)習(xí)更側(cè)重于如何通過增加網(wǎng)絡(luò)的深度，來減小每層需要擬合的特征個(gè)數(shù)，來提取出數(shù)據(jù)（尤其是語音與圖像數(shù)據(jù)）的高層特征信息，從而達(dá)到更好的測(cè)試性能與分類精度。深度學(xué)習(xí)對(duì)輸入數(shù)據(jù)逐級(jí)提取從底層到高層的特征，從而能更好地建立從底層信號(hào)到高層語義的復(fù)雜映射關(guān)系。傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達(dá)一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)

10、目前還看不到瓶頸。16陽山書屋深度學(xué)習(xí)淺層模型深層模型隱含層數(shù)1-25層以上表達(dá)能力有限更強(qiáng)特征提取方式人工設(shè)計(jì)或自動(dòng)學(xué)習(xí)自動(dòng)學(xué)習(xí)代價(jià)函數(shù)存在凸代價(jià)函數(shù)，可以收斂到全局最優(yōu)解非凸代價(jià)函數(shù)，存在大量局部最優(yōu)點(diǎn)。（實(shí)際情況是容易收斂到非常好的點(diǎn)）訓(xùn)練難度低高理論基礎(chǔ)成熟不完善，需要根據(jù)實(shí)驗(yàn)結(jié)果調(diào)整模型先驗(yàn)知識(shí)和工程經(jīng)驗(yàn)非常依賴較少依賴訓(xùn)練樣本數(shù)量多非常多使用場(chǎng)景數(shù)據(jù)包含簡(jiǎn)單特征數(shù)據(jù)包含復(fù)雜、多層、抽象特征17陽山書屋深度學(xué)習(xí)深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建包含很多隱含層的神經(jīng)網(wǎng)絡(luò)模型，以更少的單層參數(shù)與更深的網(wǎng)絡(luò)結(jié)構(gòu)，通過海量訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)特征的多層抽象表示，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。所以，“深

11、度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層以上、甚至100多層的隱含層；）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，使得分類或預(yù)測(cè)更加容易。18陽山書屋深層帶來的好處為什么采用層次網(wǎng)絡(luò)19陽山書屋預(yù)訓(xùn)練與梯度消失現(xiàn)象神經(jīng)網(wǎng)絡(luò)層數(shù)加深以后，容易出現(xiàn)梯度消失現(xiàn)象；由于前層的梯度是由后層的梯度項(xiàng)相乘得到，梯度會(huì)逐層衰減，從而導(dǎo)致后層的網(wǎng)絡(luò)學(xué)習(xí)率超過前層，BP算法收斂緩慢。當(dāng)神經(jīng)網(wǎng)絡(luò)有很多層時(shí)，就會(huì)面臨不穩(wěn)定的情況。對(duì)網(wǎng)絡(luò)的預(yù)訓(xùn)練可以較好地避免這種現(xiàn)象。這是因?yàn)椋簩?shí)驗(yàn)表明，在非凸優(yōu)化

12、問題上初始點(diǎn)的選擇十分重要；無監(jiān)督學(xué)習(xí)增加了深層結(jié)構(gòu)的魯棒性；對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行不同的預(yù)訓(xùn)練能夠使網(wǎng)絡(luò)學(xué)習(xí)到數(shù)據(jù)的不同的高質(zhì)量特征；單純?cè)黾右粋€(gè)網(wǎng)絡(luò)的深度，如果不進(jìn)行預(yù)訓(xùn)練處理，會(huì)提高陷于局部極小點(diǎn)的可能性。20陽山書屋主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network雜項(xiàng)21陽山書屋自編碼器結(jié)構(gòu)單層自動(dòng)編碼器網(wǎng)絡(luò)（AutoEncoder）實(shí)質(zhì)上是一個(gè)三層的反向傳播神經(jīng)網(wǎng)絡(luò)。它逐層采用無監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱含層上，再經(jīng)過反變換映射到輸出上，實(shí)現(xiàn)輸

13、入輸出的近似等價(jià)。自動(dòng)編碼器的主要思想是利用無監(jiān)督方式最小化重建誤差，學(xué)習(xí)到的權(quán)重提供了一個(gè)網(wǎng)絡(luò)初始化的較好的初始點(diǎn)。無監(jiān)督學(xué)習(xí)的主要目的是從無標(biāo)簽的數(shù)據(jù)中提取有用的特征，以減少輸入信息，保留數(shù)據(jù)中關(guān)鍵的有效信息。網(wǎng)絡(luò)通過沒有標(biāo)簽的數(shù)據(jù)學(xué)習(xí)到潛在的分布信息，有利于它區(qū)分有標(biāo)簽的信息。然而，在網(wǎng)絡(luò)中，權(quán)重仍然需要進(jìn)行微調(diào)。因此，需要在神經(jīng)網(wǎng)絡(luò)的頂部增加一個(gè)線性回歸，再對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行處理。網(wǎng)絡(luò)的微調(diào)會(huì)采用梯度下降法，對(duì)所有層同時(shí)進(jìn)行調(diào)整。22陽山書屋自編碼器的建立建立AutoEncoder的方法是：對(duì)于m個(gè)數(shù)據(jù)的輸入，有： Code編碼:使用非線性激活函數(shù)，將維輸入數(shù)據(jù)映射到維隱含層（隱含節(jié)點(diǎn)

14、表示特征） 其中W是一個(gè)的權(quán)重矩陣，b是一個(gè)d維的偏移向量 Decode解碼:通過反向映射，對(duì)映射后的數(shù)據(jù)進(jìn)行重建SAE網(wǎng)絡(luò)每一次訓(xùn)練輸入都會(huì)得到映射后的 與解碼后的 。通過對(duì)代價(jià)函數(shù)的最優(yōu)化可以得到訓(xùn)練集上的權(quán)重與偏置。23陽山書屋節(jié)點(diǎn)的稀疏性限制為了增強(qiáng)網(wǎng)絡(luò)的穩(wěn)定性，避免過擬合的發(fā)生，我們需要讓少部分神經(jīng)元輸出值大于0，其他的大部分為0（或近似為0），這就是所謂的稀疏性。在人腦中有大量的神經(jīng)元，但是大多數(shù)自然圖像通過視覺進(jìn)入人腦時(shí)，只會(huì)刺激到少部分神經(jīng)元，大部分神經(jīng)元都是出于抑制狀態(tài)的。而且，大多數(shù)自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。稀疏性處理能夠更加有助于我們用少量的

15、神經(jīng)元提取出自然圖像更加本質(zhì)的特征。從數(shù)學(xué)的角度來說，稀疏編碼是一種多維數(shù)據(jù)描述方法，數(shù)據(jù)經(jīng)稀疏編碼后僅有少數(shù)分量同時(shí)處于明顯激活狀態(tài)。在實(shí)際應(yīng)用中，稀疏編碼有如下幾個(gè)優(yōu)點(diǎn)：稀疏編碼方案存儲(chǔ)能力大，具有聯(lián)想記憶能力，并且計(jì)算簡(jiǎn)便；使自然信號(hào)的結(jié)構(gòu)更加清晰；事實(shí)上，這一簡(jiǎn)單的自編碼神經(jīng)網(wǎng)絡(luò)通常可以學(xué)習(xí)出一個(gè)跟主成分分析（PCA）結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。24陽山書屋圖像實(shí)驗(yàn)原始圖像隱含層特征可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測(cè)器學(xué)習(xí)到圖像邊緣信息25陽山書屋Stacked AutoEncoder一個(gè)AE模型有1個(gè)可視層、1個(gè)隱含層1個(gè)重建層。通過自下而上的映射，實(shí)現(xiàn)編碼與

16、反編碼重建：激活函數(shù)minimizeCOST FUNCTIONupdate梯度下降26陽山書屋參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列基本參數(shù)；構(gòu)建SAE網(wǎng)絡(luò)：分層建立輸入-輸出-輸入的AE網(wǎng)絡(luò)，并對(duì)權(quán)值與偏置初始化；SAE預(yù)訓(xùn)練：對(duì)網(wǎng)絡(luò)只傳入訓(xùn)練數(shù)據(jù)，在有限迭代步數(shù)下進(jìn)行無監(jiān)督的學(xué)習(xí)，以學(xué)得數(shù)據(jù)特征，得到權(quán)值與偏置的初始值；參數(shù)微調(diào)：加入輸出層，將SAE網(wǎng)絡(luò)轉(zhuǎn)化成輸入-輸出的NN網(wǎng)絡(luò)并傳入訓(xùn)練標(biāo)簽，即放棄輸出到輸入的反向映射，進(jìn)行反向傳播學(xué)習(xí)，減小訓(xùn)練誤差；測(cè)試：對(duì)測(cè)試數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)測(cè)試，得到結(jié)果。SAE構(gòu)建方法27陽山書屋ExampleDefined By User空

17、間去冗余壓縮28陽山書屋實(shí)驗(yàn)總結(jié)1. 訓(xùn)練時(shí)間與迭代步數(shù)、層數(shù)、節(jié)點(diǎn)數(shù)、數(shù)據(jù)量四者呈線性關(guān)系；2. 隨著迭代步數(shù)的增加，分類精度迅速提高，然而分類有其上限，過多的迭代步數(shù)無法提高分類精度；不同的數(shù)據(jù)所適用的網(wǎng)絡(luò)層數(shù)不一致，并不是層數(shù)越高，效果越理想；對(duì)節(jié)點(diǎn)的實(shí)驗(yàn)表明，神經(jīng)網(wǎng)絡(luò)更適用于數(shù)據(jù)的壓縮，單層過高的節(jié)點(diǎn)數(shù)會(huì)降低分類效果；同時(shí)，數(shù)據(jù)量也比較明顯地影響著分類精度；3. 實(shí)驗(yàn)表明，向SAE網(wǎng)絡(luò)中引入降維的數(shù)據(jù)并不能很好的提高分類效果；4.對(duì)比其他分類算法SVM與KNN，實(shí)驗(yàn)表明，SAE網(wǎng)絡(luò)更適合于大量數(shù)據(jù)的學(xué)習(xí)，而SVM與KNN淺層網(wǎng)絡(luò)訓(xùn)練與測(cè)試所用時(shí)間更短，而且可以在較少的數(shù)據(jù)量下獲得比較良

18、好的分類效果。29陽山書屋CNN基本知識(shí)卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、旋轉(zhuǎn)或者其他形式的變形具有一定的不變性。卷積網(wǎng)絡(luò)的核心思想是將：局部感知、權(quán)值共享以及下采樣這三種結(jié)構(gòu)結(jié)合起來，以達(dá)到圖像降維的特征學(xué)習(xí)與分類。30陽山書屋局部連接卷積神經(jīng)網(wǎng)絡(luò)上下層之間采用局部連接的方式構(gòu)建網(wǎng)絡(luò)，每個(gè)隱含層的節(jié)點(diǎn)只與上一層的一部分連續(xù)輸入點(diǎn)相連接，這樣模擬了大腦皮層中，不同位置的視覺細(xì)胞只對(duì)局部區(qū)域有響應(yīng)這一現(xiàn)象。CNN中局部連接以卷積的方法來實(shí)現(xiàn)。對(duì)于自然圖像來說，從圖像中某個(gè)部位提取到

19、的特征也適用于其它部位，因此這種卷積和局部連接的特征提取方式可以提高特征的位置不變性。31陽山書屋權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個(gè)卷積核通過滑動(dòng)窗口作用于整個(gè)輸入圖像，對(duì)輸入圖像進(jìn)行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個(gè)卷積濾波器共享相同的可學(xué)習(xí)參數(shù)，包括相同的卷積核權(quán)重矩陣和偏置項(xiàng)。例如對(duì)于32x32的圖像數(shù)據(jù)，全連接神經(jīng)網(wǎng)絡(luò)需要32*32=1024個(gè)神經(jīng)元連接。采用卷積網(wǎng)權(quán)值共享方式，32個(gè)3x3的卷積核就可以了，一共32x3x3=288個(gè)可學(xué)習(xí)參數(shù)。32陽山書屋下采樣卷積核與輸入圖像進(jìn)行卷積之后生成特征圖，之后緊跟著一個(gè)進(jìn)行二次篩選的下采樣層（或稱為池

20、化層）。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰ΑＴ谕ㄟ^卷積獲得了特征 (features) 之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，但這樣做計(jì)算量太大。例如：對(duì)于一個(gè)96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè) (96 8 + 1) * (96 8 + 1) = 7921 維的卷積特征，由于有 400 個(gè)特征圖，所以每個(gè)樣例 (example) 都會(huì)得到一個(gè) 7921 * 400 = 3,168,400 維的特征向量。學(xué)習(xí)一個(gè)擁有超過3百萬特征輸入的

21、分類器十分不便，并且容易出現(xiàn)過擬合 (over-fitting)。33陽山書屋下采樣為了降低特征維度，一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值 (或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時(shí)還會(huì)改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化 (pooling)，包括平均池化或者最大池等多種方法。34陽山書屋LeNet-535陽山書屋深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（Deep Belief Net， DBN）是擁有深層架構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包含多個(gè)隱含層，而使用DBN的障礙在于如何訓(xùn)練這樣的深

22、層網(wǎng)絡(luò)。通常情況下，由于網(wǎng)絡(luò)權(quán)值的隨機(jī)初始化，基于梯度的優(yōu)化容易陷入局部最小值。Hinton等提出了一種新的貪婪逐層非監(jiān)督算法來初始化基于受限玻爾茲曼機(jī)（Restricted Boltzmann Machine， RBM）的DBN網(wǎng)絡(luò)。這個(gè)算法提供了網(wǎng)絡(luò)權(quán)值的初始化方法，隨后可以使用基于梯度的算法如梯度下降法來微調(diào)網(wǎng)絡(luò)權(quán)值。36陽山書屋受限玻爾茲曼機(jī)RBM只有兩層神經(jīng)元，有m個(gè)可視節(jié)點(diǎn)和n個(gè)隱含節(jié)點(diǎn)，其中每個(gè)可視節(jié)點(diǎn)只和n個(gè)隱含節(jié)點(diǎn)相關(guān)，和其他可視節(jié)點(diǎn)是獨(dú)立的。是即可視節(jié)點(diǎn)的狀態(tài)只與n個(gè)隱含節(jié)點(diǎn)相關(guān)，對(duì)于每個(gè)隱含節(jié)點(diǎn)也是，只與m個(gè)可視節(jié)點(diǎn)相關(guān)，這個(gè)特點(diǎn)使得RBM的訓(xùn)練變得容易。注意這兩層間的對(duì)

23、稱 雙向連接。 RBM網(wǎng)絡(luò)有幾個(gè)參數(shù)，一個(gè)是可視層與隱含層之間的權(quán)重矩陣，一個(gè)是可視節(jié)點(diǎn)的偏移量b，一個(gè)是隱含節(jié)點(diǎn)的偏移量c，這幾個(gè)參數(shù)決定了RBM網(wǎng)絡(luò)將一個(gè)m維的樣本編碼成一個(gè)什么樣的n維的樣本。受限玻爾茲曼機(jī)37陽山書屋RBM介紹RBM區(qū)別于BM的一點(diǎn)是，前者要求層內(nèi)神經(jīng)元之間沒有連接，而后者允許層內(nèi)連接定義能量函數(shù)聯(lián)合概率分布性質(zhì)：給定可見層時(shí)，隱含層神經(jīng)元激活條件獨(dú)立；反之亦然。給定訓(xùn)練樣本訓(xùn)練一個(gè)RBM意味著調(diào)整參數(shù)以擬合給定訓(xùn)練樣本。數(shù)學(xué)推導(dǎo)可知，該問題等價(jià)于求下述函數(shù)最大值38陽山書屋RBM訓(xùn)練39陽山書屋一般地，鏈接權(quán)重Wij可初始化為來自正態(tài)分布N(0,0.01)的隨機(jī)數(shù)，隱

24、單元的偏置cj初始化為0；對(duì)于第i個(gè)可見單元，偏置bj初始化為logpi/(1-pi) 。pi表示訓(xùn)練樣本中第i個(gè)特征處于激活狀態(tài)所占的比率 學(xué)習(xí)率epsilon至關(guān)重要，大則收斂快，但是算法可能不穩(wěn)定。小則慢。為克服這一矛盾引入動(dòng)量，使本次參數(shù)值修改的方向不完全由當(dāng)前樣本似然函數(shù)梯度方向決定，而是上一次參數(shù)值修改方向與本次梯度方向的結(jié)合可以避免過早的收斂到局部最優(yōu)點(diǎn)k為動(dòng)量項(xiàng)學(xué)習(xí)率 開始時(shí)k=0.5，重構(gòu)誤差處于平穩(wěn)增加狀態(tài)時(shí)，k=0.940陽山書屋RBM評(píng)估41陽山書屋主要內(nèi)容現(xiàn)狀神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常見模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network雜項(xiàng)42陽山書屋對(duì)深度學(xué)習(xí)的評(píng)價(jià)理論上無法證明它為何有效，但是在實(shí)際問題上它的確有效。