高性能算法之深度學(xué)習(xí)論文

1、研究生課程考核報(bào)告科 目： 高性能算法研究前沿 教 師: 向濤 姓 名： 周月玥 學(xué) 號(hào)： 20161402032t 專 業(yè)： 計(jì)算機(jī)科學(xué)與技術(shù) 類 別： 學(xué)術(shù)型 上課時(shí)間： 2016.32016.6 考 生 成 績(jī)：卷面成績(jī)平時(shí)成績(jī)課程綜合成績(jī)閱卷評(píng)語： 閱卷教師 (簽名) 重慶大學(xué)研究生院制深度學(xué)習(xí)算法研究與實(shí)現(xiàn)深度學(xué)習(xí)原理深度學(xué)習(xí)是機(jī)器學(xué)習(xí)拉出的分支，它試圖使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象的算法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中表征學(xué)習(xí)方法。觀測(cè)值（例如一幅圖像）可以使用多種方式來表示，如每個(gè)像素強(qiáng)度值的矢量，或者更抽象地表示成一系列邊、特定形狀的區(qū)域等。而使用某

2、些特定的表示方法更容易從實(shí)例中學(xué)習(xí)任務(wù)（例如，人臉識(shí)別或面部表情識(shí)別6）。深度學(xué)習(xí)的好處是將用非監(jiān)督式或半監(jiān)督式的特征學(xué)習(xí)和分層特征提取的高效算法來替代手工獲取特征。表征學(xué)習(xí)的目標(biāo)是尋求更好的表示方法并創(chuàng)建更好的模型來從大規(guī)模未標(biāo)記數(shù)據(jù)中學(xué)習(xí)這些表示方法。表達(dá)方式類似神經(jīng)科學(xué)的進(jìn)步，并松散地創(chuàng)建在類似神經(jīng)系統(tǒng)中的信息處理和通信模式的理解上，如神經(jīng)編碼，試圖定義拉動(dòng)神經(jīng)元的反應(yīng)之間的關(guān)系以及大腦中的神經(jīng)元的電活動(dòng)之間的關(guān)系。至今已有數(shù)種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)已被應(yīng)用計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理、音頻識(shí)別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。另

3、外，深度學(xué)習(xí)已成為類似術(shù)語，或者說是神經(jīng)網(wǎng)絡(luò)的品牌重塑。深度學(xué)習(xí)的研究發(fā)展過程和最新研究現(xiàn)狀以前，絕大多數(shù)機(jī)器學(xué)習(xí)和信號(hào)處理技術(shù)都利用淺層結(jié)構(gòu)，這些結(jié)構(gòu)一般包含最多一到兩層的非線性特征變換，這種狀況直到近幾年才得以改變。淺層結(jié)構(gòu)包括高斯混合模型（GMM），線性或非線性動(dòng)力系統(tǒng)，條件隨機(jī)場(chǎng)（CRF）、 最大熵模型（MaxEnt）、 支持向量機(jī)（SVM）、 邏輯回歸（LR）、 核回歸以及多層感知器（MLP）（包括極限學(xué)習(xí)器而且只包含一個(gè)隱層）。已近證明，淺層結(jié)構(gòu)在解決很多簡(jiǎn)單的或者限制較多的問題上效果明顯，但是由于其建模和表示能力有限，在遇到實(shí)際生活一些更復(fù)雜的涉及自然信號(hào)的問題時(shí)就會(huì)遇到各種困難

4、。然而，人類信息處理機(jī)制,總是需要深度結(jié)構(gòu)從豐富的感官輸入信息中提取復(fù)雜結(jié)構(gòu)并構(gòu)建內(nèi)部表示。例如，由于人類語言的產(chǎn)出和感知系統(tǒng)都具有清晰的層結(jié)構(gòu)，這就使得信息可以從波形層轉(zhuǎn)換到語言層。同理，人類視覺系統(tǒng)也有分層的特點(diǎn)這些雖然基本都只是存在于感知層面，但有趣的是，有時(shí)候在產(chǎn)出時(shí)也有分層的特點(diǎn)。我們應(yīng)該相信，如果能提出更高效且更有效的深度學(xué)習(xí)算法，那么用于處理這種自然信號(hào)的最前沿技術(shù)也將進(jìn)一步得到提高。深度學(xué)習(xí)的概念起源于對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究。前饋神經(jīng)網(wǎng)絡(luò)或具有多隱層的多層感知器是深度結(jié)構(gòu)模型中很好的范例。加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域泰斗Geoffrey Hinton和他的學(xué)生Ruslan

5、Salakhutdinov在頂尖學(xué)術(shù)刊物科學(xué)上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個(gè)主要的信息：1. 很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2. 深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（Layer-wise Pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)。2010年，美國(guó)國(guó)防部DARPA計(jì)劃首次資助深度學(xué)習(xí)項(xiàng)目，參與方有斯坦福大學(xué)、紐約大學(xué)

6、和NEC美國(guó)研究院。支持深度學(xué)習(xí)的一個(gè)重要依據(jù)，就是腦神經(jīng)系統(tǒng)的確具有豐富的層次結(jié)構(gòu)。一個(gè)最著名的例子就是Hubel-Wiesel模型，由于揭示了視覺神經(jīng)的機(jī)理而曾獲得諾貝爾醫(yī)學(xué)與生理學(xué)獎(jiǎng)。除了仿生學(xué)的角度，目前深度學(xué)習(xí)的理論研究還基本處于起步階段，但在應(yīng)用領(lǐng)域已顯現(xiàn)出巨大能量。2011年以來，微軟研究院和Google的語音識(shí)別研究人員先后采用DNN技術(shù)降低語音識(shí)別錯(cuò)誤率2030，是語音識(shí)別領(lǐng)域十多年來最大的突破性進(jìn)展。2012年，DNN技術(shù)在圖像識(shí)別領(lǐng)域取得驚人的效果，在ImageNet評(píng)測(cè)上將錯(cuò)誤率從26降低到15。在這一年，DNN還被應(yīng)用于制藥公司的DrugeActivity預(yù)測(cè)問題，并

7、獲得世界最好成績(jī)，這一重要成果被紐約時(shí)報(bào)報(bào)道。正如文章開頭所描述的，今天Google、微軟、百度等知名的擁有大數(shù)據(jù)的高科技公司爭(zhēng)相投入資源，占領(lǐng)深度學(xué)習(xí)的技術(shù)制高點(diǎn)，正是因?yàn)樗鼈兌伎吹搅嗽诖髷?shù)據(jù)時(shí)代，更加復(fù)雜且更加強(qiáng)大的深度模型能深刻揭示海量數(shù)據(jù)里所承載的復(fù)雜而豐富的信息，并對(duì)未來或未知事件做更精準(zhǔn)的預(yù)測(cè)深度學(xué)習(xí)的應(yīng)用情況語音識(shí)別語音識(shí)別系統(tǒng)長(zhǎng)期以來，在描述每個(gè)建模單元的統(tǒng)計(jì)概率模型時(shí)，大多采用的是混合高斯模型（GMM）。這種模型由于估計(jì)簡(jiǎn)單，適合海量數(shù)據(jù)訓(xùn)練，同時(shí)有成熟的區(qū)分度訓(xùn)練技術(shù)支持，長(zhǎng)期以來，一直在語音識(shí)別應(yīng)用中占有壟斷性地位。但這種混合高斯模型本質(zhì)上是一種淺層網(wǎng)絡(luò)建模，不能充分描述

8、特征的狀態(tài)空間分布。另外，GMM建模的特征維數(shù)一般是幾十維，不能充分描述特征之間的相關(guān)性。最后，GMM建模本質(zhì)上是一種似然概率建模，雖然區(qū)分度訓(xùn)練能夠模擬一些模式類之間的區(qū)分性，但能力有限。微軟研究院語音識(shí)別專家鄧立和俞棟從2009年開始和深度學(xué)習(xí)專家GeofferyHinton合作。2011年微軟宣布基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)取得成果并推出產(chǎn)品，徹底改變了語音識(shí)別原有的技術(shù)框架。采用深度神經(jīng)網(wǎng)絡(luò)后，可以充分描述特征之間的相關(guān)性，可以把連續(xù)多幀的語音特征并在一起，構(gòu)成一個(gè)高維特征。最終的深度神經(jīng)網(wǎng)絡(luò)可以采用高維特征訓(xùn)練來模擬。由于深度神經(jīng)網(wǎng)絡(luò)采用模擬人腦的多層結(jié)果，可以逐級(jí)地進(jìn)行信息特征抽取，

9、最終形成適合模式分類的較理想特征。這種多層結(jié)構(gòu)和人腦處理語音圖像信息時(shí)，是有很大的相似性的。深度神經(jīng)網(wǎng)絡(luò)的建模技術(shù)，在實(shí)際線上服務(wù)時(shí)，能夠無縫地和傳統(tǒng)的語音識(shí)別技術(shù)相結(jié)合，在不引起任何系統(tǒng)額外耗費(fèi)情況下，大幅度提升了語音識(shí)別系統(tǒng)的識(shí)別率。其在線的使用方法具體如下：在實(shí)際解碼過程中，聲學(xué)模型仍然是采用傳統(tǒng)的HMM模型，語音模型仍然是采用傳統(tǒng)的統(tǒng)計(jì)語言模型，解碼器仍然是采用傳統(tǒng)的動(dòng)態(tài)WFST解碼器。但在聲學(xué)模型的輸出分布計(jì)算時(shí)，完全用神經(jīng)網(wǎng)絡(luò)的輸出后驗(yàn)概率乘以一個(gè)先驗(yàn)概率來代替?zhèn)鹘y(tǒng)HMM模型中的GMM的輸出似然概率。百度在實(shí)踐中發(fā)現(xiàn)，采用DNN進(jìn)行聲音建模的語音識(shí)別系統(tǒng)相比于傳統(tǒng)的GMM語音識(shí)別系

10、統(tǒng)而言，相對(duì)誤識(shí)別率能降低25%。最終在2012年11月，百度上線了第一款基于DNN的語音搜索系統(tǒng)，成為最早采用DNN技術(shù)進(jìn)行商業(yè)語音服務(wù)的公司之一。國(guó)際上，Google也采用了深層神經(jīng)網(wǎng)絡(luò)進(jìn)行聲音建模，是最早突破深層神經(jīng)網(wǎng)絡(luò)工業(yè)化應(yīng)用的企業(yè)之一。但Google產(chǎn)品中采用的深度神經(jīng)網(wǎng)絡(luò)只有4-5層，而百度采用的深度神經(jīng)網(wǎng)絡(luò)多達(dá)9層。這種結(jié)構(gòu)差異的核心其實(shí)是百度更好地解決了深度神經(jīng)網(wǎng)絡(luò)在線計(jì)算的技術(shù)難題，因此百度線上產(chǎn)品可以采用更復(fù)雜的網(wǎng)絡(luò)模型。這將對(duì)于未來拓展海量語料的DNN模型訓(xùn)練有更大的優(yōu)勢(shì)。圖像識(shí)別圖像是深度學(xué)習(xí)最早嘗試的應(yīng)用領(lǐng)域。早在1989年，Yann LeCun (現(xiàn)紐約大學(xué)教授)

11、 和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)（Convolution NeuralNetworks， 簡(jiǎn)稱CNN）的工作。CNN是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，通常至少有兩個(gè)非線性可訓(xùn)練的卷積層，兩個(gè)非線性的固定卷積層（又叫Pooling Laye）和一個(gè)全連接層，一共至少5個(gè)隱含層。CNN的結(jié)構(gòu)受到著名的Hubel-Wiesel生物視覺模型的啟發(fā)，尤其是模擬視覺皮層V1和V2層中Simple Cell和Complex Cell的行為。在很長(zhǎng)時(shí)間里，CNN雖然在小規(guī)模的問題上，如手寫數(shù)字，取得過當(dāng)時(shí)世界最好結(jié)果，但一直沒有取得巨大成功。這主要原因是，CNN在大規(guī)模圖像上效果不好，比如像素很多

12、的自然圖片內(nèi)容理解，所以沒有得到計(jì)算機(jī)視覺領(lǐng)域的足夠重視。這個(gè)情況一直持續(xù)到2012年10月，Geoffrey Hinton和他的兩個(gè)學(xué)生在著名的ImageNet問題上用更深的CNN取得世界最好結(jié)果，使得圖像識(shí)別大踏步前進(jìn)。在Hinton的模型里，輸入就是圖像的像素，沒有用到任何的人工特征。這個(gè)驚人的結(jié)果為什么在之前沒有發(fā)生？ 原因當(dāng)然包括算法的提升，比如dropout等防止過擬合技術(shù)，但最重要的是，GPU帶來的計(jì)算能力提升和更多的訓(xùn)練數(shù)據(jù)。百度在2012年底將深度學(xué)習(xí)技術(shù)成功應(yīng)用于自然圖像OCR識(shí)別和人臉識(shí)別等問題，并推出相應(yīng)的桌面和移動(dòng)搜索產(chǎn)品，2013年，深度學(xué)習(xí)模型被成功應(yīng)用于一般圖片

13、的識(shí)別和理解。從百度的經(jīng)驗(yàn)來看，深度學(xué)習(xí)應(yīng)用于圖像識(shí)別不但大大提升了準(zhǔn)確性，而且避免了人工特征抽取的時(shí)間消耗，從而大大提高了在線計(jì)算效率?？梢院苡邪盐盏卣f，從現(xiàn)在開始，深度學(xué)習(xí)將取代“人工特征+機(jī)器學(xué)習(xí)”的方法而逐漸成為主流圖像識(shí)別方法。自然語言處理除了語音和圖像，深度學(xué)習(xí)的另一個(gè)應(yīng)用領(lǐng)域問題是自然語言處理（NLP）。經(jīng)過幾十年的發(fā)展，基于統(tǒng)計(jì)的模型已經(jīng)成為NLP的主流，但作為統(tǒng)計(jì)方法之一的人工神經(jīng)網(wǎng)絡(luò)在NLP領(lǐng)域幾乎沒有受到重視。最早應(yīng)用神經(jīng)網(wǎng)絡(luò)的NLP問題是語言模型。加拿大蒙特利爾大學(xué)教授Yoshua Bengio等人于2003年提出用embedding的方法將詞映射到一個(gè)矢量表示空間，然

14、后用非線性神經(jīng)網(wǎng)絡(luò)來表示N-Gram模型。世界上最早的最早的深度學(xué)習(xí)用于NLP的研究工作誕生于NEC美國(guó)研究院，其研究員Ronan Collobert和Jason Weston從2008年開始采用embedding和多層一維卷積的結(jié)構(gòu)，用于POS Tagging、Chunking、Named Entity Recognition、Semantic Role Labeling等四個(gè)典型NLP問題。值得注意的是，他們將同一個(gè)模型用于不同任務(wù)，都能取得與業(yè)界最前沿相當(dāng)?shù)臏?zhǔn)確率。最近以來，斯坦福大學(xué)教授Chris Manning等人在將深度學(xué)習(xí)用于NLP的工作也值得關(guān)注?？偟膩碚f，深度學(xué)習(xí)在NLP上取

15、得的進(jìn)展沒有在語音圖像上那么令人影響深刻。一個(gè)很有意思的悖論是：相比于聲音和圖像，語言是唯一的非自然信號(hào)，是完全由人類大腦產(chǎn)生和處理的符號(hào)系統(tǒng)，但模仿人腦結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)卻似乎在處理自然語言上沒有顯現(xiàn)明顯優(yōu)勢(shì)？我們相信，深度學(xué)習(xí)在NLP方面有很大的探索空間。從2006年圖像深度學(xué)習(xí)成為學(xué)術(shù)界熱門課題到2012年10月Geoffery Hinton在ImageNet上的重大突破，經(jīng)歷了6年時(shí)間。我們需要有足夠的耐心。搜索廣告CTR預(yù)估搜索廣告是搜索引擎的主要變現(xiàn)方式，而按點(diǎn)擊付費(fèi)（Cost Per Click，CPC）又是其中被最廣泛應(yīng)用的計(jì)費(fèi)模式。在CPC模式下，預(yù)估的CTR（pCTR）越準(zhǔn)

16、確，點(diǎn)擊率就會(huì)越高，收益就越大。通常，搜索廣告的pCTR是通過機(jī)器學(xué)習(xí)模型預(yù)估得到。提高pCTR的準(zhǔn)確性，是提升搜索公司、廣告主、搜索用戶三方利益的最佳途徑。傳統(tǒng)上，Google、百度等搜索引擎公司以Logistic Regression（LR）作為預(yù)估模型。而從2012年開始，百度開始意識(shí)到模型的結(jié)構(gòu)對(duì)廣告CTR預(yù)估的重要性：使用扁平結(jié)構(gòu)的LR嚴(yán)重限制了模型學(xué)習(xí)與抽象特征的能力。為了突破這樣的限制，百度嘗試將DNN作用于搜索廣告，而這其中最大的挑戰(zhàn)在于當(dāng)前的計(jì)算能力還無法接受1011級(jí)別的原始廣告特征作為輸入。作為解決，在百度的DNN系統(tǒng)里，特征數(shù)從1011數(shù)量級(jí)被降到了103，從而能被DN

17、N正常地學(xué)習(xí)。這套深度學(xué)習(xí)系統(tǒng)已于2013年5月開始服務(wù)于百度搜索廣告系統(tǒng)，每天為數(shù)億網(wǎng)民使用。DNN在搜索廣告系統(tǒng)中的應(yīng)用還遠(yuǎn)遠(yuǎn)沒有成熟，其中DNN與遷移學(xué)習(xí)的結(jié)合將可能是一個(gè)令人振奮的方向。使用DNN，未來的搜索廣告將可能借助網(wǎng)頁搜索的結(jié)果優(yōu)化特征的學(xué)習(xí)與提?。灰嗫赡芡ㄟ^DNN將不同的產(chǎn)品線聯(lián)系起來，使得不同的變現(xiàn)產(chǎn)品不管數(shù)據(jù)多少，都能互相優(yōu)化。我們認(rèn)為未來的DNN一定會(huì)在搜索廣告中起到更重要的作用。深度學(xué)習(xí)實(shí)踐平臺(tái)選擇：在本次實(shí)驗(yàn)我選擇了比較熟悉java語言作為開發(fā)語言，在具體的深度學(xué)習(xí)包我選擇了該平臺(tái)上非常出名的Deeplearning4j，并在其推薦的intellij-idea作為實(shí)驗(yàn)環(huán)境。工作目標(biāo)：隨機(jī)給出一些點(diǎn)，系統(tǒng)需