深度學(xué)習和增強學(xué)習概述

1、交流內(nèi)容Part1 機器學(xué)習的基本概念Part2 深度學(xué)習的概念、由來及歷史Part3 基本的深度學(xué)習模型及其應(yīng)用Part4 強化學(xué)習的概念及應(yīng)用數(shù)據(jù)：人類文明進步的基石獲取數(shù)據(jù)分析數(shù)據(jù)構(gòu)建模型預(yù)測未來人類使用數(shù)據(jù)的一般流程天文學(xué)的起源和發(fā)展歷程，清晰表明數(shù)據(jù)在人類發(fā)展過程中所產(chǎn)生的巨大作用尼羅河畔的文明（古埃及人）洪水退去后留下肥沃的土地觀察天象，預(yù)測洪水到來和退去時間及其大小，開創(chuàng)天文學(xué)根據(jù)天狼星和太陽同時出現(xiàn)的位置，判定農(nóng)耕時間和節(jié)氣 推測出：365*4+1=1461天，作為一個周期美索不達米亞文明（蘇美爾人）觀察發(fā)現(xiàn)月亮每隔28-29天，完成從新月到滿月再回到新月的周期同時，觀察到每年

2、有四季之分，每過12-13個月亮周期，太陽就回到原來位置發(fā)明了太陰歷古代歷法，本質(zhì)上是對天文現(xiàn)象的一個數(shù)據(jù)化描述2數(shù)據(jù)：人類文明進步的基石開普勒關(guān)于行星運動的三大定律，形式簡單，描述準確但他并不理解其內(nèi)涵100多年的觀測數(shù)據(jù)托勒密用40-60個小園套大圓的方法，精確計算出了所有行星運動的軌跡牛頓第二定律和萬有引力定律把行星運動歸結(jié)成一個純粹的數(shù)學(xué)問題，即一個常微分方程組。牛頓運用的是尋求基本原理的方法，遠比開普勒的方法深刻。知其然，且知其所以然。y = - k x3機器學(xué)習的定位和定義 經(jīng)典定義：利用 經(jīng)驗 來改善計算機系統(tǒng)的 性能A computer program is said to l

3、earn from experience E with respect to some class of tasks T and performance measure P, it its performance at tasks in T as measured by P, improves with experience. T. Mitchell (CMU) 經(jīng)驗：在計算機系統(tǒng)中，即為數(shù)據(jù)（集） 主要目標：預(yù)測未知、理解系統(tǒng)機器學(xué)習是人工智能的一個重要分支，是實現(xiàn)智能化的關(guān)鍵通常解決一些人為設(shè)計和使用確定性程序很難解決的問題；提高對機器學(xué)習的認識，將提高我們自身對智能背后原理的理解。因此受

4、到極大關(guān)注。 4從機器學(xué)習角度看人工智能的發(fā)展歷史19561974198019931987AI誕生STAGE1：推理期Logic InferenceSTAGE2：知識期Knowledge EngineeringSTAGE3：學(xué)習期Machine Learning技術(shù)進步應(yīng)用突破第一次寒冬對AI發(fā)展喪失信心，研究經(jīng)費大大減少第二次寒冬缺少AI的實際應(yīng)用，研究經(jīng)費大大減少出現(xiàn)了第一個機器人和智能軟件專家系統(tǒng)的研發(fā)神經(jīng)網(wǎng)絡(luò)的突破大數(shù)據(jù)深度學(xué)習、強化學(xué)習1957年提出Perceptron1970年代初結(jié)構(gòu)化的學(xué)習系統(tǒng)基于邏輯的推理系統(tǒng)1986年BP算法多層神經(jīng)網(wǎng)絡(luò)1995年AdaBoost算法SVM算

5、法2006年深度神經(jīng)網(wǎng)絡(luò)（DNN）2013年DNN在圖像和聲音識別取得突破統(tǒng)計學(xué)習(傳統(tǒng)機器學(xué)習)1961年第一臺工業(yè)機器人Unimation，在通用電氣公司應(yīng)用1973年世界第一個人形機器人Wabot-1，誕生于早稻田大學(xué)1980年專家系統(tǒng)XCON，由CMU研發(fā)，并用于DEC公司1997年IBM的Deep Blue戰(zhàn)勝國際象棋大師加里卡斯帕羅夫2006 年智能可編程類人機器人NAO面世Apple：SiriGoogle：無人駕駛車，AlphaGoIBM：Waston大量日常的AI機器人出現(xiàn)5機器學(xué)習的應(yīng)用：幫助奧巴馬贏得競選2008年美國總統(tǒng)大選奧巴馬競選團隊的數(shù)據(jù)分析師構(gòu)建一個龐大的數(shù)據(jù)分析

6、系統(tǒng)，將民意調(diào)查員、籌款人、現(xiàn)場工作人員、消費者數(shù)據(jù)庫、社交媒體、移動通信用戶與搖擺州的民主黨選民檔案合并在一起，幫助奧巴馬籌集了10億美元的選舉資金構(gòu)建搖擺州的選民畫像，分析選民意圖，預(yù)測哪些類型的選民會被某種類型的政策因素所說服實時監(jiān)控選民的意向改變情況，調(diào)整選舉模擬模型對選舉電視廣告進行精確投放They are our nuclear codes !6機器學(xué)習的應(yīng)用：自動駕駛DARPA Grand challenge 2005: 搭建一個能在10個小時內(nèi)，自主航行并穿越175英里沙漠地區(qū)的機器人獲勝者：Stanford的“Stanley”賽車實際所用時間為6小時54分鐘。力壓卡內(nèi)基梅隆的

7、兩輛改裝悍馬形成目前無人駕駛行業(yè)完整產(chǎn)業(yè)鏈的“原點“。隨后自動駕駛算法、激光雷達、高精地圖、芯片提供解決方案的初創(chuàng)公司紛紛涌現(xiàn)。7機器學(xué)習的應(yīng)用：產(chǎn)品推薦NetflixPrize : 根據(jù)用戶的行為偏好，預(yù)測用戶對某部影片的評分數(shù)據(jù)集 : 480,189名不同的用戶對17,770部電影給出的100,480,507個打分結(jié)果（1-5分）獎金 : 基于Netflix的Cinematch系統(tǒng)，獲得10%的效果提升就能贏得1百萬美元8機器學(xué)習的應(yīng)用：信用分析和評估數(shù)據(jù)：抽取規(guī)則：9機器學(xué)習的應(yīng)用市場零售：市場購物籃分析、客戶關(guān)系管理金融領(lǐng)域：信用評級（評分）、欺詐檢測制造領(lǐng)域：問題優(yōu)化、智能診斷醫(yī)療領(lǐng)

8、域：疾病診斷、治療路徑選擇通訊領(lǐng)域：服務(wù)質(zhì)量的優(yōu)化、路由選擇生物信息領(lǐng)域：基因測序、對齊 10機器學(xué)習的主要任務(wù)11機器學(xué)習的主要任務(wù)監(jiān)督學(xué)習： 從有標記的訓(xùn)練數(shù)據(jù)中推斷預(yù)測函數(shù)。即，給定數(shù)據(jù)，預(yù)測標簽分類、回歸無監(jiān)督學(xué)習：從無標記的數(shù)據(jù)中推斷結(jié)論。即，給定數(shù)據(jù)，尋找隱藏結(jié)構(gòu)聚類、異常檢測增強學(xué)習：如何在給定環(huán)境中采取行動以便獲得回大化回報。即，給定條件，學(xué)習選擇一系列行動，最大化長期收益棋牌類游戲12機器學(xué)習的基本框架收集、預(yù)處理數(shù)據(jù)Collecting Data模型（Model）未知數(shù)據(jù)Unknown Data預(yù)測 (Prediction)學(xué)習Learning應(yīng)用Application數(shù)據(jù)

9、類型結(jié)構(gòu)化數(shù)據(jù)：通常以關(guān)系表表示和存儲非結(jié)構(gòu)化數(shù)據(jù)：圖像、聲音、視頻、文本 數(shù)據(jù)使用：訓(xùn)練集、驗證集、測試集模型的選擇模型的優(yōu)化（參數(shù)）模型的評估13機器學(xué)習中的若干概念數(shù)據(jù)集（Data Set）假設(shè)空間（Hypothetical Space）所有可能的能滿足樣本輸入和輸出的假設(shè)函數(shù)h(x)的集合學(xué)習的模型是從一個限定的假設(shè)空間里進行選取，而不是憑空選擇的歸納偏好（Inductive Bias） 根據(jù)訓(xùn)練數(shù)據(jù)，從假設(shè)空間中選出最佳的一個假設(shè)奧卡姆剃刀原理、沒有免費的午餐定理例：用三個特征描述西瓜（色澤、根蒂、聲響），基于這3個特征獲得10萬條記錄，其中一條取值：色澤=光亮、根蒂=堅硬、聲響=清

10、亮記錄到.csv文件或者數(shù)據(jù)庫中，可以得到一個二維數(shù)組，行數(shù)為10萬（記錄），列數(shù)為3（特征）例：假設(shè)以上三個西瓜特征，每個特征有三種可能取值，那么該假設(shè)空間的大小為4*4*4+1=65（其中，4=3+1，表示不考慮該特征的情形）14機器學(xué)習中的若干概念15機器學(xué)習中的若干概念泛化能力（Generalization Ability） 機器學(xué)習模型對未知數(shù)據(jù)的預(yù)測能力欠擬合：模型復(fù)雜度太低，使得模型能表達的泛化能力不夠，對測試樣本和訓(xùn)練樣本都沒有很好的預(yù)測性能過擬合：模型復(fù)雜度太高，使得模型對訓(xùn)練樣本有很好的預(yù)測性能，但是對測試樣本的預(yù)測性能很差誤差、偏差和方差誤差反映整個模型的準確度偏差反映模

11、型在樣本上的輸出和真實值的誤差方差反映模型每一次輸出結(jié)果與模型輸出期望之間的誤差新葉訓(xùn)練樣本新樣本過擬合模型分類結(jié)果：不是樹葉（誤以為樹葉必須有鋸齒）欠擬合模型分類結(jié)果：是樹葉（誤以為綠色的都是樹葉）16機器學(xué)習中的三大流派符號主義（Symbolists）認知即計算，通過對符號的演繹和逆演繹進行結(jié)果預(yù)測代表算法：逆演繹算法（Inverse deduction）代表應(yīng)用：知識圖譜聯(lián)結(jié)主義（Connectionist）對大腦進行仿真代表算法：反向傳播算法（Backpropagation）、深度學(xué)習（Deep learning）代表應(yīng)用：機器視覺、語音識別行為主義（Analogizer）新舊知識間的

12、相似性代表算法：核機器（Kernel machines）、近鄰算法（Nearest Neightor）代表應(yīng)用：Netflix推薦系統(tǒng)17AI技術(shù)Venn圖例：知識庫人工智能機器學(xué)習表示學(xué)習深度學(xué)習例：邏輯回歸例：淺層自動編碼器例：多層感知機18交流內(nèi)容Part1 機器學(xué)習的基本概念Part2 深度學(xué)習的概念、由來及歷史Part3 基本的深度學(xué)習模型及其應(yīng)用Part4 強化學(xué)習的概念及應(yīng)用Part5 深度學(xué)習的未來思考聯(lián)結(jié)主義（神經(jīng)網(wǎng)絡(luò)）的發(fā)展歷程20McCulloch-Pitts神經(jīng)元模型（M-P模型，1943）美國心理學(xué)家McCulloch和數(shù)學(xué)家Pitts，提出的模擬人類神經(jīng)元網(wǎng)絡(luò)進行信

13、息處理的數(shù)學(xué)模型神經(jīng)元的特點：多輸入單輸出；突觸(傳遞神經(jīng)沖動的地方)兼有興奮和抑制兩種性能；能時間加權(quán)和空間加權(quán)；可產(chǎn)生脈沖；脈沖進行傳遞；非線性簡單的線性加權(quán)的方式來模擬這個過程，其中I為輸入，W為權(quán)重，加權(quán)的和經(jīng)過一個閾值函數(shù)后作為輸出。沃倫麥卡洛克 (1898-1969)瓦爾特皮茨(1923-1969)21Hebb假設(shè)（1949）在1949年出版的行為的組織中，赫布提出了其神經(jīng)心理學(xué)理論Hebb假設(shè)：當細胞A的軸突到細胞B的距離近到足夠激勵它，且反復(fù)地或持續(xù)地刺激B，那么在這兩個細胞或一個細胞中將會發(fā)生某種增長過程或代謝反應(yīng)，增加A對細胞B的刺激效果唐納德赫布（1904-1985）22

14、Rosenblatt感知機（Perceptron）算法（1958）1958年，第一次將M-P模型用于對輸入的多維數(shù)據(jù)進行二分類，使用梯度下降法從訓(xùn)練樣本中自動學(xué)習更新權(quán)值1962年，該方法被證明最終收斂，理論與實踐效果引起第一次神經(jīng)網(wǎng)絡(luò)的浪潮Frank Rosenblatt(1928-1971)23XOR問題的質(zhì)疑（1969）1969年，美國數(shù)學(xué)家及人工智能先驅(qū)Minsky和Papert，在其著作中證明了感知器本質(zhì)上是一種線性模型無法解決最簡單的XOR（亦或）問題，“線性不可分的問題”宣判了感知器的死刑，神經(jīng)網(wǎng)絡(luò)的研究也陷入了10余年的停滯（進入第一個寒冬?。?4MLP和BP算法的提出（198

15、6-1989）1986年，Rumelhart，Hilton等人發(fā)明了適用于多層感知器（Multi-Layer Perceptron，MLP）和誤差反向傳播算法（Back Propagation，BP）算法，并采用Sigmoid函數(shù)進行非線性映射，有效解決了非線性分類和學(xué)習的問題1989年，Robert Hecht-Nielsen證明了MLP的萬能逼近定理，即對于任何閉區(qū)間內(nèi)的一個連續(xù)函數(shù)f，都可以用含有一個隱含層的BP網(wǎng)絡(luò)來逼近該定理的發(fā)現(xiàn)極大的鼓舞了神經(jīng)網(wǎng)絡(luò)的研究人員1989年，LeCun發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)-LeNet，并將其用于數(shù)字識別，且取得了較好的成績，不過當時并沒有引起足夠的注意Le

16、Net25MLP和BP算法的提出（1989-1997）在1989年以后由于沒有特別突出的方法被提出，且NN一直缺少相應(yīng)的嚴格的數(shù)學(xué)理論支持，神經(jīng)網(wǎng)絡(luò)熱潮退去第二次寒冬來自于1991年，BP算法被指出存在梯度消失問題，即在誤差梯度后向傳遞的過程中，后層梯度以乘性方式疊加到前層，由于Sigmoid函數(shù)的飽和特性，后層梯度本來就小，誤差梯度傳到前層時幾乎為0，因此無法對前層進行有效的學(xué)習，該發(fā)現(xiàn)對此時的NN發(fā)展雪上加霜1997年，LSTM模型被發(fā)明，盡管該模型在序列建模上的特性非常突出，但由于正處于NN的下坡期，也沒有引起足夠的重視LSTM26統(tǒng)計學(xué)習占領(lǐng)主流（1986-2006）1986年， ID

17、3，ID4，CART等改進的決策樹方法相繼出現(xiàn)，到目前仍然是非常常用的一種機器學(xué)習方法。該方法也是符號學(xué)習方法的代表1995年，SVM被統(tǒng)計學(xué)家V. Vapnik 和 C. Cortes發(fā)明了SVM提出。該方法的特點有兩個：由非常完美的數(shù)學(xué)理論推導(dǎo)而來（統(tǒng)計學(xué)與凸優(yōu)化等），符合人的直觀感受（最大間隔）。不過，最重要的還是該方法在線性分類的問題上取得了當時最好的成績1997年，AdaBoost被提出，該方法是PAC（Probably Approximately Correct）理論在機器學(xué)習實踐上的代表，也催生了集成方法這一類。該方法通過一系列的弱分類器集成，達到強分類器的效果。 2000年，K

18、ernelSVM被提出，核化的SVM通過一種巧妙的方式將原空間線性不可分的問題，通過Kernel映射成高維空間的線性可分問題，成功解決了非線性分類的問題，且分類效果非常好。至此也更加終結(jié)了NN時代。 2001年，隨機森林被提出，這是集成方法的另一代表，該方法的理論扎實，比AdaBoost更好的抑制過擬合問題，實際效果也非常不錯。 2001年，一種新的統(tǒng)一框架-圖模型被提出，該方法試圖統(tǒng)一機器學(xué)習混亂的方法，如樸素貝葉斯，SVM，隱馬爾可夫模型等，為各種學(xué)習方法提供一個統(tǒng)一的描述框架27統(tǒng)計學(xué)習 SVM（1995）V. Vapnik和C. Cortes兩人發(fā)明了SVM， 它是一種二類分類模型，其

19、基本模型定義為特征空間上的間隔最大的線性分類器，即支持向量機的學(xué)習策略便是間隔最大化，最終可轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解。 C. CortesV. Vapnik28統(tǒng)計學(xué)習 SVM優(yōu)點：SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射SVM 是一種有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習方法SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復(fù)雜性取決于支持向量的數(shù)目,而非樣本空間的維數(shù),避免“維數(shù)災(zāi)難”少數(shù)支持向量決策，簡單高效，魯棒性好29深度學(xué)習 Deep Neural Network（2006）G. Hinton等人提出了Deep Belief Network，它是一種生成模型，通過訓(xùn)練其神

20、經(jīng)元間的權(quán)重，使得整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)。使用非監(jiān)督貪婪逐層方法去預(yù)訓(xùn)練獲得權(quán)值不用靠經(jīng)驗提取數(shù)據(jù)特征，經(jīng)過底層網(wǎng)絡(luò)自動提煉G. Hinton30深度學(xué)習的提出：Why Deep ？從實際的需求來看，隨著數(shù)據(jù)采集和計算機能力的增加，積累了大量的數(shù)據(jù)，而且絕大部分是非結(jié)構(gòu)化（語義不清楚、稀疏）數(shù)據(jù)。先前的機器學(xué)習方法收效甚微31深度學(xué)習的提出：Why Deep ？瓶頸：特征工程（Feature Engineering），以視覺信息處理為例數(shù)據(jù)采集數(shù)據(jù)預(yù)處理特征提取特征選擇學(xué)習和推理具有不變性大小不變性尺度不變性旋轉(zhuǎn)不變性光照不變性 可區(qū)分性32深度學(xué)習的提出：Why Deep ？

21、從人類的腦結(jié)構(gòu)的角度來看，人類神經(jīng)系統(tǒng)就是一個深層次的結(jié)構(gòu)。人的大腦有100多億個神經(jīng)細胞，每天能記錄生活中大約8600萬條信息。據(jù)估計，人的一生能憑記憶儲存100萬億條信息，并且神經(jīng)元多種多樣，并呈現(xiàn)層次結(jié)構(gòu)從人類的大腦處理信息的方式來看，人類對視覺信息的處理是分層次的，不是一步到位的。人類傾向于將一個抽象層次的概念表示為較低層次的概念組合33Hubel-Wiesel ExperimentHubel, David H., and Torsten N. Wiesel. Receptive fields of single neurones in the cats striate cortex.

22、 The Journal of physiology 148, no. 3 (1959): 574-591.1981年諾貝爾生理學(xué)或醫(yī)學(xué)獎通過研究貓的視覺皮層感受野，提出的視覺神經(jīng)系統(tǒng)的層級結(jié)構(gòu)模型 ，亦稱Hubel-Wiesel結(jié)構(gòu)簡單細胞：方向選擇性細胞的神經(jīng)元細胞，當瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會活躍復(fù)雜細胞：組合“簡單細胞”層中相應(yīng)的子區(qū)域，使得整個感受野對局部變換具有一定的不變性神經(jīng)-中樞-大腦的工作過程，或許是一個不斷迭代、不斷抽象的過程，人類的邏輯思維，經(jīng)常使用高度抽象的概念。34進一步的實驗：稀疏編碼1996年， Cornell大學(xué)的

23、Bruno Olshausen和David Field在Nature雜志上發(fā)表了一篇重要論文指出，自然圖像經(jīng)過稀疏編碼后得到的基函數(shù)類似于V1區(qū)簡單細胞感受野的反應(yīng)特性從400張碎片中選擇盡量少的圖片拼接目標圖片，發(fā)現(xiàn)最終選擇的圖片，基本上是照片上不同物體的邊緣稀疏編碼模型提取的基函數(shù)首次成功地模擬了V1區(qū)簡單細胞感受野的三個響應(yīng)特性：空間域的局部性、時域和頻域的方向性和選擇性考慮到基函數(shù)的超完備性（基函數(shù)維數(shù)大于輸出神經(jīng)元的個數(shù)），Olshausen 和Field在1997年又提出了一種超完備基的稀疏編碼算法，利用基函數(shù)和系數(shù)的概率密度模型成功地建模了V1區(qū)簡單細胞感受野。35實驗證明：人腦

24、視覺機理人的視覺系統(tǒng)的信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類36深度學(xué)習的提出：Why Deep？從特征表示的角度來看，特征應(yīng)該是分層的一般而言，特征越多，給出信息就越多，識別準確性會得到提升；但特征多，計算復(fù)雜度增加，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在每個特征上就會稀疏。結(jié)論：不一定特征越多越好！需要有多少個特征，需要學(xué)習確定。37深度學(xué)習的提出：Why Deep？分層的結(jié)構(gòu)性特征表示38淺層學(xué)習的局限性分析傳統(tǒng)的MLP及BP算法雖被稱作多層感知機，但通常只含有一層隱層節(jié)點的淺層模

25、型SVM、Boosting、最大熵方法（如LR，Logistic Regression）：帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限39深度學(xué)習的概念提出2006年，加拿大多倫多大學(xué)教授、機器學(xué)習領(lǐng)域的泰斗Geoffrey Hinton在科學(xué)上發(fā)表論文提出深度學(xué)習主要觀點：多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習能力，學(xué)習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-trainin

26、g）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習實現(xiàn)的40深度學(xué)習的概念深度學(xué)習：一種基于MLP模型，無監(jiān)督的、多層次的結(jié)構(gòu)特征表示學(xué)習方法多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習能力，學(xué)習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習實現(xiàn)的Deep learning allows computational models that are composed of multiple processing layers to learn representat

27、ions of data with multiple levels of abstraction. - Yann LeCun, Yoshua Bengio & Geoffrey Hinton41深度學(xué)習概念的分析通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標簽數(shù)據(jù)），來學(xué)習更有用的特征，從而最終提升分類或預(yù)測的準確性。 “深度模型”是手段，“特征學(xué)習”是目的與淺層學(xué)習區(qū)別強調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層或者更多（甚至100層以上）的隱層節(jié)點明確突出了特征學(xué)習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利

28、用大數(shù)據(jù)來學(xué)習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息好處：可通過學(xué)習一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示42深度學(xué)習 vs. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò) 傳統(tǒng)神經(jīng)網(wǎng)絡(luò) ： 深度學(xué)習：43深度學(xué)習 vs. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相同點：二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logistic 回歸模型不同點：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個網(wǎng)絡(luò)。隨機設(shè)定初值，計算當前網(wǎng)絡(luò)的輸出，然后根據(jù)當前輸出和樣本真實標簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習：

29、采用逐層訓(xùn)練機制。采用該機制的原因在于如果采用BP機制，對于一個deep network（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradient diffusion（梯度擴散）。44深度學(xué)習訓(xùn)練過程 經(jīng)典深度學(xué)習訓(xùn)練現(xiàn)代深度學(xué)習訓(xùn)練45經(jīng)典深度學(xué)習訓(xùn)練(逐層訓(xùn)練方式)第一步：采用自下而上的無監(jiān)督學(xué)習1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。 這個過程可以看作是一個feature learning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。46經(jīng)典深度學(xué)習訓(xùn)練wake-sleep算法:1）wake階段： 認知過程，通過下層的輸入特

30、征（Input）和向上的認知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當前的生成（Decoder）權(quán)重產(chǎn)生一個重建信息（Reconstruction），計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實一樣”2）sleep階段： 生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認知（Encoder）權(quán)重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認知（Encoder）權(quán)重。也就是“如果夢

31、中的景象不是我腦中的相應(yīng)概念，改變我的認知權(quán)重使得這種景象在我看來就是這個概念”47經(jīng)典深度學(xué)習訓(xùn)練EncoderDecoderInput ImageClass labelFeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:48經(jīng)典深度學(xué)習訓(xùn)練第二步：自頂向下的監(jiān)督學(xué)習 這一步是在第一步學(xué)習獲得各層參數(shù)進的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標簽數(shù)據(jù)的監(jiān)督學(xué)習，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。 深度學(xué)習的第一步實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機初始化，深度學(xué)習模型是通

32、過無監(jiān)督學(xué)習輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。49自2012年開始，深度學(xué)習進入爆發(fā)期現(xiàn)代深度學(xué)習訓(xùn)練標志：AlexNet由2012年ImageNet競賽冠軍獲得者Hinton和他的學(xué)生Alex Krizhevsky設(shè)計的。也是在那年之后，更多的更深的神經(jīng)網(wǎng)絡(luò)被提出，比如優(yōu)秀的VGG net, GoogLeNet它的出現(xiàn)開啟了深度學(xué)習的研究的浪潮很多新的理念被提出：比如用GPU訓(xùn)練深度模型，數(shù)據(jù)增強操作等等50現(xiàn)代深度學(xué)習訓(xùn)練1. 激活函數(shù)由Sigmoid 換成 ReLU2. 好的權(quán)重初始化方式.(Xavier/He init)3. Batch Norm

33、alization 4. 更先進的優(yōu)化算法，Adam，AdaGrad, SGD + Momentum5. 正則化項：Dropout 等等6. 數(shù)據(jù)增強和數(shù)據(jù)預(yù)處理操作目前的深度學(xué)習模型不再需要逐層訓(xùn)練方式，可以直接端到端的訓(xùn)練，具體有如下的訓(xùn)練技巧：51現(xiàn)代深度學(xué)習訓(xùn)練實現(xiàn)方法硬件CPU, GPU, TPU, 軟件PyTorch(動態(tài)計算圖), TensorFlow(靜態(tài)計算圖), .52現(xiàn)代深度學(xué)習訓(xùn)練(硬件)CPU:Central Processing UnitGPU:Graphics Processing Unit（Speed up parallel operation）53現(xiàn)代深度學(xué)習

34、訓(xùn)練(軟件)現(xiàn)代深度學(xué)習訓(xùn)練一般都需要用到深度學(xué)習框架：1. 這里框架是指的就是軟件庫（API），其中里面實現(xiàn)了一些常用的張量（Tensor）的操作以及實現(xiàn)的一些基本網(wǎng)絡(luò)層的操作，比如卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)2. 作一個簡單的比喻，一套深度學(xué)習框架就是這個品牌的一套積木，各個組件就是某個模型或算法的一部分，你可以自己設(shè)計如何使用積木去堆砌符合你數(shù)據(jù)集的積木比較著名的框架有：TensorFlow（Google維護），PyTorch（Facebook維護）54框架的重要意義對于科研，我們可以快速地實現(xiàn)自己的想法做實驗，不必重復(fù)造輪子，進而加速各個領(lǐng)域的進展 對于應(yīng)用，我們可以用框架訓(xùn)練出適合當前

35、任務(wù)的模型，并把它部署到產(chǎn)品當中 框架有效地利用GPU，以及相關(guān)加速庫，加速模型的訓(xùn)練過程55交流內(nèi)容Part1 機器學(xué)習的基本概念Part2 深度學(xué)習的概念、由來及歷史Part3 基本的深度學(xué)習模型及其應(yīng)用Part4 強化學(xué)習的概念及應(yīng)用深度學(xué)習的變革圖像分類：ImageNet，1000個類別2012年AlexNet在ImageNet大賽上一舉奪魁，大大提高了圖像分類精度，開啟了深度學(xué)習的時代。57深度學(xué)習的變革目標檢測：Pascal VOC2007，20個類別RCNN（Regions with CNN features）是將CNN方法應(yīng)用到目標檢測問題上的一個里程碑，大量基于深度學(xué)習的目標

36、檢測算法相繼被提出。58深度學(xué)習的變革文本翻譯59深度學(xué)習的變革語音識別：10多年沒有進展，深度學(xué)習應(yīng)用后大幅度提升了語音識別效果60卷積神經(jīng)網(wǎng)絡(luò)LeNet-5是Yann LeCun在1998年設(shè)計的用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò)，當年美國大多數(shù)銀行就是用它來識別支票上面的手寫數(shù)字，是早期卷積神經(jīng)網(wǎng)絡(luò)中最有代表性的實驗系統(tǒng)之一61卷積神經(jīng)網(wǎng)絡(luò)字符識別圖像檢索圖像分類人體關(guān)鍵點62卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的主要組成：卷積層、池化層、全連接層、激活函數(shù)63卷積神經(jīng)網(wǎng)絡(luò)卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心組成卷積層示意圖卷積層可視化64卷積神經(jīng)網(wǎng)絡(luò)池化層通常緊接著在卷積層之后使用，簡化從卷積層輸出的信息2x2

37、平均池化2x2最大池化65卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)是用來加入非線性因素的，因為線性模型的表達力不夠66卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展AlexNet（2012）VGGNet（2013）GoogLeNet（2014）ResNet（2015）DenseNet（2016）67AlexNet成功使用 ReLU 作為 CNN 的激活函數(shù) ；訓(xùn)練時使用Dropout隨機忽略一部分神經(jīng)元，以避免模型過擬合 ；在CNN中使用重疊的最大池化 ；提出了LRN層 ，增強了模型的泛化能力68VGGNetVGGNet 探索了卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的關(guān)系，通過反復(fù)堆疊 3*3 的小型卷積核和 2*2 的最大池化層，VGGNet 成

38、功地構(gòu)筑了 19 層深的卷積神經(jīng)網(wǎng)絡(luò)。 69GoogLeNetGoogLeNet提出了一種新的網(wǎng)絡(luò)模塊(inception module)，如圖所示，它既能保持網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能利用密集矩陣的高計算性能。Inception 的主要思想是用稠密的模板覆蓋卷積神經(jīng)網(wǎng)絡(luò)中最優(yōu)的局部稀疏結(jié)構(gòu)，使之能夠近似地表示原來的局部稀疏結(jié)構(gòu)。 70ResNetResNet(Residual Neural Network)由微軟研究院的 Kaiming He 等 4 名華人提出，通過使用 Residual Unit 成功訓(xùn)練 152 層深的神經(jīng)網(wǎng)絡(luò) ，解決了深層網(wǎng)絡(luò)信息傳遞丟失的問題，效果非常突出。71Dens

39、eNetDenseNet使得網(wǎng)絡(luò)更窄，參數(shù)更少，很大一部分原因得益于下圖這種 dense block 的設(shè)計 ，既充分利用了feature，加強了feature的傳遞，避免了feature在網(wǎng)絡(luò)的不同層冗余出現(xiàn)，又進一步減輕了梯度消失問題。72循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)一次處理一個輸入序列元素，同時維護網(wǎng)絡(luò)中隱式單元中包含的過去時刻序列元素的歷史信息的“狀態(tài)向量”，可以對序列信息建模，更加強大，也更加符合人類大腦皮層對信息的處理方式。73循環(huán)神經(jīng)網(wǎng)絡(luò) 圖像描述：輸入圖像，輸出文字序列74循環(huán)神經(jīng)網(wǎng)絡(luò)情感分類：輸入文字序列，輸出情感類別75循環(huán)神經(jīng)網(wǎng)絡(luò)機器翻譯：輸入文字序列，輸出文字序列76循環(huán)神

40、經(jīng)網(wǎng)絡(luò)視頻幀分類：輸入圖片序列，輸出類別序列77循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM：Long Short Term Memory（長短期記憶網(wǎng)絡(luò)），由Hochreiter和Schmidhuber15于1997年首次提出，引入“門”的概念， 包括輸入門、輸出門、遺忘門解決了 RNN 的梯度消失問題，有能力學(xué)習長時間的依賴關(guān)系 78循環(huán)神經(jīng)網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)LSTM79自編碼器Auto-Encoder（AE）自編碼器，80年代晚期出現(xiàn) 主要用于降維，后用于主成分分析80PCA（主成分分析）Principal Component Analysis 一種能夠極大提升無監(jiān)督特征學(xué)習速度的數(shù)據(jù)降維算法主要思想是通過線性

41、變換將n維特征映射到k維（kn）全新的正交特征上81自編碼器輸入層輸出層隱藏層盡可能接近最小化隱藏層的輸出即為編碼結(jié)果編碼解碼82自編碼器輸入層輸出層隱藏層隱藏層的輸出即為編碼結(jié)果編碼解碼稀疏自編碼器稀疏限制83自編碼器降噪自編碼器編碼解碼添加噪聲盡可能接近Vincent, Pascal, et al. Extracting and composing robust features with denoising autoencoders.ICML, 2008.84自編碼器 文本檢索word string:“This is an apple”this isaanapplepen110110Ba

42、g-of-word Semantics are not considered.Vector Space Modeldocumentquery85自編碼器 文本檢索Bag-of-word(document or query)queryLSA: project documents to 2 latent topics20005002501252意思相近的文本應(yīng)該有相似的編碼.86自編碼器 圖像檢索32x328192409620481024512256編碼87自編碼器 圖像檢索88交流內(nèi)容Part1 機器學(xué)習的基本概念Part2 深度學(xué)習的概念、由來及歷史Part3 基本的深度學(xué)習模型及其應(yīng)用Part4 強化學(xué)習的概念及應(yīng)用強化學(xué)習（Reinforcement Learning）馬爾科夫