人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)課件

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第七講 深度學(xué)習(xí)主講人：方濤第七講深度學(xué)習(xí)主講內(nèi)容7.1 研究背景7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.3 幾種典型的深度學(xué)習(xí)模型7.4 開源深度學(xué)習(xí)框架7.5 深度學(xué)習(xí)的未來7.1 研究背景約翰麥卡錫（1927-2011）LISP之父不走尋常路的常識邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向，開啟了AI的發(fā)展2016年-人工智能（AI）奠基60周年21世紀(jì)初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長足的進步?jīng)]有大數(shù)據(jù)，沒有“大計算”，就沒有人工智能的今天！Marvin Minsky人工智能之父和框架理論的創(chuàng)立者1927-2016MIT AI Lab

2、創(chuàng)始人之一1970年獲得圖靈獎美國工程院和美國科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當(dāng)之無愧的人工智能之父。（李德毅院士）明斯基在1950年進入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識到，我們兩人都對人工智能很感興趣。事實上，當(dāng)時明斯基已經(jīng)對如何實現(xiàn)人工智能頗有想法了，這一點在之后他設(shè)計和建造的世界上第一個神經(jīng)網(wǎng)絡(luò)模擬器Snare上得到了證實。 （ John McCarthy 人工智能先驅(qū)，LISP語言之父，圖靈獎獲得者）1969：Perceptron（感知器）-神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）7.1 研究背

3、景2016年,阿爾法狗（AlphaGo）4 :1大勝圍棋9 段李世石高手， AI重大歷史時刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（Policy Network）” 通過13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇（Move Picker），如何下棋子“價值網(wǎng)絡(luò)（Value Network）” 給定棋子位置，預(yù)測每一個棋手贏棋的可能，就是計算局面7.1 研究背景主要設(shè)計者-位于倫敦Google旗下DeepMind公司大衛(wèi)席爾瓦 （David Silver）-劍橋大學(xué)計算機科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士黃士杰（Aja Huang），臺灣交通大學(xué)計算機科學(xué)學(xué)士，臺灣師范

4、大學(xué)計算機科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士后Andrew Ng斯坦福大學(xué)教授2012年6月,紐約時報披露了Google Brain項目大規(guī)模計算機系統(tǒng)方面的世界頂尖專家JeffDean用16000個CPU Core的并行計算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，Deep Neural Networks）的機器學(xué)習(xí)模型（內(nèi)部共有10億個節(jié)點)在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功7.1 研究背景2012年11月，微軟公開演示全自動同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢7.1 研究背景機器學(xué)習(xí)解

5、決目標(biāo)識別與分類問題的思路三個主要組成部分中間的特征提取部分將很大程度上決定最終的效果，如何提取特征？“巧婦難為無米之炊”7.1 研究背景SIFTHOGDoG+Gabor7.1 研究背景Sift被認(rèn)為是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作，對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，還SIFT具有很強的可區(qū)分性特征抽取非常費力，需要領(lǐng)域知識啟發(fā)式提取最大的問題？-人工設(shè)計BOW7.1 研究背景待檢測圖像行人模型圖像金字塔適應(yīng)目標(biāo)尺度變化局部濾波器變形動態(tài)規(guī)劃求解可變形部件模型行人檢測關(guān)鍵在于抽象和迭代，從原始信號開始進行低級抽象，逐漸向高級抽象迭代從低層到高層的特征表示越

6、來越抽象，生物視覺特征分層抽象的過程，就是一個計算機建模過程7.1 研究背景人腦視覺系統(tǒng)如何提取特征？7.1 研究背景7.1 研究背景從層次增加看深度學(xué)習(xí)發(fā)展簡史2020年又是冰河期？7.1 研究背景淺層機器學(xué)習(xí)模型(第二次浪潮)-1-2層隱層的BP網(wǎng)絡(luò)（20世紀(jì)80年代末期）-SVM 、Boosting 等，模型的結(jié)構(gòu)可視為帶一層隱層節(jié)點或沒有隱層節(jié)點（20世紀(jì)90年代）Neural Network問題-比較容易過擬合，參數(shù)比較難tune，而且需要不少技巧-訓(xùn)練速度比較慢，-有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限-梯度越來越稀疏：從輸出層越往輸入層，誤差校正信號越來越小-收斂到局部

7、極小值近20多年，主要SVM和boosting算法7.1 研究背景深度機器學(xué)習(xí)模型(第三次浪潮)Geoffrey Hinton（加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗）及其學(xué)生2006年在科學(xué)雜志發(fā)表”Deep Learning”文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。 -多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力-通過無監(jiān)督學(xué)習(xí)的“逐層初始化”（layer-wise pre-training）來有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度-深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。-強調(diào)了模型結(jié)構(gòu)的深

8、度，通常有5層、6層，甚至10多層的隱層節(jié)點-深度學(xué)習(xí)就是特征學(xué)習(xí)，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易“深度學(xué)習(xí)”通過多層次抽象來實現(xiàn)特征的表達(dá)7.1 研究背景Deep Learning以多層次神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)發(fā)展起來的一種新的機器學(xué)習(xí)方法，被認(rèn)為是AI的新的前沿Theoretical:“well-known depth-breadth tradeoff in circuitsdesign Hastad 1987. This suggests manyfunctions can be much more efficientlyrepresen

9、ted with deeper architectures” Bengio& LeCun 2007Biological:Visual cortex is hierarchical (Hubel and Wiesel).7.1 研究背景7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.1 BP網(wǎng)絡(luò)僅適合淺層網(wǎng)絡(luò)梯度下降算法梯度逐層反向計算，直到梯度接近零為止7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2 深度學(xué)習(xí)的基本思想 加拿大多倫多大學(xué)的Geoffery Hinton教授2006年首次提出了“深度信念網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，為大幅度減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時間，采用兩個技術(shù)“預(yù)訓(xùn)練”（pre-trai

10、ning）：無監(jiān)督學(xué)習(xí)參數(shù)初始值 逐層貪婪訓(xùn)練，就是先訓(xùn)練網(wǎng)絡(luò)第1個隱含層，再訓(xùn)練第2個，最后 將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為整個網(wǎng)絡(luò)參數(shù)的初值（預(yù)訓(xùn)練，找到神經(jīng)網(wǎng) 絡(luò)中一個接近最優(yōu)解的權(quán)值）“微調(diào)”(fine-tuning)：監(jiān)督學(xué)習(xí) 進一步優(yōu)化訓(xùn)練整個網(wǎng)絡(luò)，對神經(jīng)網(wǎng)絡(luò)參數(shù)（權(quán)值）改變很小7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2 深度學(xué)習(xí)的基本思想層數(shù)保持不變，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量增加，從而帶來了更好的表示（represention）能力增加更多層次，更深入的特征表示，以及更強的函數(shù)模擬能力隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對于前一層次的抽象表示更深入。即每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示第1隱

11、含層學(xué)習(xí)到的特征 -“邊緣”第2隱含層學(xué)習(xí)到的特征 -由“邊緣”組成的“形狀”第3隱含層學(xué)習(xí)到的特征 -由“形狀”組成的“圖案”。最后隱含層學(xué)習(xí)到的特征-由“圖案”組成的“目標(biāo)”神經(jīng)網(wǎng)絡(luò)本質(zhì)-模擬特征與目標(biāo)之間函數(shù)映射關(guān)系。層數(shù)多，參數(shù)多，模擬映射函數(shù)更復(fù)雜、更多容量7.2.3深度學(xué)習(xí)流行的激勵函數(shù)7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)傳統(tǒng)激勵函數(shù)- Sigmoid系非線性的Sigmoid函數(shù)對中央?yún)^(qū)域的信號增益較大，對兩側(cè)區(qū)域的信號增益小，特征空間映射效果好從神經(jīng)科學(xué)看，中央?yún)^(qū)域類似神經(jīng)元興奮態(tài)，兩側(cè)區(qū)域類似神經(jīng)元抑制態(tài)問題：（1）sigmoid函數(shù)在實際梯度下降中，容易飽和和終止梯度傳遞（2）同時近

12、乎有一半的神經(jīng)元被激活7.2 從BP網(wǎng)絡(luò)看深度學(xué)習(xí)類似生物神經(jīng)元激勵函數(shù)與Sigmoid系的不同：（1）單側(cè)抑制（紅框里前端全沒激活） （2）相對寬闊的興奮邊界（3）稀疏激活性神經(jīng)科學(xué)家Dayan、Abott 2001年模擬腦神經(jīng)元接受信號更精確的激勵模型Softplus(x)=log(1+ex)具有（1）與（2）特性 ReLU（修正線性單元：Rectified Linear Unit)：f(x)=max(0,x)具有三個特性可極大提升隨機梯度下降的收斂速度梯度計算非常簡單應(yīng)用很多神經(jīng)元的生物特性具有生物特性的激勵函數(shù)假定神經(jīng)網(wǎng)絡(luò)的輸出O等于輸入I，即輸入I經(jīng)過這個系統(tǒng)變化之后沒有任何的信息損

13、失，保持了不變，這意味著輸入I經(jīng)過每一層都沒有任何的信息損失,訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)（連接權(quán)） 每層的輸出就是輸入的另外一種表示-特征system輸出O輸入Ii=o7.3.1自動編碼器(AutoEncoder)7.3 幾種典型的深度學(xué)習(xí)模型7.4 幾種典型的深度學(xué)習(xí)模型有標(biāo)簽數(shù)據(jù)的特征學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征標(biāo)簽/無標(biāo)簽編碼無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征增加分類器7.3 幾種典型的深度學(xué)習(xí)模型稀疏自動編碼器7.3 幾種典型的深度學(xué)習(xí)模型7.4 幾種典型的深度學(xué)習(xí)模型自動編碼器(AutoEncoder)7.3.2深度信任網(wǎng)絡(luò)DBN受限可視層各節(jié)點間無連接隱含層各節(jié)點間無連

14、接可視層作為向量輸入隱含層作為特征檢測器可為二值節(jié)點（可取0或1）或?qū)崝?shù)節(jié)點（01）可視層、隱含層的節(jié)點數(shù)量不定7.3 幾種典型的深度學(xué)習(xí)模型Restricted Boltzman Machine (RBM)RBM的能量對特定的(v, h)，其能量函數(shù)定義為對每種可能的p(v, h)分布滿足 Boltzmann 分布 7.3 幾種典型的深度學(xué)習(xí)模型RBM的狀態(tài)更新/重采樣給定可視層每個節(jié)點v，隱含層的每個節(jié)點hj依下式確定的概率取1（條件獨立）同樣，給定隱含層每個節(jié)點h，可依下式確定的概率獲得可視層各結(jié)點的的無偏估計樣本（條件獨立）7.3 幾種典型的深度學(xué)習(xí)模型7.3 幾種典型的深度學(xué)習(xí)模型將

15、多個RBM層疊在一起前一層RBM的隱含層作為后一層RBM可視層的輸入深度信任網(wǎng)絡(luò)DBN的構(gòu)成概率生成模型多個受限玻爾茲曼機RBM層組成7.3 幾種典型的深度學(xué)習(xí)模型深度信任網(wǎng)絡(luò)DBN的訓(xùn)練對比散度CD算法Contrastive Divergence (Hinton, 2002) 預(yù)訓(xùn)練獲得生成模型的連接權(quán)（訓(xùn)練RBM-可視層節(jié)點和隱節(jié)點間的權(quán)值 ）利用Gibbs Sampling已知v重采樣h已知h重采樣v定義上述操作為一輪，可多輪依據(jù)下式修正連接權(quán)wijDBN每層RBM內(nèi)-隱含層對可見層進行特征提取層與層之間每層對前一層提取出的特征進行再提取第3層第2層第1層7.4 幾種典型的深度學(xué)習(xí)模型Y

16、ann LeCunIn 1995, Yann LeCun and Yoshua Bengio introduced the concept of convolutional neural networks.Yoshua Bengio7.3.3深度卷積網(wǎng)絡(luò)7.3 幾種典型的深度學(xué)習(xí)模型在貝爾實驗室的研究-提高手寫識別濾波池化7.3 幾種典型的深度學(xué)習(xí)模型輸入圖像通過多個可訓(xùn)練的濾波器組進行非線性卷積，卷積后在每一層產(chǎn)生特征映射圖，再特征映射圖中每組池化（亞采樣），最終得到輸出值7.3 幾種典型的深度學(xué)習(xí)模型層間局部連接稀疏連接方式深度卷積網(wǎng)絡(luò)-多層感知器(MLP)的變種卷積神經(jīng)網(wǎng)絡(luò)中，層間的神經(jīng)

17、元不是全連接，利用層間局部空間相關(guān)性，通過局部連接方式，上層的神經(jīng)元只與和它相近的下層神經(jīng)元相連，以大大降低神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模7.3 幾種典型的深度學(xué)習(xí)模型每個卷積濾波器共享相同的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每個卷積濾波器重復(fù)作用于整個感受野中，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成輸入圖像的特征圖，提取出圖像的局部特征神經(jīng)元共享權(quán)值-一個特征映射面上的神經(jīng)元共享權(quán)值，大大降低學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)數(shù)量特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)共享權(quán)值7.3 幾種典型的深度學(xué)習(xí)模型最大池化采樣非線性降采樣方法最大池采樣方法對卷積特征進行降維，具有平移不變性Softmax回歸有監(jiān)督

18、學(xué)習(xí)算法，解決多分類問題訓(xùn)練樣本集由m個帶標(biāo)簽樣本構(gòu)成：最小化代價函數(shù)7.3 幾種典型的深度學(xué)習(xí)模型深度卷積網(wǎng)絡(luò)訓(xùn)練與BP網(wǎng)絡(luò)的向前傳播和反向調(diào)整權(quán)矩陣類似的 一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池化采樣層是實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心 卷積神經(jīng)網(wǎng)絡(luò)的低隱含層是由卷積層和最大池化采樣層交替組成，高層是全連接層對應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器7.3 幾種典型的深度學(xué)習(xí)模型7.4 開源深度學(xué)習(xí)框架Caffe源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C+開發(fā)，Caffe也是Google今年早些

19、時候發(fā)布的DeepDream項目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)。 Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和Keras。7.4 開源深度學(xué)習(xí)框架TorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學(xué)習(xí)模塊和擴展。Torch另外一個特殊之處是采用了不怎么流行的編程語言Lua（該語言曾被用來開發(fā)視頻游戲）。 Brainstorm來自瑞士人工智能實驗室IDSIA的一個非常發(fā)展前景很不錯的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級深度神經(jīng)網(wǎng)絡(luò)所

20、謂的公路網(wǎng)絡(luò)Highway Networks。7.4 開源深度學(xué)習(xí)框架DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開源庫，是”for Java”的深度學(xué)習(xí)框架，可與Hadoop 和 Spark集成，即插即用，方便開發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識別；語音搜索；語音轉(zhuǎn)文字（Speech to text）;垃圾信息過濾（異常偵測）；電商欺詐偵測。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用。 Marvin是普林斯頓大學(xué)視覺工作組新推出的C+框架。該團隊還提供了一個文件用于將Caffe模型轉(zhuǎn)化成語M

21、arvin兼容的模式。 。7.4 開源深度學(xué)習(xí)框架ConvNetJS斯坦福大學(xué)博士生Andrej Karpathy開發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)。 。20世紀(jì)90年代人類腦計劃（Human Brain Project, HBP) 繼人類基因計劃后，又一國際性科研大計劃2013年1月歐盟啟動“人類大腦計劃”(Human Brain Project) 巨型計算機模擬整個人類大腦（ 10億歐元）2013年4月美國“大腦活動圖譜計劃”(Brain Activity Map Project，或稱Brain Initiative) 研究大腦活動中的所有神經(jīng)元，探索神經(jīng)元

22、、神經(jīng)回路與大腦功能間的關(guān)系（ 38億美元 ）2014年科技部腦科學(xué)信息化重大專項“類人腦工程”2014年諾貝爾獎生理學(xué)醫(yī)學(xué)獎 大腦的定位系統(tǒng)-“位置細(xì)胞”與“網(wǎng)格細(xì)胞”發(fā)現(xiàn)7.5 深度學(xué)習(xí)的未來隨著神經(jīng)網(wǎng)絡(luò)研究的不斷變遷，其連接及其計算與生物神經(jīng)元的連接模型其實漸行漸遠(yuǎn)？！開啟計算機“高智商”新時代IBM成功構(gòu)建模擬人腦功能的認(rèn)知計算機芯片（2011-8-18） 通過模擬大腦結(jié)構(gòu)，首次成功構(gòu)建出兩個具有感知認(rèn)知能力的硅芯片原型，可以像大腦一樣具有學(xué)習(xí)和處理信息的能力。 兩個計算機芯片結(jié)合了神經(jīng)元的計算能力、突觸（或神經(jīng)節(jié)）的記憶能力和軸突的通信能力開發(fā)新一代計算機模仿大腦構(gòu)建智能計算機的曲折挑戰(zhàn) 以馮諾依曼架構(gòu)為基礎(chǔ)，內(nèi)存和處理器分開，以總線作為數(shù)據(jù)通道。利用軟件實現(xiàn)人工智能一個更大的局限，就是受限于計算機的結(jié)構(gòu)，被計算機科學(xué)家稱為“馮諾依曼瓶頸”。類腦芯片-目前最接近復(fù)雜的認(rèn)知計算機 新的計算機芯片的核心是其構(gòu)造與大腦類似，有“神經(jīng)元”，有“突觸”，還有“軸突”。“神經(jīng)元”是計算機的數(shù)字信息處理器；“突觸”是學(xué)習(xí)和記憶的基礎(chǔ)；“軸突”則是數(shù)據(jù)通道 新芯片采用45納米工藝，晶體管構(gòu)造，設(shè)計模仿大腦神經(jīng)元和突觸組織。兩個芯片均有256個數(shù)