人工神經(jīng)網(wǎng)絡深度學習

人工神經(jīng)網(wǎng)絡深度學習第一頁，共五十一頁，編輯于2023年，星期五第七講深度學習主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡看深度學習§7.3

幾種典型的深度學習模型§7.4開源深度學習框架§7.5深度學習的未來第二頁，共五十一頁，編輯于2023年，星期五§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識邏輯學家1956年，約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向，開啟了AI的發(fā)展2016年人工智能（AI）奠基60周年21世紀初，“深度學習”的出現(xiàn)，AI研究獲得了長足的進步?jīng)]有大數(shù)據(jù)，沒有“大計算”，就沒有人工智能的今天！第三頁，共五十一頁，編輯于2023年，星期五MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎美國工程院和美國科學院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權威，是當之無愧的人工智能之父。（李德毅院士）明斯基在1950年進入普林斯頓大學攻讀數(shù)學系的博士研究生學位，比我晚一年。我們很快意識到，我們兩人都對人工智能很感興趣。事實上，當時明斯基已經(jīng)對如何實現(xiàn)人工智能頗有想法了，這一點在之后他設計和建造的世界上第一個神經(jīng)網(wǎng)絡模擬器Snare上得到了證實。

（JohnMcCarthy人工智能先驅(qū)，LISP語言之父，圖靈獎獲得者）1969：Perceptron（感知器）神經(jīng)網(wǎng)絡的局限性（深度學習的前身）§7.1研究背景第四頁，共五十一頁，編輯于2023年，星期五2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時刻“監(jiān)督學習的策略網(wǎng)絡（PolicyNetwork）”

通過13層全連接網(wǎng)絡，反復訓練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預測落子選擇（MovePicker），如何下棋子“價值網(wǎng)絡（ValueNetwork）”給定棋子位置，預測每一個棋手贏棋的可能，就是計算局面§7.1研究背景主要設計者位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）劍橋大學計算機科學學士，碩士，加拿大阿爾伯塔大學計算機科學博士黃士杰（AjaHuang），臺灣交通大學計算機科學學士，臺灣師范大學計算機科學碩士和博士，加拿大阿爾伯塔大學計算機科學博士后第五頁，共五十一頁，編輯于2023年，星期五§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學教授專注于神經(jīng)網(wǎng)絡幾十年，1985年，提出Boltzmann機1986年，提出受限Boltzmann機、BP算法2006年，提出神經(jīng)網(wǎng)絡進行降維開啟了深度學習時代，并在隨后的ImageNet圖片識別的比賽，取得了非常有說服力的結果（74%->85%），震撼了學術界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536第六頁，共五十一頁，編輯于2023年，星期五AndrewNg斯坦福大學教授2012年6月,《紐約時報》披露了GoogleBrain項目大規(guī)模計算機系統(tǒng)方面的世界頂尖專家JeffDean用16000個CPUCore的并行計算平臺訓練一種稱為“深度神經(jīng)網(wǎng)絡”（DNN，DeepNeuralNetworks）的機器學習模型（內(nèi)部共有10億個節(jié)點)在語音識別和圖像識別等領域獲得了巨大的成功§7.1研究背景第七頁，共五十一頁，編輯于2023年，星期五2012年11月，微軟公開演示全自動同聲傳譯系統(tǒng)深度學習,講演者用英文演講，后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢§7.1研究背景第八頁，共五十一頁，編輯于2023年，星期五2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學習研究所”（IDL，InstitueofDeepLearning§7.1研究背景第九頁，共五十一頁，編輯于2023年，星期五機器學習解決目標識別與分類問題的思路三個主要組成部分中間的特征提取部分將很大程度上決定最終的效果，如何提取特征？“巧婦難為無米之炊”§7.1研究背景第十頁，共五十一頁，編輯于2023年，星期五SIFTHOGDoG+Gabor§7.1研究背景Sift被認為是局部圖像特征描述子研究領域一項里程碑式的工作，對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，還SIFT具有很強的可區(qū)分性特征抽取非常費力，需要領域知識啟發(fā)式提取最大的問題？--人工設計BOW……第十一頁，共五十一頁，編輯于2023年，星期五§7.1研究背景待檢測圖像行人模型圖像金字塔適應目標尺度變化局部濾波器變形動態(tài)規(guī)劃求解可變形部件模型行人檢測第十二頁，共五十一頁，編輯于2023年，星期五

1981年的諾貝爾醫(yī)學獎，頒發(fā)給了DavidHubel和TorstenWiesel(JohnHopkinsUniversity)，以及RogerSperry。前兩位的主要貢獻，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”：可視皮層是分級的：這個發(fā)現(xiàn)激發(fā)了人們對于神經(jīng)系統(tǒng)的進一步思考→神經(jīng)-中樞-大腦的工作過程，”或許”是一個不斷迭代、不斷抽象的過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？第十三頁，共五十一頁，編輯于2023年，星期五關鍵在于抽象和迭代，從原始信號開始進行低級抽象，逐漸向高級抽象迭代從低層到高層的特征表示越來越抽象，生物視覺特征分層抽象的過程，就是一個計算機建模過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？第十四頁，共五十一頁，編輯于2023年，星期五§7.1研究背景第十五頁，共五十一頁，編輯于2023年，星期五§7.1研究背景HMAXNeocognitronVisNet第十六頁，共五十一頁，編輯于2023年，星期五§7.1研究背景從層次增加看深度學習發(fā)展簡史2020年又是冰河期？第十七頁，共五十一頁，編輯于2023年，星期五§7.1研究背景第十八頁，共五十一頁，編輯于2023年，星期五?淺層機器學習模型(第二次浪潮)--1-2層隱層的BP網(wǎng)絡（20世紀80年代末期）--SVM、Boosting等，模型的結構可視為帶一層隱層節(jié)點或沒有隱層節(jié)點（20世紀90年代）NeuralNetwork問題--比較容易過擬合，參數(shù)比較難tune，而且需要不少技巧--訓練速度比較慢，--有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限--梯度越來越稀疏：從輸出層越往輸入層，誤差校正信號越來越小--收斂到局部極小值近20多年，主要SVM和boosting算法§7.1研究背景第十九頁，共五十一頁，編輯于2023年，星期五?深度機器學習模型(第三次浪潮)

GeoffreyHinton（加拿大多倫多大學教授、機器學習領域的泰斗）及其學生2006年在科學雜志發(fā)表”DeepLearning”文章，開啟了深度學習在學術界和工業(yè)界的浪潮。

--多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力--通過無監(jiān)督學習的“逐層初始化”（layer-wisepre-training）來有效克服深度神經(jīng)網(wǎng)絡在訓練上的難度--深度學習可通過學習一種深層非線性網(wǎng)絡結構，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學習數(shù)據(jù)集本質(zhì)特征的能力。--強調(diào)了模型結構的深度，通常有5層、6層，甚至10多層的隱層節(jié)點--深度學習就是特征學習，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易“深度學習”通過多層次抽象來實現(xiàn)特征的表達§7.1研究背景第二十頁，共五十一頁，編輯于2023年，星期五DeepLearning—以多層次神經(jīng)網(wǎng)絡為基礎發(fā)展起來的一種新的機器學習方法，被認為是AI的新的前沿Theoretical:“…well-knowndepth-breadthtradeoffincircuitsdesign[Hastad1987].Thissuggestsmanyfunctionscanbemuchmoreefficientlyrepresentedwithdeeperarchitectures…”[Bengio&LeCun2007]Biological:Visualcortexishierarchical(HubelandWiesel).§7.1研究背景第二十一頁，共五十一頁，編輯于2023年，星期五§7.2從BP網(wǎng)絡看深度學習7.2.1BP網(wǎng)絡——僅適合淺層網(wǎng)絡梯度下降算法——梯度逐層反向計算，直到梯度接近零為止第二十二頁，共五十一頁，編輯于2023年，星期五§7.2從BP網(wǎng)絡看深度學習為什么BP網(wǎng)絡只適合淺層網(wǎng)絡？訓練速度慢問題易于過擬合問題

在學習訓練中,網(wǎng)絡對學習樣本達到非常高的逼近精度,但對測試樣本逼近誤差隨網(wǎng)絡訓練次數(shù)而呈現(xiàn)先下降,后反而上升的奇異現(xiàn)象全局優(yōu)化問題

BP網(wǎng)絡深度較深時，會涉及到求解一個高階非凸優(yōu)化問題，容易陷入很壞的局部極小梯度彌散問題

BP網(wǎng)絡深度較深時，梯度隨著深度向前而顯著下降，誤差反傳到更前面的隱含層時已非常小，使得前幾層不能有效進行調(diào)節(jié)，訓練速度很慢第二十三頁，共五十一頁，編輯于2023年，星期五§7.2從BP網(wǎng)絡看深度學習7.2.2深度學習的基本思想

加拿大多倫多大學的GeofferyHinton教授2006年首次提出了“深度信念網(wǎng)絡”的概念。與傳統(tǒng)的訓練方式不同，為大幅度減少了訓練多層神經(jīng)網(wǎng)絡的時間，采用兩個技術█“

預訓練”（pre-training）：無監(jiān)督學習→參數(shù)初始值逐層貪婪訓練，就是先訓練網(wǎng)絡第1個隱含層，再訓練第2個…，最后

將訓練好的網(wǎng)絡參數(shù)作為整個網(wǎng)絡參數(shù)的初值（預訓練，找到神經(jīng)網(wǎng)

絡中一個接近最優(yōu)解的權值）█“

微調(diào)

”(fine-tuning)：監(jiān)督學習

進一步優(yōu)化訓練整個網(wǎng)絡，對神經(jīng)網(wǎng)絡參數(shù)（權值）改變很小第二十四頁，共五十一頁，編輯于2023年，星期五§7.2從BP網(wǎng)絡看深度學習7.2.2深度學習的基本思想█層數(shù)保持不變，神經(jīng)網(wǎng)絡的參數(shù)數(shù)量增加，從而帶來了更好的表示（represention）能力█增加更多層次，更深入的特征表示，以及更強的函數(shù)模擬能力隨著網(wǎng)絡的層數(shù)增加，每一層對于前一層次的抽象表示更深入。即每一層神經(jīng)元學習到的是前一層神經(jīng)元值的更抽象的表示第1隱含層學習到的特征--“邊緣”第2隱含層學習到的特征--由“邊緣”組成的“形狀”第3隱含層學習到的特征--由“形狀”組成的“圖案”。。。。。最后隱含層學習到的特征--由“圖案”組成的“目標”神經(jīng)網(wǎng)絡本質(zhì)模擬特征與目標之間函數(shù)映射關系。層數(shù)多，參數(shù)多，模擬映射函數(shù)更復雜、更多容量第二十五頁，共五十一頁，編輯于2023年，星期五Deeplearning與NeuralNetwork深度學習是模擬人腦進行分析學習，稱UnsupervisedFeatureLearning--源于人工神經(jīng)網(wǎng)絡，含多隱層的多層感知器就是一種深度學習結構--用深度網(wǎng)絡結構來抽象和迭代組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度網(wǎng)絡訓練的主要思想是用非標簽數(shù)據(jù)進行逐層貪婪訓練和用有

標記數(shù)據(jù)來進行整個網(wǎng)絡的微調(diào)相同之處--采用分層結構：輸入層、隱層（多層）、輸出層--連接方式：相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接不同之處--訓練機制不同：ANN采用后向傳播機制,DLlayer-wise的訓練機制--層數(shù)多，BP殘差傳播到最前面的層已經(jīng)變得太?。ㄌ荻葦U散）§7.2從BP網(wǎng)絡看深度學習第二十六頁，共五十一頁，編輯于2023年，星期五7.2.3深度學習流行的激勵函數(shù)§7.2從BP網(wǎng)絡看深度學習傳統(tǒng)激勵函數(shù)

Sigmoid系非線性的Sigmoid函數(shù)對中央?yún)^(qū)域的信號增益較大，對兩側區(qū)域的信號增益小，特征空間映射效果好從神經(jīng)科學看，中央?yún)^(qū)域類似神經(jīng)元興奮態(tài)，兩側區(qū)域類似神經(jīng)元抑制態(tài)問題：（1）sigmoid函數(shù)在實際梯度下降中，容易飽和和終止梯度傳遞（2）同時近乎有一半的神經(jīng)元被激活第二十七頁，共五十一頁，編輯于2023年，星期五§7.2從BP網(wǎng)絡看深度學習類似生物神經(jīng)元激勵函數(shù)與Sigmoid系的不同：（1）單側抑制（紅框里前端全沒激活）（2）相對寬闊的興奮邊界（3）稀疏激活性神經(jīng)科學家Dayan、Abott2001年模擬腦神經(jīng)元接受信號更精確的激勵模型█Softplus(x)=log(1+ex)具有（1）與（2）特性█ReLU（修正線性單元：RectifiedLinearUnit)：f(x)=max(0,x)具有三個特性可極大提升隨機梯度下降的收斂速度梯度計算非常簡單應用很多神經(jīng)元的生物特性具有生物特性的激勵函數(shù)第二十八頁，共五十一頁，編輯于2023年，星期五假定神經(jīng)網(wǎng)絡的輸出O等于輸入I，即輸入I經(jīng)過這個系統(tǒng)變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經(jīng)過每一層都沒有任何的信息損失,訓練調(diào)整網(wǎng)絡參數(shù)（連接權）

每層的輸出就是輸入的另外一種表示特征system輸出O輸入Ii=o7.3.1自動編碼器(AutoEncoder)§7.3

幾種典型的深度學習模型第二十九頁，共五十一頁，編輯于2023年，星期五§7.4

幾種典型的深度學習模型有標簽數(shù)據(jù)的特征學習無標簽數(shù)據(jù)的無監(jiān)督特征學習編碼器產(chǎn)生特征標簽/無標簽編碼第三十頁，共五十一頁，編輯于2023年，星期五無標簽數(shù)據(jù)的無監(jiān)督特征學習編碼器產(chǎn)生特征增加分類器§7.3

幾種典型的深度學習模型第三十一頁，共五十一頁，編輯于2023年，星期五稀疏自動編碼器§7.3

幾種典型的深度學習模型第三十二頁，共五十一頁，編輯于2023年，星期五§7.4

幾種典型的深度學習模型自動編碼器(AutoEncoder)第三十三頁，共五十一頁，編輯于2023年，星期五7.3.2深度信任網(wǎng)絡DBN受限可視層各節(jié)點間無連接隱含層各節(jié)點間無連接可視層作為向量輸入隱含層作為特征檢測器可為二值節(jié)點（可取0或1）或?qū)崝?shù)節(jié)點（0～1）可視層、隱含層的節(jié)點數(shù)量不定§7.3

幾種典型的深度學習模型RestrictedBoltzmanMachine(RBM)第三十四頁，共五十一頁，編輯于2023年，星期五RBM的能量對特定的(v,h)，其能量函數(shù)定義為對每種可能的p(v,h)分布滿足Boltzmann分布§7.3

幾種典型的深度學習模型第三十五頁，共五十一頁，編輯于2023年，星期五RBM的狀態(tài)更新/重采樣給定可視層每個節(jié)點v，隱含層的每個節(jié)點hj依下式確定的概率取1（條件獨立）同樣，給定隱含層每個節(jié)點h，可依下式確定的概率獲得可視層各結點的的無偏估計樣本（條件獨立）§7.3

幾種典型的深度學習模型第三十六頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型將多個RBM層疊在一起前一層RBM的隱含層作為后一層RBM可視層的輸入深度信任網(wǎng)絡DBN的構成概率生成模型多個受限玻爾茲曼機RBM層組成第三十七頁，共五十一頁，編輯于2023年，星期五§7.3幾種典型的深度學習模型深度信任網(wǎng)絡DBN的訓練對比散度CD算法ContrastiveDivergence(Hinton,2002)預訓練獲得生成模型的連接權（訓練RBM可視層節(jié)點和隱節(jié)點間的權值）利用GibbsSampling已知v重采樣h已知h重采樣v定義上述操作為一輪，可多輪依據(jù)下式修正連接權wij第三十八頁，共五十一頁，編輯于2023年，星期五DBN每層RBM內(nèi)--隱含層對可見層進行特征提取層與層之間每層對前一層提取出的特征進行再提取第3層第2層第1層§7.4

幾種典型的深度學習模型第三十九頁，共五十一頁，編輯于2023年，星期五YannLeCunIn1995,YannLeCunandYoshuaBengiointroducedtheconceptofconvolutionalneuralnetworks.YoshuaBengio7.3.3深度卷積網(wǎng)絡§7.3

幾種典型的深度學習模型在貝爾實驗室的研究--提高手寫識別濾波——池化第四十頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型輸入圖像通過多個可訓練的濾波器組進行非線性卷積，卷積后在每一層產(chǎn)生特征映射圖，再特征映射圖中每組池化（亞采樣），最終得到輸出值第四十一頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型層間局部連接—稀疏連接方式深度卷積網(wǎng)絡多層感知器(MLP)的變種卷積神經(jīng)網(wǎng)絡中，層間的神經(jīng)元不是全連接，利用層間局部空間相關性，通過局部連接方式，上層的神經(jīng)元只與和它相近的下層神經(jīng)元相連，以大大降低神經(jīng)網(wǎng)絡的參數(shù)規(guī)模第四十二頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型每個卷積濾波器共享相同的參數(shù)。卷積神經(jīng)網(wǎng)絡中，卷積層的每個卷積濾波器重復作用于整個感受野中，對輸入圖像進行卷積，卷積結果構成輸入圖像的特征圖，提取出圖像的局部特征神經(jīng)元共享權值一個特征映射面上的神經(jīng)元共享權值，大大降低學習的卷積神經(jīng)網(wǎng)絡模型參數(shù)數(shù)量特征映射結構采用sigmoid函數(shù)作為卷積網(wǎng)絡的激活函數(shù)共享權值第四十三頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型最大池化采樣—非線性降采樣方法最大池采樣方法對卷積特征進行降維，具有平移不變性Softmax回歸—有監(jiān)督學習算法，解決多分類問題訓練樣本集由m個帶標簽樣本構成：最小化代價函數(shù)第四十四頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型深度卷積網(wǎng)絡訓練與BP網(wǎng)絡的向前傳播和反向調(diào)整權矩陣類似的一種多層的監(jiān)督學習神經(jīng)網(wǎng)絡，隱含層的卷積層和池化采樣層是實現(xiàn)卷積神經(jīng)網(wǎng)絡特征提取功能的核心卷積神經(jīng)網(wǎng)絡的低隱含層是由卷積層和最大池化采樣層交替組成，高層是全連接層對應傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器第四十五頁，共五十一頁，編輯于2023年，星期五§7.3

幾種典型的深度學習模型第四十六頁，共五十一頁，編輯于2023年，星期五§7.4開源深度學習框架

◆Caffe源自加州伯克利分校的Caffe被廣泛應用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google今年早些時候發(fā)布的DeepDream項目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡）的基礎。

◆Theano2008年誕生于蒙特利爾理工學院，Theano派生出了大量深度學習Python軟件包，最著名的包括Blocks和Keras。第四十七頁，共五十一頁，編輯于2023年，星期五§7.4開源深度學習框架

◆TorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學習模塊和擴展。Torch另外一個特殊之處是采用了不怎么流行的編程語言Lua