簡述深度學習的概念

簡述深度學習的概念深度學習（DeepLearning,DL）是指多層的人工神經網絡和訓練它的方法。一層神經網絡會把大量矩陣數字作為輸入，通過非線性激活方法取權重，再產生另一個數據集合作為輸出。這就像生物神經大腦的工作機理一樣，通過合適的矩陣數量，多層組織鏈接一起，形成神經網絡“大腦”進行精準復雜的處理，就像人們識別物體標注圖片一樣。深度學習是從機器學習中的人工神經網絡發(fā)展出來的新領域。早期所謂的“深度”是指超過一層的神經網絡。但隨著深度學習的快速發(fā)展，其內涵已經超出了傳統(tǒng)的多層神經網絡，甚至機器學習的范疇，逐漸朝著人工智能的方向快速發(fā)展。深度學習的基本思想假設我們有一個系統(tǒng)S，它有n層（S1,???Sn），它的輸入是I，輸出是。，形象地表示為：I=>S1=>S2=>???..=>Sn=>。，如果輸出O等于輸入1，即輸入I經過這個系統(tǒng)變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示?，F在回到我們的主題DeepLearning，我們需要自動地學習特征，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統(tǒng)S（有n層），我們通過調整系統(tǒng)中參數，使得它的輸出仍然是輸入I,那么我們就可以自動地獲取得到輸入I的一系列層次特征，即S1，…,Sn。對于深度學習來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。另外，前面是假設輸出嚴格地等于輸入，這個限制太嚴格，我們可以略微地放松這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放松會導致另外一類不同的DeepLearning方法。上述就是DeepLearning的基本思想。深度學習和淺層學習淺層學習是機器學習的第一次浪潮。20世紀80年代末期，用于人工神經網絡的反向傳播算法(也叫BackPropagation算法或者BP算法)的發(fā)明，給機器學習帶來了希望，掀起了基于統(tǒng)計模型的機器學習熱潮。這個熱潮一直持續(xù)到今天。人們發(fā)現，利用BP算法可以讓一個人工神經網絡模型從大量訓練樣本中學習統(tǒng)計規(guī)律，從而對未知事件做預測。這種基于統(tǒng)計的機器學習方法比起過去基于人工規(guī)則的系統(tǒng)，在很多方面顯出優(yōu)越性。這個時候的人工神經網絡，雖也被稱作多層感知機(Multi-layerPerceptron)，但實際是種只含有一層隱層節(jié)點的淺層模型。20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機(SVM,SupportVectorMachines)>Boosting、最大熵方法(如LR,LogisticRegression)等。這些模型的結構基本上可以看成帶有一層隱層節(jié)點(如SVM、Boosting)，或沒有隱層節(jié)點(如LR)。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由于理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網絡反而相對沉寂。深度學習是機器學習的第二次浪潮。2006年，加拿大多倫多大學教授、機器學習領域的泰斗GeoffreyHinton和他的學生RuslanSalakhutdinov在《科學》上發(fā)表了一篇文章，開啟了深度學習在學術界和工業(yè)界的浪潮。這篇文章有兩個主要觀點：1)多隱層的人工神經網絡具有優(yōu)異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類；2)深度神經網絡在訓練上的難度，可以通過“逐層初始化"(layer-wisepre-training)來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學習實現的。當前多數分類、回歸等學習方法為淺層結構算法，其局限性在于有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。（多層的好處是可以用較少的參數表示復雜的函數）深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：1）強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2）明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。深度學習與神經網絡深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習是無監(jiān)督學習的一種。深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現數據的分布式特征表示。Deeplearning本身算是machinelearning的一個分支，簡單可以理解為neuralnetwork的發(fā)展。大約二三十年前，neuralnetwork曾經是ML領域特別火熱的一個方向，但是后來確慢慢淡出了，原因包括以下幾個方面：1） 比較容易過擬合，參數比較難tune，而且需要不少trick；2） 訓練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；所以中間有大約20多年的時間，神經網絡被關注很少，這段時間基本上是SVM和boosting算法的天下。但是，一個癡心的老先生Hinton，他堅持了下來，并最終（和其它人一起B(yǎng)engio、Yann.lecun等）提成了一個實際可行的deeplearning框架。Deeplearning與傳統(tǒng)的神經網絡之間有相同的地方也有很多不同。二者的相同在于deeplearning采用了神經網絡相似的分層結構，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logisticregression模型；這種分層結構，是比較接近人類大腦的結構的。而為了克服神經網絡訓練中的問題，DL采用了與神經網絡很不同的訓練機制。傳統(tǒng)神經網絡中，采用的是 backpropagation的方式進行，簡單來講就是采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deeplearning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果采用backpropagation的機制，對于一個deepnetwork（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradientdiffusion（梯度擴散）。深度學習的訓練過程如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學習中相反的問題，會嚴重欠擬合（因為深度網絡的神經元和參數太多了）。2006年，hinton提出了在非監(jiān)督數據上建立多層神經網絡的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網絡，二是調優(yōu)，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：1） 首先逐層構建單層神經元，這樣每次都是訓練一個單層網絡。2） 當所有層訓練完后，Hinton使用wake-sleep算法進行調優(yōu)。將除最頂層的其它層間的權重變?yōu)殡p向的，這樣最頂層仍然是一個單層神經網絡，而其它層則變?yōu)榱藞D模型。向上的權重用于“認知”，向下的權重用于“生成”。然后使用Wake-Sleep算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那么所有人臉的圖像應該激活這個結點，并且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。 Wake-Sleep算法分為醒（wake）和睡（sleep）兩個部分。1） wake階段：認知過程，通過外界的特征和向上的權重（認知權重）產生每一層的抽象表示（結點狀態(tài)），并且使用梯度下降修改層間的下行權重（生成權重）。也就是“如果現實跟我想象的不一樣，改變我的權重使得我想象的東西就是這樣的”。2） sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態(tài)，同時修改層間向上的權重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念”。deeplearning訓練過程具體如下：1）使用自下上升非監(jiān)督學習（就是從底層開始，一層一層的往頂層訓練）：采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監(jiān)督訓練過程，是和傳統(tǒng)神經網絡區(qū)別最大的部分（這個過程可以看作是featurelearning過程）:具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；2）自頂向下的監(jiān)督學