深度學(xué)習(xí)詳解

1、Deep Learning目錄深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練方法深度學(xué)習(xí)常用的幾種模型和方法Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）在腦機接口中的應(yīng)用What is Deep Learning?A brief introduce of deep learning 機器學(xué)習(xí)機器學(xué)習(xí)（Machine Learning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)市值不斷改善自身的性能的學(xué)科，簡單地說，機器學(xué)習(xí)就是通過算法，使得機器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新的樣本做智能識別或預(yù)測未來。機器學(xué)

2、習(xí)在圖像識別、語音識別、自然語言理解、天氣預(yù)測、基因表達、內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題。特征的自學(xué)習(xí)傳統(tǒng)的模式識別方法：通過傳感器獲取數(shù)據(jù)，然后經(jīng)過預(yù)處理、特征提取、特征選擇、再到推理、預(yù)測或識別。特征提取與選擇的好壞對最終算法的確定性齊了非常關(guān)鍵的作用。而特征的樣式目前一般都是靠人工提取特征。而手工選取特征費時費力，需要專業(yè)知識，很大程度上靠經(jīng)驗和運氣，那么機器能不能自動的學(xué)習(xí)特征呢？深度學(xué)習(xí)的出現(xiàn)就這個問題提出了一種解決方案。深度學(xué)習(xí)自2006年，深度學(xué)習(xí)（Deep Learning）已經(jīng)成為機器學(xué)習(xí)研究中的一個新興領(lǐng)域，通常也被叫做深層結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí)。其動機在于

3、建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模擬人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本，深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。人腦的視覺機理1981年的諾貝爾醫(yī)學(xué)獎獲得者 David Hubel和Torsten Wiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機制，他們發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍。由此可知人的視覺系統(tǒng)的信息處理是分級的，高層的特征是低

4、層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測就越少，就越利于分類。淺層學(xué)習(xí)與深度學(xué)習(xí)傳統(tǒng)機器學(xué)習(xí)和信號處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。淺層模型的一個共性是僅含單個將原始輸入信號轉(zhuǎn)換到特定問題空間特征的簡單結(jié)構(gòu)。典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型(HMM)、條件隨機場(CRFs)、最大熵模型(Max Ent)、支持向量機(SVM)、核回歸及僅含單隱層的多層感知器(MLP)等。淺層結(jié)構(gòu)的局限性在于有限的樣本和計算單元情況下對復(fù)雜的函數(shù)表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定的制約。受到大腦結(jié)構(gòu)分層的啟發(fā)，神經(jīng)網(wǎng)絡(luò)

5、的研究發(fā)現(xiàn)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；而深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服。深度學(xué)習(xí)可以通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)及本質(zhì)特征的能力。深度學(xué)習(xí)的實質(zhì)通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)與淺層學(xué)習(xí)的區(qū)別強調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點；明確突出了特征學(xué)習(xí)的重要性，通過逐層特征

6、變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度學(xué)習(xí)的訓(xùn)練方法深度學(xué)習(xí)的訓(xùn)練方法與神經(jīng)網(wǎng)絡(luò)的異同深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)深度學(xué)習(xí)深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同相同點二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logistic 回歸模型。不同點：采用不同的訓(xùn)練機制神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個網(wǎng)絡(luò)。隨機設(shè)定初值，計算當(dāng)前網(wǎng)絡(luò)的輸出，

7、然后根據(jù)當(dāng)前輸出和樣本真實標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：BP算法不適合深度神經(jīng)網(wǎng)絡(luò)，如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高，如果每次訓(xùn)練一層，偏差逐層傳遞會出現(xiàn)過擬合。因此深度學(xué)習(xí)整體上是是一個分層訓(xùn)練機制。深度學(xué)習(xí)的訓(xùn)練過程自下而上的非監(jiān)督學(xué)習(xí)：從底層開始，一層一層的往頂層訓(xùn)練，分別得到各層參數(shù)。采用無標(biāo)簽數(shù)據(jù)分層訓(xùn)練各層參數(shù)（可以看作是特征學(xué)習(xí)的過程）。自上而下的監(jiān)督學(xué)習(xí)基于第一步的得到的各層參數(shù)進一步調(diào)整整個多層模型的參數(shù)，這一步是一個有監(jiān)督的訓(xùn)練過程。深度學(xué)習(xí)的幾種常用模型Auto Encoder（自動編碼器）Sparse Coding （稀疏編碼）Restri

8、cted Boltzmann Machine（限制玻爾茲曼機）Deep Belief Networks （深度信任網(wǎng)絡(luò)）Convolutional Neural Networks （卷積神經(jīng)網(wǎng)絡(luò)）Convolutional Neural Networks(CNN)Convolutional Neural Networks(CNN) 卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜

9、的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 卷積神經(jīng)網(wǎng)絡(luò)原理圖 如圖所示，輸入圖像（Input）通過和三個可訓(xùn)練的卷積核和可加偏置進行卷積，卷積后在C1層產(chǎn)生三個特征映射圖（Feature map）然后，C1層的Feature map在經(jīng)過子采樣（Subsampling）后，加權(quán)值，加偏置，再通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖。CNN的Convolution過程 如圖，原圖像是5*5大小，有25個神經(jīng)元，用一個3*3的卷積核對它進行卷積，得到了如右圖所示的卷積后的Featu

10、re map。該特征圖大小為3*3。 假設(shè)一種卷積核只提取出圖像的一種特征，所以一般要多個卷積核來提取不同的特征，所以每一層一般都會有多張Feature map。 同一張Feature map上的神經(jīng)元共用一個卷積核，這大大減少了網(wǎng)絡(luò)參數(shù)的個數(shù)。CNN的Pooling過程 如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性 (translation invariant)。這就意味著即使圖像經(jīng)歷了一個小的平移之后，依然會產(chǎn)生相同的 (池化的) 特征。 圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對圖像某一個

11、區(qū)域上的特征取平均值 (或最大值)。這種聚合的操作就叫做池化 (pooling)。CNN的優(yōu)點參數(shù)參數(shù)減少與權(quán)值共享減少與權(quán)值共享 如下圖所示，如果我們有1000 x1000像素的圖像，有1百萬個隱層神經(jīng)元，那么他們?nèi)B接的話（每個隱層神經(jīng)元都連接圖像的每一個像素點），就有 個連接，也就是1012個權(quán)值參數(shù)。121000 1000 1000000=10 局部連接網(wǎng)絡(luò)，每一個節(jié)點與上層節(jié)點同位置附近10 x10的窗口相連接，則1百萬個隱層神經(jīng)元就只有 ，即108個參數(shù)。其權(quán)值連接個數(shù)比原來減少了四個數(shù)量級。861010010 卷積神經(jīng)網(wǎng)絡(luò)避免了顯式的特征取樣，隱式地從訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)。這使得卷

12、積神經(jīng)網(wǎng)絡(luò)明顯有別于其他基于神經(jīng)網(wǎng)絡(luò)的分類器，通過結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進多層感知器。它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。 卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點： a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合； b）特征提取和模式分類同時進行，并同時在訓(xùn)練中產(chǎn)生； c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強。經(jīng)典例子：文字識別系統(tǒng)LeNet-5 1. 輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設(shè)定有6個不同的C1層，每一個C1層內(nèi)的權(quán)值是相同的。 2. S2層是一個下采樣層，由4

13、個點下采樣為1個點，也就是4個數(shù)的加權(quán)平均，加權(quán)系數(shù)也需要通過學(xué)習(xí)得到。這個過程也叫做Pool。 3.我們很容易得到C3層的大小為10 x10，不過，C3層有16個10 x10網(wǎng)絡(luò)! 我們只需要按照一定的規(guī)則來組合S2的特征圖。具體的組合規(guī)則在 LeNet-5 系統(tǒng)中給出了下面的表格： 4. S4 層是在C3層基礎(chǔ)上進行下采樣，前面已述。在后面的層中每一層節(jié)點個數(shù)比較少，都是全連接層，這里不再贅述。小結(jié)：小結(jié)： 經(jīng)過計算，LeNet-5系統(tǒng)總共需要大約13萬個參數(shù)，這與前面提到的全連接系統(tǒng)每個隱藏層就需要百萬個參數(shù)有著天壤之別，極大地減少了計算量。 在以上的識別系統(tǒng)中，每個特征圖提取后都緊跟著

14、一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰ΑＲ簿褪钦f，卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野、共享權(quán)值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性。 Convolutional Neural Networks for P300 Detection with Application toBrain-Computer InterfacesP300檢測P300檢測：檢測P300的響應(yīng)。二分類：信號呈一個P300波形，則認(rèn)為檢測到；否則，檢測不到。挑戰(zhàn)性：盡管我們可以從實驗中的范例得知P300的預(yù)期響應(yīng)在什么時候，但是P300的響應(yīng)取決于被試者。實際上

15、，即使一個P300響應(yīng)可以被預(yù)測為在一個特定的時間點，但是被試者很可能不會在像人工產(chǎn)品一樣在正確的時刻產(chǎn)生P300響應(yīng)。輸入正則化原始信號：由電極采集的EEG信號輸入數(shù)據(jù)正則化： 1.從EEG信號樣本中提取子樣本，從而降低數(shù)據(jù)的大小以便分析。等同于把信號用120HZ的抽樣率采樣。 2.用0.1到20HZ的帶通濾波器處理輸入數(shù)據(jù)CNN的輸入： 一個 矩陣。其中 是我們采集EEG信號時所有的電極的數(shù)量。 是每個電極采集到的EEG信號正則化以后長度。我們令 。 每個樣本代表一部分經(jīng)過650ms頻閃燈后采集的信號。神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是分類器的關(guān)鍵特征。網(wǎng)絡(luò)由五層組成，每一層由一個或多個特征圖

16、組成。一個特征圖代表一層的本質(zhì)，含有一個特殊的語義： 1.第一層隱層的每個特征圖代表一個電極通道的特征。 2.第二層隱層時間域上對信號進行下采樣和變換。神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)CNN的學(xué)習(xí)規(guī)律2021-12-16 在卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程當(dāng)中，主要運用前向傳播和反向傳播兩種學(xué)習(xí)法則來優(yōu)化權(quán)值，學(xué)習(xí)到一個最優(yōu)的濾波器來提取特征。（1） 前向傳播 如果用l來表示當(dāng)前的網(wǎng)絡(luò)層，那么當(dāng)前網(wǎng)絡(luò)層的輸出為： 其中， 為網(wǎng)絡(luò)的輸出激活函數(shù)。輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù)。llllllbxWuufx1)(，其中(.)f（2） 反向傳播算法 我們假設(shè)訓(xùn)練集有N個訓(xùn)練樣本，一共分成2類。對于

17、每一個訓(xùn)練樣本，我們會給予一個標(biāo)簽，通過調(diào)整網(wǎng)絡(luò)輸出與給定標(biāo)簽之間的誤差來訓(xùn)練與改變權(quán)值。在代價函數(shù)方面，我們選擇采用平方誤差代價函數(shù)。因此N個訓(xùn)練樣本的代價函數(shù)如下：NnknknkNytE1212)(212021-12-16 對于N個訓(xùn)練樣本中的第n個訓(xùn)練樣本，它的代價函數(shù)表示為：22212n21)(21nnknknkytytE 接下來需要根據(jù)每個樣本的輸出誤差來反向調(diào)節(jié)每一層當(dāng)中的權(quán)值系數(shù)，即計算代價函數(shù)對應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)中的每個權(quán)值的偏導(dǎo)數(shù)：buuEbE1buuEbE 可以看到誤差對于bias基b的靈敏度和誤差對于一個節(jié)點的輸入u的導(dǎo)數(shù)是相等的。 對于非輸出層，第l層靈敏度可以表示為：

18、而對于輸出層L的靈敏度為：)( )(11llTllufW)()( nnLLtyuf2021-12-16 對于第l層，誤差對于每個權(quán)值的偏導(dǎo)數(shù)如下： 當(dāng)前層神經(jīng)元的權(quán)值更新值如下：(3)卷積層 當(dāng)接在卷積層的下一層為池化層時，由于池化層是有下采樣的，池化層和卷積層的神經(jīng)元無法一一對應(yīng)。因此我們對池化層當(dāng)中每一個神經(jīng)元的靈敏度組成的一個靈敏度圖進行上采樣。這樣一來，得到的靈敏度圖的大小便和卷積層的特征圖的大小相同了。公式如下：TlllxWE)(1llWEW)( )(11llTllufW2021-12-16（4）池化層 對于池化層來說，輸入和輸出的特征圖數(shù)量是相等的，而不同的是每個特征圖的大小。池化層對每個特征圖進行下采樣，所以輸出的特征圖比起輸入的特征圖要變小了： 按