深度學(xué)習(xí)基礎(chǔ)

深度學(xué)習(xí)基礎(chǔ)第一頁，共三十五頁，2022年，8月28日目錄深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練方法深度學(xué)習(xí)常用的幾種模型和方法ConvolutionalNeuralNetworks卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）在腦機(jī)接口中的應(yīng)用第二頁，共三十五頁，2022年，8月28日WhatisDeepLearning?Abriefintroduceofdeeplearning第三頁，共三十五頁，2022年，8月28日機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)（Machine

Learning）是一門專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)市值不斷改善自身的性能的學(xué)科，簡(jiǎn)單地說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本做智能識(shí)別或預(yù)測(cè)未來。機(jī)器學(xué)習(xí)在圖像識(shí)別、語音識(shí)別、自然語言理解、天氣預(yù)測(cè)、基因表達(dá)、內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題。第四頁，共三十五頁，2022年，8月28日特征的自學(xué)習(xí)傳統(tǒng)的模式識(shí)別方法：通過傳感器獲取數(shù)據(jù)，然后經(jīng)過預(yù)處理、特征提取、特征選擇、再到推理、預(yù)測(cè)或識(shí)別。特征提取與選擇的好壞對(duì)最終算法的確定性齊了非常關(guān)鍵的作用。而特征的樣式目前一般都是靠人工提取特征。而手工選取特征費(fèi)時(shí)費(fèi)力，需要專業(yè)知識(shí)，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣，那么機(jī)器能不能自動(dòng)的學(xué)習(xí)特征呢？深度學(xué)習(xí)的出現(xiàn)就這個(gè)問題提出了一種解決方案。第五頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)自2006年，深度學(xué)習(xí)（DeepLearning）已經(jīng)成為機(jī)器學(xué)習(xí)研究中的一個(gè)新興領(lǐng)域，通常也被叫做深層結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí)。其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模擬人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本，深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。第六頁，共三十五頁，2022年，8月28日人腦的視覺機(jī)理1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制，他們發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個(gè)邊緣指向某個(gè)方向時(shí)，這種神經(jīng)元細(xì)胞就會(huì)活躍。第七頁，共三十五頁，2022年，8月28日

由此可知人的視覺系統(tǒng)的信息處理是分級(jí)的，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測(cè)就越少，就越利于分類。第八頁，共三十五頁，2022年，8月28日淺層學(xué)習(xí)與深度學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)和信號(hào)處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。淺層模型的一個(gè)共性是僅含單個(gè)將原始輸入信號(hào)轉(zhuǎn)換到特定問題空間特征的簡(jiǎn)單結(jié)構(gòu)。典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型(HMM)、條件隨機(jī)場(chǎng)(CRFs)、最大熵模型(MaxEnt)、支持向量機(jī)(SVM)、核回歸及僅含單隱層的多層感知器(MLP)等。淺層結(jié)構(gòu)的局限性在于有限的樣本和計(jì)算單元情況下對(duì)復(fù)雜的函數(shù)表示能力有限，針對(duì)復(fù)雜分類問題其泛化能力受到一定的制約。第九頁，共三十五頁，2022年，8月28日受到大腦結(jié)構(gòu)分層的啟發(fā)，神經(jīng)網(wǎng)絡(luò)的研究發(fā)現(xiàn)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；而深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服。深度學(xué)習(xí)可以通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)及本質(zhì)特征的能力。第十頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)的實(shí)質(zhì)通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)與淺層學(xué)習(xí)的區(qū)別強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。第十一頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)的訓(xùn)練方法與神經(jīng)網(wǎng)絡(luò)的異同第十二頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)第十三頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同相同點(diǎn)二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個(gè)logistic回歸模型。不同點(diǎn)：采用不同的訓(xùn)練機(jī)制神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：BP算法不適合深度神經(jīng)網(wǎng)絡(luò)，如果對(duì)所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高，如果每次訓(xùn)練一層，偏差逐層傳遞會(huì)出現(xiàn)過擬合。因此深度學(xué)習(xí)整體上是是一個(gè)分層訓(xùn)練機(jī)制。第十四頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)的訓(xùn)練過程自下而上的非監(jiān)督學(xué)習(xí)：從底層開始，一層一層的往頂層訓(xùn)練，分別得到各層參數(shù)。采用無標(biāo)簽數(shù)據(jù)分層訓(xùn)練各層參數(shù)（可以看作是特征學(xué)習(xí)的過程）。自上而下的監(jiān)督學(xué)習(xí)基于第一步的得到的各層參數(shù)進(jìn)一步調(diào)整整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督的訓(xùn)練過程。第十五頁，共三十五頁，2022年，8月28日深度學(xué)習(xí)的幾種常用模型AutoEncoder（自動(dòng)編碼器）SparseCoding（稀疏編碼）RestrictedBoltzmannMachine（限制玻爾茲曼機(jī)）DeepBeliefNetworks（深度信任網(wǎng)絡(luò)）ConvolutionalNeuralNetworks（卷積神經(jīng)網(wǎng)絡(luò)）第十六頁，共三十五頁，2022年，8月28日ConvolutionalNeuralNetworks(CNN)第十七頁，共三十五頁，2022年，8月28日ConvolutionalNeuralNetworks(CNN)

卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

第十八頁，共三十五頁，2022年，8月28日卷積神經(jīng)網(wǎng)絡(luò)原理圖

如圖所示，輸入圖像（Input）通過和三個(gè)可訓(xùn)練的卷積核和可加偏置進(jìn)行卷積，卷積后在C1層產(chǎn)生三個(gè)特征映射圖（Featuremap）然后，C1層的Featuremap在經(jīng)過子采樣（Subsampling）后，加權(quán)值，加偏置，再通過一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。第十九頁，共三十五頁，2022年，8月28日CNN的Convolution過程

如圖，原圖像是5*5大小，有25個(gè)神經(jīng)元，用一個(gè)3*3的卷積核對(duì)它進(jìn)行卷積，得到了如右圖所示的卷積后的Featuremap。該特征圖大小為3*3。

假設(shè)一種卷積核只提取出圖像的一種特征，所以一般要多個(gè)卷積核來提取不同的特征，所以每一層一般都會(huì)有多張F(tuán)eaturemap。

同一張F(tuán)eaturemap上的神經(jīng)元共用一個(gè)卷積核，這大大減少了網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)。第二十頁，共三十五頁，2022年，8月28日CNN的Pooling過程如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性(translationinvariant)。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后，依然會(huì)產(chǎn)生相同的(池化的)特征。圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對(duì)圖像某一個(gè)區(qū)域上的特征取平均值(或最大值)。這種聚合的操作就叫做池化(pooling)。第二十一頁，共三十五頁，2022年，8月28日CNN的優(yōu)點(diǎn)參數(shù)減少與權(quán)值共享如下圖所示，如果我們有1000x1000像素的圖像，有1百萬個(gè)隱層神經(jīng)元，那么他們?nèi)B接的話（每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)），就有

個(gè)連接，也就是10^12個(gè)權(quán)值參數(shù)。局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10x10的窗口相連接，則1百萬個(gè)隱層神經(jīng)元就只有，即10^8個(gè)參數(shù)。其權(quán)值連接個(gè)數(shù)比原來減少了四個(gè)數(shù)量級(jí)。

第二十二頁，共三十五頁，2022年，8月28日卷積神經(jīng)網(wǎng)絡(luò)避免了顯式的特征取樣，隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)。這使得卷積神經(jīng)網(wǎng)絡(luò)明顯有別于其他基于神經(jīng)網(wǎng)絡(luò)的分類器，通過結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進(jìn)多層感知器。它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。

卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：

a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；b）特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生；c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng)。第二十三頁，共三十五頁，2022年，8月28日經(jīng)典例子：文字識(shí)別系統(tǒng)LeNet-5

1.輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設(shè)定有6個(gè)不同的C1層，每一個(gè)C1層內(nèi)的權(quán)值是相同的。

2.S2層是一個(gè)下采樣層，由4個(gè)點(diǎn)下采樣為1個(gè)點(diǎn)，也就是4個(gè)數(shù)的加權(quán)平均，加權(quán)系數(shù)也需要通過學(xué)習(xí)得到。這個(gè)過程也叫做Pool。

3.我們很容易得到C3層的大小為10x10，不過，C3層有16個(gè)10x10網(wǎng)絡(luò)!我們只需要按照一定的規(guī)則來組合S2的特征圖。具體的組合規(guī)則在

LeNet-5系統(tǒng)中給出了下面的表格：第二十四頁，共三十五頁，2022年，8月28日

4.

S4層是在C3層基礎(chǔ)上進(jìn)行下采樣，前面已述。在后面的層中每一層節(jié)點(diǎn)個(gè)數(shù)比較少，都是全連接層，這里不再贅述。小結(jié)：經(jīng)過計(jì)算，LeNet-5系統(tǒng)總共需要大約13萬個(gè)參數(shù)，這與前面提到的全連接系統(tǒng)每個(gè)隱藏層就需要百萬個(gè)參數(shù)有著天壤之別，極大地減少了計(jì)算量。在以上的識(shí)別系統(tǒng)中，每個(gè)特征圖提取后都緊跟著一個(gè)用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰?。也就是說，卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野、共享權(quán)值和亞取樣來保證圖像對(duì)位移、縮放、扭曲的魯棒性。

第二十五頁，共三十五頁，2022年，8月28日ConvolutionalNeuralNetworksforP300DetectionwithApplicationtoBrain-ComputerInterfaces第二十六頁，共三十五頁，2022年，8月28日P300檢測(cè)P300檢測(cè)：檢測(cè)P300的響應(yīng)。二分類：信號(hào)呈一個(gè)P300波形，則認(rèn)為檢測(cè)到；否則，檢測(cè)不到。挑戰(zhàn)性：盡管我們可以從實(shí)驗(yàn)中的范例得知P300的預(yù)期響應(yīng)在什么時(shí)候，但是P300的響應(yīng)取決于被試者。實(shí)際上，即使一個(gè)P300響應(yīng)可以被預(yù)測(cè)為在一個(gè)特定的時(shí)間點(diǎn)，但是被試者很可能不會(huì)在像人工產(chǎn)品一樣在正確的時(shí)刻產(chǎn)生P300響應(yīng)。第二十七頁，共三十五頁，2022年，8月28日輸入正則化原始信號(hào)：由電極采集的EEG信號(hào)輸入數(shù)據(jù)正則化：1.從EEG信號(hào)樣本中提取子樣本，從而降低數(shù)據(jù)的大小以便分析。等同于把信號(hào)用120HZ的抽樣率采樣。2.用0.1到20HZ的帶通濾波器處理輸入數(shù)據(jù)CNN的輸入：一個(gè)矩陣。其中是我們采集EEG信號(hào)時(shí)所有的電極的數(shù)量。是每個(gè)電極采集到的EEG信號(hào)正則化以后長(zhǎng)度。我們令。每個(gè)樣本代表一部分經(jīng)過650ms頻閃燈后采集的信號(hào)。第二十八頁，共三十五頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是分類器的關(guān)鍵特征。網(wǎng)絡(luò)由五層組成，每一層由一個(gè)或多個(gè)特征圖組成。一個(gè)特征圖代表一層的本質(zhì)，含有一個(gè)特殊的語義：1.第一層隱層的每個(gè)特征圖代表一個(gè)電極通道的特征。2.第二層隱層時(shí)間域上對(duì)信號(hào)進(jìn)行下采樣和變換。第二十九頁，共三十五頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)第三十頁，共三十五頁，2022年，8月28日CNN的學(xué)習(xí)規(guī)律2023/2/26在卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程當(dāng)中，主要運(yùn)用前向傳播和反向傳播兩種學(xué)習(xí)法則來優(yōu)化權(quán)值，學(xué)習(xí)到一個(gè)最優(yōu)的濾波器來提取特征。（1）

前向傳播

如果用l來表示當(dāng)前的網(wǎng)絡(luò)層，那么當(dāng)前網(wǎng)絡(luò)層的輸出為：

其中，

為網(wǎng)絡(luò)的輸出激活函數(shù)。輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù)。（2）

反向傳播算法我們假設(shè)訓(xùn)練集有N個(gè)訓(xùn)練樣本，一共分成2類。對(duì)于每一個(gè)訓(xùn)練樣本，我們會(huì)給予一個(gè)標(biāo)簽，通過調(diào)整網(wǎng)絡(luò)輸出與給定標(biāo)簽之間的誤差來訓(xùn)練與改變權(quán)值。在代價(jià)函數(shù)方面，我們選擇采用平方誤差代價(jià)函數(shù)。因此N個(gè)訓(xùn)練樣本的代價(jià)函數(shù)如下：第三十一頁，共三十五頁，2022年，8月28日2023/2/26對(duì)于N個(gè)訓(xùn)練樣本中的第n個(gè)訓(xùn)練樣本，它的代價(jià)函數(shù)表示為：接下來需要根據(jù)每個(gè)樣本的輸出誤差來反向調(diào)節(jié)每一層當(dāng)中的權(quán)值系數(shù)，即計(jì)算代價(jià)函數(shù)對(duì)應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)權(quán)值的偏導(dǎo)數(shù)：可以看到誤差對(duì)于bias基b的靈敏度