深學習基礎PPT學習教案

1、會計學1深學習基礎深學習基礎第1頁/共36頁第2頁/共36頁第3頁/共36頁工提取特征。而手工選取特征費時費力，需要專業(yè)知識，很大程度上靠經(jīng)驗和運氣，那么機器能不能自動的學習特征呢？深度學習的出現(xiàn)就這個問題提出了一種解決方案。第4頁/共36頁的分布式特征表示。第5頁/共36頁第6頁/共36頁第7頁/共36頁第8頁/共36頁逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學習數(shù)據(jù)及本質(zhì)特征的能力。第9頁/共36頁通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。第

2、10頁/共36頁第11頁/共36頁第12頁/共36頁數(shù)，直到收斂；n深度學習：BP算法不適合深度神經(jīng)網(wǎng)絡，如果對所有層同時訓練，時間復雜度會太高，如果每次訓練一層，偏差逐層傳遞會出現(xiàn)過擬合。因此深度學習整體上是是一個分層訓練機制。第13頁/共36頁第14頁/共36頁第15頁/共36頁第16頁/共36頁第17頁/共36頁 如圖所示，輸入圖像（Input）通過和三個可訓練的卷積核和可加偏置進行卷積，卷積后在C1層產(chǎn)生三個特征映射圖（Feature map）然后，C1層的Feature map在經(jīng)過子采樣（Subsampling）后，加權值，加偏置，再通過一個Sigmoid函數(shù)得到三個S2層的特征映

3、射圖。第18頁/共36頁如圖，原圖像是5*5大小，有25個神經(jīng)元，用一個3*3的卷積核對它進行卷積，得到了如右圖所示的卷積后的Feature map。該特征圖大小為3*3。 假設一種卷積核只提取出圖像的一種特征，所以一般要多個卷積核來提取不同的特征，所以每一層一般都會有多張Feature map。 同一張Feature map上的神經(jīng)元共用一個卷積核，這大大減少了網(wǎng)絡參數(shù)的個數(shù)。第19頁/共36頁 如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復)的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性 (translation invariant)。這就意味著即使圖像經(jīng)歷了一

4、個小的平移之后，依然會產(chǎn)生相同的 (池化的) 特征。圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對圖像某一個區(qū)域上的特征取平均值(或最大值)。這種聚合的操作就叫做池化(pooling)。第20頁/共36頁參數(shù)參數(shù)減少與權值共享減少與權值共享 如下圖所示，如果我們有1000 x1000像素的圖像，有1百萬個隱層神經(jīng)元，那么他們?nèi)B接的話（每個隱層神經(jīng)元都連接圖像的每一個像素點），就有 個連接，也就是1012個權值參數(shù)。121000 1000 1000000=10 局部連接網(wǎng)絡，每一個節(jié)點與上層節(jié)點同位置附近10 x10的窗口相連接，則1百萬個隱層神經(jīng)元就只有 ，即108個參數(shù)。

5、其權值連接個數(shù)比原來減少了四個數(shù)量級。861010010第21頁/共36頁第22頁/共36頁 1. 輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設定有6個不同的C1層，每一個C1層內(nèi)的權值是相同的。 2. S2層是一個下采樣層，由4個點下采樣為1個點，也就是4個數(shù)的加權平均，加權系數(shù)也需要通過學習得到。這個過程也叫做Pool。 3.我們很容易得到C3層的大小為10 x10，不過，C3層有16個10 x10網(wǎng)絡! 我們只需要按照一定的規(guī)則來組合S2的特征圖。具體的組合規(guī)則在 LeNet-5 系統(tǒng)中給出了下面的表格：第23頁/共36頁 4. S4 層是在C3

6、層基礎上進行下采樣，前面已述。在后面的層中每一層節(jié)點個數(shù)比較少，都是全連接層，這里不再贅述。小結：小結： 經(jīng)過計算，LeNet-5系統(tǒng)總共需要大約13萬個參數(shù)，這與前面提到的全連接系統(tǒng)每個隱藏層就需要百萬個參數(shù)有著天壤之別，極大地減少了計算量。 在以上的識別系統(tǒng)中，每個特征圖提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結構使得網(wǎng)絡對輸入樣本有較高的畸變?nèi)萑棠芰ΑＲ簿褪钦f，卷積神經(jīng)網(wǎng)絡通過局部感受野、共享權值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性。第24頁/共36頁Convolutional Neural Networks for P300 Detectio

7、n with Application toBrain-Computer Interfaces第25頁/共36頁第26頁/共36頁第27頁/共36頁第28頁/共36頁第29頁/共36頁2021-12-12 在卷積神經(jīng)網(wǎng)絡的學習過程當中，主要運用前向傳播和反向傳播兩種學習法則來優(yōu)化權值，學習到一個最優(yōu)的濾波器來提取特征。（1） 前向傳播 如果用l來表示當前的網(wǎng)絡層，那么當前網(wǎng)絡層的輸出為： 其中， 為網(wǎng)絡的輸出激活函數(shù)。輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù)。llllllbxWuufx1)(，其中(.)f（2） 反向傳播算法 我們假設訓練集有N個訓練樣本，一共分成2類。對于每

8、一個訓練樣本，我們會給予一個標簽，通過調(diào)整網(wǎng)絡輸出與給定標簽之間的誤差來訓練與改變權值。在代價函數(shù)方面，我們選擇采用平方誤差代價函數(shù)。因此N個訓練樣本的代價函數(shù)如下：NnknknkNytE1212)(21第30頁/共36頁2021-12-12 對于N個訓練樣本中的第n個訓練樣本，它的代價函數(shù)表示為：22212n21)(21nnknknkytytE 接下來需要根據(jù)每個樣本的輸出誤差來反向調(diào)節(jié)每一層當中的權值系數(shù)，即計算代價函數(shù)對應于卷積神經(jīng)網(wǎng)絡中的每個權值的偏導數(shù)：buuEbE1buuEbE 可以看到誤差對于bias基b的靈敏度和誤差對于一個節(jié)點的輸入u的導數(shù)是相等的。 對于非輸出層，第l層靈敏

9、度可以表示為： 而對于輸出層L的靈敏度為：)( )(11llTllufW)()( nnLLtyuf第31頁/共36頁2021-12-12 對于第l層，誤差對于每個權值的偏導數(shù)如下： 當前層神經(jīng)元的權值更新值如下：(3)卷積層 當接在卷積層的下一層為池化層時，由于池化層是有下采樣的，池化層和卷積層的神經(jīng)元無法一一對應。因此我們對池化層當中每一個神經(jīng)元的靈敏度組成的一個靈敏度圖進行上采樣。這樣一來，得到的靈敏度圖的大小便和卷積層的特征圖的大小相同了。公式如下：TlllxWE)(1llWEW)( )(11llTllufW第32頁/共36頁2021-12-12（4）池化層 對于池化層來說，輸入和輸出的特征圖數(shù)量是相等的，而不同的是每個特征圖的大小。池化層對每個特征圖進行下采樣，所以輸出的特征圖比起輸入的特征圖要變小了： 按照卷積神經(jīng)網(wǎng)絡的反向傳播算法的思路，我們應該先計算到池化層每個神經(jīng)元的靈敏度，然后再通過這個靈敏度更新偏置b和偏置參數(shù) 。其中偏置basi基b因為只是一個加性基，所以跟上述卷積層當中的計算一樣。把靈敏度圖當中的所有元素相加便可以得到： 偏置 是一個乘性基，所以會與前向傳播當中的池化過程