深度學(xué)習(xí)的深度信念網(wǎng)絡(luò)DBN

1、PPT模板下載： 深度置信網(wǎng)絡(luò)BDN學(xué)習(xí)報告自編碼算法自編碼神經(jīng)網(wǎng)絡(luò)嘗試學(xué)習(xí)一個 的函數(shù)，也就是說，它嘗試逼近一個恒等函數(shù)，從而使得輸出接近于輸入。恒等函數(shù)雖然看上去不太有學(xué)習(xí)的意義，但是當(dāng)我們?yōu)樽跃幋a神經(jīng)網(wǎng)絡(luò)加入某些限制，比如限定隱藏神經(jīng)元的數(shù)量，我們就可以從輸入數(shù)據(jù)中發(fā)現(xiàn)一些有趣的結(jié)構(gòu)。,( )w bhxx自編碼神經(jīng)網(wǎng)絡(luò)示例如果輸入數(shù)據(jù)中隱含著一些特定的結(jié)構(gòu)，比如某些輸入特征是彼此相關(guān)的，那么這一算法就可以發(fā)現(xiàn)輸入數(shù)據(jù)中的這些相關(guān)性。事實上，這一簡單的自編碼神經(jīng)網(wǎng)絡(luò)通常可以學(xué)習(xí)出一個跟主元分析(PCA)結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。“預(yù)訓(xùn)練”方法限制玻爾茲曼機（RBM）RBMRBM網(wǎng)絡(luò)

2、共有網(wǎng)絡(luò)共有2 2層，其中第一層稱為可視層，一般來說是輸入層，另一層層，其中第一層稱為可視層，一般來說是輸入層，另一層是隱含層，也就是我們一般指的特征提取層。是隱含層，也就是我們一般指的特征提取層。 是可視層與隱藏層之間是可視層與隱藏層之間的權(quán)重矩陣，的權(quán)重矩陣， 是可視節(jié)點的偏移量，是可視節(jié)點的偏移量， 是隱藏節(jié)點的偏移量。是隱藏節(jié)點的偏移量。隱含層隱含層可視層可視層n mWbc“預(yù)訓(xùn)練”方法限制玻爾茲曼機（RBM）1(1| )()mjjiijip hvw vc1(1| )()nijijijp vhw hb定義能量函數(shù)：,( , )iijjijijiji jE v hvbh cv h w 聯(lián)

3、合概率分布：Z為歸一化系數(shù)，其定義為：輸入層的邊緣概率為：( , )1( , )E v hp v heZ( , ),E v hv hZe( , )1( )E v hhp veZ限制玻爾茲曼機（RBM）計算方法權(quán)值更新網(wǎng)絡(luò)學(xué)習(xí)的目的是最大可能的擬合輸入數(shù)據(jù)，即最大化 。Hinton提出了一種快速算法，稱作contrastive divergence（對比分歧）算法。這種算法只需迭代k次，就可以獲得對模型的估計，而通常k等于1. CD算法在開始是用訓(xùn)練數(shù)據(jù)去初始化可見層，然后用條件分布計算隱層；然后，再根據(jù)隱層，同樣，用條件分布來計算可見層。這樣產(chǎn)生的結(jié)果是對輸入的一個重構(gòu)。根據(jù)CD算法：其中，

4、是學(xué)習(xí)率， 是樣本數(shù)據(jù)的期望， 是重構(gòu)后可視層數(shù)據(jù)的期望( )p vijijijdatareconwv hv hijdatav hijreconv h深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。其動機在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)的核心思路如下：無監(jiān)督學(xué)習(xí)用于每一層網(wǎng)絡(luò)的pre-train；每次用無監(jiān)督學(xué)習(xí)只訓(xùn)練一層，將其訓(xùn)練結(jié)果作為其高一層的輸入；用自頂而下的監(jiān)督算法去調(diào)整所有層。多層置信網(wǎng)

5、絡(luò)結(jié)構(gòu)首先，你需要用原始輸入 x(k) 訓(xùn)練第一個自編碼器，它能夠?qū)W習(xí)得到原始輸入的一階特征表示 h(1)(k)。多層置信網(wǎng)絡(luò)結(jié)構(gòu)接著，你需要把原始數(shù)據(jù)輸入到上述訓(xùn)練好的稀疏自編碼器中，對于每一個輸入 x(k)，都可以得到它對應(yīng)的一階特征表示 h(1)(k)。然后你再用這些一階特征作為另一個稀疏自編碼器的輸入，使用它們來學(xué)習(xí)二階特征 h(2)(k)。多層置信網(wǎng)絡(luò)結(jié)構(gòu)再把一階特征輸入到剛訓(xùn)練好的第二層稀疏自編碼器中，得到每個h(1)(k) 對應(yīng)的二階特征激活值 h(2)(k)。接下來，你可以把這些二階特征作為softmax分類器的輸入，訓(xùn)練得到一個能將二階特征映射到數(shù)字標(biāo)簽的模型。多層置信網(wǎng)絡(luò)結(jié)構(gòu)最終，你可以將這三層結(jié)合起來構(gòu)建一個包含兩個隱藏層和一個最終softmax分類器層的棧式自編碼網(wǎng)絡(luò)，這個網(wǎng)絡(luò)能夠如你所愿地對MNIST數(shù)字進(jìn)行分類。多層置信網(wǎng)絡(luò)結(jié)構(gòu) DBNs由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經(jīng)網(wǎng)絡(luò)類型如圖所示。多層置信網(wǎng)絡(luò)結(jié)構(gòu)最終在構(gòu)筑好整個網(wǎng)絡(luò)后，相當(dāng)于進(jìn)行了一次完整的無監(jiān)督學(xué)習(xí)。在確定了網(wǎng)絡(luò)的權(quán)值后，再次根據(jù)樣本，以BP神經(jīng)網(wǎng)絡(luò)的算法，進(jìn)行一次有監(jiān)督的學(xué)習(xí)過程。這一過程被