深度學習深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)

1、 i #深度學習-深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)概述深度信念網(wǎng)絡(luò)(DeepBeliefNetwork,DBN)由GeoffreyHinton在2006年提出。它是一種生成模型，通過訓練其神經(jīng)元間的權(quán)重，我們可以讓整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓練數(shù)據(jù)。我們不僅可以使用DBN識別特征、分類數(shù)據(jù)，還可以用它來生成數(shù)據(jù)。下面的圖片展示的是用DBN識別手寫數(shù)字：nsnsna圖1用深度信念網(wǎng)絡(luò)識別手寫數(shù)字。圖中右下角是待的上方有三層隱性神經(jīng)元。每一個黑色矩形代表一層神經(jīng)元狀態(tài)的神經(jīng)元，黑色代表處于關(guān)閉狀態(tài)的神經(jīng)一的黑白位圖，它點代表處于開啟下方即使別結(jié)果，與畫妥數(shù)字。面左角I的對。注

2、意頂F面是展示了一個學習了大量英文維基百科文章的DBN所生成的自然語言段落: In1974NorthernDenverhadbeenovershadowedbyCNL,andseveralIrishintelligenceagenciesintheMediterraneanregion.However,ontheVictoria,KingsHebrewstatedthatCharlesdecidedtoescapeduringanalliance.Themansionhousewascompletedin1882,thesecondinitsbridgeareomitted,whileclos

3、ingistheprotonreticulumcomposedbelowitaims,suchthatitistheblurringofappearingonanywell-paidtypeofboxprinter.DBN由多層神經(jīng)元構(gòu)成，這些神經(jīng)元又分為顯性神經(jīng)元和隱性神經(jīng)元(以下簡稱顯元和隱元)。顯元用于接受輸入，隱元用于提取特征。因此隱元也有個別名，叫特征檢測器(featuredetectors)。最頂上的兩層間的連接是無向的，組成聯(lián)合內(nèi)存(associativememory)o較低的其他層之間有連接上下的有向連接。最底層代表了數(shù)據(jù)向量(datavectors)，每一個神經(jīng)元代表數(shù)據(jù)向量

4、的一維。DBN的組成元件是受限玻爾茲曼機(RestrictedBoltzmannMachines,RBM)o訓練DBN的過程是一層一層地進行的。在每一層中，用數(shù)據(jù)向量來推斷隱層，再把這一隱層當作下一層(高一層)的數(shù)據(jù)向量。受限玻爾茲曼機如前所述，RBM是DBN的組成元件。事實上，每一個RBM都可以單獨用作聚類器。RBM只有兩層神經(jīng)元，一層叫做顯層(visiblelayer),由顯兀(visibleunits)組成，用于輸入訓練數(shù)據(jù)。另一層叫做隱層(Hiddenlayer),相應(yīng)地,由隱兀(hiddenunits)組成，用作特征檢測器(featuredetectors)。hiddenunitsv

5、isibleunits圖2受限玻爾茲曼機的結(jié)構(gòu)。圖中的較上一層神經(jīng)元組成隱層，較下的神經(jīng)元組成顯元。每一層都可以用一個向量來表示，每一維表示每個神經(jīng)元。注意這兩層間的對稱(雙向)連接。神經(jīng)元之間的條件獨立性應(yīng)注意到，顯層和隱層內(nèi)部的神經(jīng)元都沒有互連，只有層間的神經(jīng)元有對稱的連接線。這樣的好處是，在給定所有顯元的值的情況下，每一個隱元取什么值是互不相關(guān)的。也就是說，日|町=匸：=嚴(眄|V)同樣，在給定隱層時，所有顯元的取值也互不相關(guān)：PhIh)=n戸丨h(huán))有了這個重要性質(zhì)，我們在計算每個神經(jīng)元的取值情況時就不必每次計算一個,而是同時并行地計算整層神經(jīng)元。使用RBM的過程假設(shè)我們現(xiàn)在已經(jīng)得到一個

6、訓練好的RBM，每個隱元與顯元間的權(quán)重用矩陣W表示，且：甲二代表顯元的個數(shù)，N代表其中Wj代表從第i個顯元到X(丫隱元的個數(shù)。那么，當我們把一條新來的數(shù)據(jù)-：附給(clampto)顯層后，RBM將會依照權(quán)值W來決定開啟或關(guān)閉隱元。具體的操作如下：首先，將每個隱元的激勵值(activation)計算出來：h=Wx注意，這里用到了前面提到的神經(jīng)元之間的條件獨立性。然后，將每個隱元的激勵值都用s形函數(shù)進行標準化，變成它們處于開啟狀(用i表示)的概率值: # #此處的S形函數(shù)我們采用的是Logistic函數(shù): 至此，每個隱元hj開啟的概率被計算出來了。其處于關(guān)閉狀態(tài)(用0表示)的概率自然也就是P(hj

7、=0)=1P(氣=1)那么到底這個元開啟還是關(guān)閉，我們需要將開啟的概率與一個從0,1均勻分布中抽取的隨機值t/(0,1)進行如下比較1p(h.=i)u0,P(h1)然后開啟或關(guān)閉相應(yīng)的隱元。給定隱層，計算顯層的方法是一樣的。訓練RBMRBM的訓練過程，實際上是求出一個最能產(chǎn)生訓練樣本的概率分布。也就是說,要求一個分布，在這個分布里，訓練樣本的概率最大。由于這個分布的決定性因素在于權(quán)值W,所以我們訓練RBM的目標就是尋找最佳的權(quán)值。為了保持讀者的興趣，這里我們不給出最大化對數(shù)似然函數(shù)的推導過程，直接說明如何訓練RBM。G.Hinton提出了名為對比散度(ContrastiveDivergence

8、)的學習算法。F面我們來詳述它的具體過程。我們沿用前文的符號記法。算法1.對比散度對于訓練集中的每一條記錄算法丄對比故度對于訓練集中的4董i己錄工有：將訓跆顯層艸，譏算它使隱抽經(jīng)元彼Jf啟的嘅率f（皆）=ii嚴）=曲網(wǎng)卍）式中的上標用于區(qū)別不同向量下標用于朗恫一向最中的不碉。然民從計算出的概率分創(chuàng)鈾取一t樣本h冏-科卅）嚴）用巫構(gòu)顯層現(xiàn)年=l|h）=mwW）同樣，抽取出顯層的一樣本隹次年SI層神經(jīng)元隹構(gòu)之悟的口噂岀隱層神經(jīng)元被開啟的概率F（H：=1|円）二別必円）如此訓練烹后的粒RBM就能較為準確地提取顯層的特征，或者根據(jù)隱層所代表的特征還原顯層了。W+激腫=11理）理一砒=1|/”丁深度信念

9、網(wǎng)絡(luò)前文我們已經(jīng)介紹了RBM的基本結(jié)構(gòu)和其訓練、使用過程，接下來我們介紹DBN的相關(guān)內(nèi)容。DBN是由多層RBM組成的一個神經(jīng)網(wǎng)絡(luò)，它既可以被看作一個生成模型，也可以當作判別模型，其訓練過程是：使用非監(jiān)督貪婪逐層方法去預(yù)訓練獲得權(quán)值。訓練過程：首先充分訓練第一個RBM；固定第一個RBM的權(quán)重和偏移量，然后使用其隱性神經(jīng)元的狀態(tài)，作為第二個RBM的輸入向量；充分訓練第二個RBM后，將第二個RBM堆疊在第一個RBM的上方；重復以上三個步驟任意多次；如果訓練集中的數(shù)據(jù)有標簽，那么在頂層的RBM訓練時，這個RBM的顯層中除了顯性神經(jīng)元，還需要有代表分類標簽的神經(jīng)元，一起進行訓練：a）假設(shè)頂層RBM的顯層

10、有500個顯性神經(jīng)元，訓練數(shù)據(jù)的分類一共分成了10類；b）那么頂層RBM的顯層有510個顯性神經(jīng)元，對每一訓練訓練數(shù)據(jù)，相應(yīng)的標簽神經(jīng)元被打開設(shè)為1，而其他的則被關(guān)閉設(shè)為0。DBN被訓練好后如下圖：（示意）2/1訓練好INE-TUNIN程是一個判別模型是在最頂層RBM中參與訓h00另:vOOO000000調(diào)優(yōu)過程*Fine-TUSing):PWlh)生成模型使用ContrastiveWake-Sleep算法進行調(diào)優(yōu)，其算法過程是：除了頂層RBM,其他層RBM的權(quán)重被分成向上的認知權(quán)重和向下的生成權(quán)重；Wake階段：認知過程，通過外界的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是如果現(xiàn)實跟我想象的不一樣，改變我的權(quán)重使得我想象