基于深度置信網(wǎng)的絡(luò)的快速學(xué)習(xí)方法

1、A Fast Learning Algorithm for Deep Belief Nets基于深度置信網(wǎng)的快速學(xué)習(xí)算法杰弗里e辛頓西蒙O計(jì)算機(jī)科學(xué)、多倫多大學(xué)、加拿大多倫多m5 3 g4Yee-WhyeT.sg新加坡國立大學(xué)計(jì)算機(jī)科學(xué)系,新加坡117543我們介紹了如何使用“complementary priors馬爾可夫鏈中的平衡分布”去減少解釋在含有許多隱藏的層的緊密連接置信網(wǎng)方面推理比較困難的影響。利用先驗(yàn)互補(bǔ)，倘若最高的兩側(cè)形成一個無向聯(lián)想記憶，我們

2、同時可以得到這樣一個含有一個層次的快速貪心算法?？焖儇澬乃惴ū挥脕沓跏蓟粋€慢學(xué)習(xí)的過程，它通過使用喚醒睡眠算法喚醒睡眠算法是神經(jīng)網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)算法（如乙狀結(jié)腸信念網(wǎng)）。培訓(xùn)分為兩個階段，“喚醒”和“睡眠”。的對比版本微調(diào)權(quán)重。微調(diào)后，含有三個隱藏層的網(wǎng)絡(luò)形成一個很好的關(guān)于手寫數(shù)字圖像和標(biāo)簽的聯(lián)合分布的生成模型。相對于最好的判別式算法而言，生成模型給出了更好的數(shù)字分類。使用頂層聯(lián)想記憶的在自由能量景觀的長峽谷來對數(shù)字謊言的低維流形進(jìn)行建模，便于我們探討這些峽谷，通過使用直接連接的方式展示已經(jīng)形成的聯(lián)想記憶。1引言學(xué)習(xí)緊密連接且含有多個隱藏層定向的信念網(wǎng)的過程是不易的，因?yàn)楫?dāng)給定一個數(shù)據(jù)向量時

3、，它是很難推斷隱藏活動的條件分布。對于真實(shí)的條件分布，變分方法使用簡單的近似值，但近似值可能會很差，特別是在先驗(yàn)假設(shè)獨(dú)立的最深的隱藏層。同時，變量的學(xué)習(xí)還要求所有的參數(shù)在一起學(xué)習(xí)，這使得學(xué)習(xí)時間尺度隨著參數(shù)的數(shù)量增加而變得越差。我們描述了一個模型，其中頂部的兩個隱含層形成一個無向聯(lián)想記憶（見圖1），其余的隱藏層形成一個有向無環(huán)圖，將聯(lián)想記憶的表示轉(zhuǎn)化為可觀測變量，比如一個圖像的像素。這種混合模型具有一些比較吸引人的特征：這可能是另一種感知器的最高級圖1：這種網(wǎng)絡(luò)用于數(shù)字圖像和數(shù)字標(biāo)簽的聯(lián)合分布的建模。在這篇文章中，每個訓(xùn)練實(shí)例包含一個圖像和一個明確的類標(biāo)簽，然而進(jìn)展中的工作表明，相同的學(xué)習(xí)算法

4、可以被使用，如果“標(biāo)簽”是由多層通路的輸入的光譜圖從多個不同的發(fā)言者分離數(shù)字所替換。則這種網(wǎng)絡(luò)學(xué)習(xí)產(chǎn)生包括圖像和相同數(shù)字類的光譜圖對。 快速貪心學(xué)習(xí)算法，可以快速地找到一組比較好的參數(shù)，即使對于含有無數(shù)的參數(shù)和許多隱藏的層的深度網(wǎng)絡(luò)。 學(xué)習(xí)算法是無監(jiān)督的，但是可以通過學(xué)習(xí)一個模型被應(yīng)用于標(biāo)記數(shù)據(jù)，產(chǎn)生標(biāo)簽和數(shù)據(jù)模型。 微調(diào)算法是一個很好地生成模型，在對MNIST手寫數(shù)字?jǐn)?shù)據(jù)集處理方面優(yōu)于判別方法。 生成模型在深度隱藏層方面更容易去解釋分布式表征方法。 推理過程要求形成一個快速而且準(zhǔn)確的感知器。 學(xué)習(xí)算法是局部的。突觸強(qiáng)度的調(diào)整僅取決于突觸前和突觸后神經(jīng)元的狀態(tài)。 溝通是簡單的。神經(jīng)元只需要與它

5、們的隨機(jī)的二進(jìn)制狀態(tài)進(jìn)行溝通。第2節(jié)介紹了先驗(yàn)的“互補(bǔ)”的思想，取消“解釋”的現(xiàn)象，使得在定向模型中推理變得比較困難。我們給出了一個關(guān)于帶有先驗(yàn)互補(bǔ)的定向置信網(wǎng)的例子。第3節(jié)介紹了受限玻爾茲曼機(jī)與帶有權(quán)重的無限定向網(wǎng)絡(luò)之間的等價性第4節(jié)介紹了一種用于每次在單層構(gòu)造多層定向網(wǎng)絡(luò)的快速貪心學(xué)習(xí)算法。利用變分約束，它顯示了當(dāng)每增加一個新的層時，整體生成模型提高了。在推進(jìn)重復(fù)使用相同的“弱”的學(xué)習(xí)者方面，貪心算法有些相似之處。但是不是重置每個數(shù)據(jù)向量去確保下一步學(xué)習(xí)到新的一些東西。它只是表示它?！叭酢钡膶W(xué)習(xí)者是用來構(gòu)造深度定向網(wǎng)，它本身是一個無向圖模型。第5部分介紹了如何使用自上而下的算法微調(diào)快速貪心

6、算法的方式產(chǎn)生權(quán)重。與喚醒睡眠算法進(jìn)行對比，它不會引起導(dǎo)致喚醒睡眠算法去學(xué)習(xí)差的識別權(quán)重這樣的“平均模式”問題。第6節(jié)介紹了手寫體數(shù)字在MNIST數(shù)據(jù)集中，含有三個隱含層和大約1700000個權(quán)重的網(wǎng)絡(luò)的模式識別的性能。如果沒有利用幾何的相關(guān)知識和特殊的數(shù)據(jù)預(yù)處理，在10000個數(shù)字的官方測試集中，該網(wǎng)絡(luò)的泛化性能有1.25%的錯誤率。當(dāng)對于這項(xiàng)特殊的應(yīng)用沒有人為的改造時，它比可以錯誤率達(dá)到1.5%的BP網(wǎng)絡(luò)要好得多。對于同一個任務(wù)而言，它也比Decoste和Schoelkopf(2002)提出的支持向量機(jī)的錯誤率達(dá)到1.4%要稍微好點(diǎn)。最后，第7節(jié)當(dāng)沒有運(yùn)行被約束的可視化輸入時，該網(wǎng)絡(luò)將會發(fā)

7、生怎么的變化。該網(wǎng)絡(luò)是一個完整的生成模型，所以便于我們可以從高層表示中簡單地生成一個圖像，而容易地理解它的思想，本文，我們考慮了由隨機(jī)二進(jìn)制變量組成的網(wǎng)絡(luò)，但是這種思想可以被推廣應(yīng)用到其他的模型中，該模型中變量的變量的對數(shù)概率的是一個關(guān)于它直接連接的鄰居狀態(tài)的加性函數(shù)。圖2：一個簡單的邏輯信念網(wǎng)包含兩個獨(dú)立的，僅有的因素。我們觀察房子震動的時這兩個因素是高度不相關(guān)的。地震節(jié)點(diǎn)偏置-10意味著在沒有任何觀察的情況下，這個節(jié)點(diǎn)較比往常有E10倍可能發(fā)生地震。如果地震節(jié)點(diǎn)變動而卡車節(jié)點(diǎn)不變動，則下了一跳節(jié)點(diǎn)總投入為0，這意味著有一個機(jī)會存在。這是對于我們觀察房子震動的可能性為e-20的一個更好的解釋

8、。它適用隱藏因素都不活躍得情況。但是用兩個隱藏因素與解釋我們觀察的結(jié)果是沒有意義的，因?yàn)樗麄儍蓚€加在一起發(fā)生的可能性大小為E10*E10=e-20。當(dāng)?shù)卣鸸?jié)點(diǎn)變化時，它“解釋了”對于汽車節(jié)點(diǎn)變化的證據(jù)。2先驗(yàn)互補(bǔ)解釋這一現(xiàn)象在（如圖2所示）進(jìn)行推理定向信念網(wǎng)時比較難。在緊密連通網(wǎng)絡(luò)中，隱藏變量的后驗(yàn)分布比較難理解，除了少數(shù)特殊情況下，如混合模型或帶有高斯噪聲的線性模型。使用馬爾可夫鏈蒙特卡羅方法（尼爾，1992）可以從后驗(yàn)樣本中取樣，但這樣比較浪費(fèi)時間。變分方法（尼爾和Hinton，1998）可以粗略的估計(jì)更容易處理的后驗(yàn)分布，也可以用來改善對訓(xùn)練數(shù)據(jù)的對數(shù)概率約束。值得欣慰的是，學(xué)習(xí)是保證提

9、高變分約束，甚至隱藏狀態(tài)的推理是錯誤的，但它會找到一種更好的方式去完全消除解釋，即使在隱藏變量與可見變量密切相關(guān)的模型中。它是普遍認(rèn)為是不可能的。一個邏輯信念網(wǎng)絡(luò)（尼爾，1992）是由隨機(jī)的二進(jìn)制單元組成的。當(dāng)網(wǎng)絡(luò)產(chǎn)生數(shù)據(jù)時，打開的單元i的概率是它的直接前驅(qū)j和定向連接的前驅(qū)的權(quán)重wij的一個邏輯函數(shù)：其bi是單元i的偏置。當(dāng)模型產(chǎn)生數(shù)據(jù)時，如果邏輯信念網(wǎng)僅含有一個隱含層，那么隱藏變量的先驗(yàn)分布是成階乘關(guān)系的，因?yàn)楫?dāng)模型用于生成數(shù)據(jù)時，它們的二進(jìn)制狀態(tài)是相互獨(dú)立的。創(chuàng)建非獨(dú)立性的后驗(yàn)分布來自數(shù)據(jù)的似然函數(shù)。也許我們可以通過使用特殊的隱藏層去創(chuàng)建一個“互補(bǔ)”的先驗(yàn)，在似然函數(shù)中它們完全不相關(guān)，來

10、在第一隱藏層消除解釋。然后，當(dāng)似然函數(shù)乘以先驗(yàn)時，我們會得到一個精確的階乘的后驗(yàn)。先驗(yàn)互補(bǔ)的存在不是顯而易見的，而圖3介紹了一個關(guān)于帶有權(quán)重的邏輯信念網(wǎng)的簡單例子，該網(wǎng)絡(luò)中每一個隱含層的先驗(yàn)都是互補(bǔ)的。（附錄A給出了在先驗(yàn)互補(bǔ)的條件下更一般的條件的處理）。使用綁定的權(quán)重去構(gòu)造先驗(yàn)互補(bǔ)的方式可能僅僅只是一種方式，這方面在構(gòu)造定向模型和非定向模型時等同的。然而，正如我們所觀察到的，它會產(chǎn)生一個新的非常有效的算法，該算法的主要思想是通過較高層的權(quán)重然后逐層分解每層的權(quán)重。2.1帶有權(quán)重的無限定向模型我們可以從圖3的無限定向網(wǎng)絡(luò)中產(chǎn)生數(shù)據(jù)，通過它的無限深度隱藏層的隨機(jī)結(jié)構(gòu)開始。然后根據(jù)自上而下的算法執(zhí)

11、行自上而下的“祖先”過程，在這個過程中，每一層的每個變量是從伯努利分布中選擇出來的，伯努利分布是由以上各層的活躍父節(jié)點(diǎn)獲取輸入值自上而下決定的。在這方面，它同其他定向無環(huán)信念網(wǎng)相似。然而，不同其他定向網(wǎng)絡(luò)之處在于，我們可以在所有的隱藏層上的真實(shí)的后驗(yàn)分布取樣，通過可見單元上的數(shù)據(jù)向量開始，然后輪流在每一個隱藏層上利用轉(zhuǎn)置權(quán)矩陣去推斷階層分布。在每一個隱藏層，我們在計(jì)算每層上的階層因子的后驗(yàn)之前從階層后驗(yàn)取樣。附錄A介紹了一個無偏樣本的程序。圖3：帶有權(quán)重的無限邏輯信念網(wǎng)。向下的箭頭代表生成模型。向上的箭頭不是模型的一部分。他們表示當(dāng)一個數(shù)據(jù)向量在V0上添加數(shù)據(jù)時，該網(wǎng)絡(luò)中每一個隱藏層的后驗(yàn)分布

12、中用于推斷樣本。因?yàn)橹懊繉拥南闰?yàn)互補(bǔ)在推論后分布是階乘的。因?yàn)槲覀兛梢詮恼鎸?shí)的后驗(yàn)分布取樣，讓我們計(jì)算數(shù)據(jù)的對數(shù)概率的導(dǎo)數(shù)。我們可以計(jì)算從H0層的單元j到V0層的單元i的生成權(quán)重Wij的導(dǎo)數(shù)。在邏輯信念網(wǎng)絡(luò)中，對于單個的數(shù)據(jù)向量V0的最大似然估計(jì)規(guī)則為：其中表示平均采樣狀態(tài)，如果被采樣的隱藏狀態(tài)的可見向量被隨機(jī)的重建，表示單元i被打開時的概率。從第一隱藏層H0的取樣的二進(jìn)制狀態(tài)計(jì)算第二隱藏層V1的后驗(yàn)分布，該過程和重建數(shù)據(jù)的過程是相同的。所以是概率的伯努利隨機(jī)變量的樣本。因此它的學(xué)習(xí)規(guī)則可以寫為：從公式2.2推導(dǎo)2.3的過程中，在上的依賴是毫無疑問的。因?yàn)槭窃跅l件下的期望。由于權(quán)重是可以被復(fù)

13、制的，生成權(quán)重的全導(dǎo)數(shù)是所有兩兩對層權(quán)重的導(dǎo)數(shù)之和：除了第一個和最后一個取消，所有成對的產(chǎn)品遵循玻爾茲曼機(jī)的學(xué)習(xí)公式3.1計(jì)算規(guī)則。注：1代過程的收斂的馬爾可夫鏈的平穩(wěn)分布，所以我們需要在一個層，它需要鏈時間比較深的開始達(dá)到平衡。2這是相同的作為喚醒睡眠算法的推理過程（Hinton等人。，1995）但在這封信中沒有描述的變分近似模型是因?yàn)橥评磉^程給出了無偏樣本。3受限玻爾茲曼機(jī)的對比散度學(xué)習(xí)圖3的無限的有向網(wǎng)絡(luò)相當(dāng)于一個受限玻爾茲曼機(jī)（RBM）可能不會容易明顯的理解。RBM的每個隱藏單元一個單層都互不相連并且與可見單元的每個層都有無向的堆成的連接。從RBM產(chǎn)生數(shù)據(jù)，我們可以從這些層中的一層的隨

14、機(jī)狀態(tài)開始，然后利用吉布斯交替執(zhí)行采樣。每一層的所有單元的更新都是并行的，并給出了其他層的單元的現(xiàn)行狀態(tài)。所有的單位在一層并行更新了單位的現(xiàn)狀在另一層，重復(fù)執(zhí)行直到系統(tǒng)抽樣達(dá)到平衡分布。注意，這和從帶有權(quán)重的無限信念網(wǎng)絡(luò)中生成數(shù)據(jù)的過程是完全相同的。在一個RBM中執(zhí)行在一個以最大似然法的學(xué)習(xí)，我們可以利用差異的相關(guān)性。在可見層i和隱藏層j中的每個權(quán)重Wij，當(dāng)在可見層和隱藏層中的一個數(shù)據(jù)向量從它們的條件分布中取樣，并且是階乘的，我們可以估測它的相關(guān)性。然后，利用交流吉布斯采樣，如圖4所我們運(yùn)行的馬爾可夫鏈，直到達(dá)到它的平穩(wěn)分布和測量出相關(guān)性。訓(xùn)練數(shù)據(jù)的對數(shù)概率的梯度，則為：圖4：這是一個馬爾可

15、夫鏈，使用吉布斯交替采樣。在吉布斯采樣的一個完整步驟中，頂層的隱單元都是并行更新的，通過利用公式2.1輸入頂層可見單元的現(xiàn)行狀態(tài)得到的值。然后可見單元都并行更新，給出目前的隱藏狀態(tài)。和數(shù)據(jù)向量相同，馬爾可夫鏈通過設(shè)置可見單元的二進(jìn)制狀態(tài)的過程進(jìn)行初始化。在隱藏單元第一次更新后，可見單元和隱藏單元的活動相關(guān)性可以被測量。在馬爾可夫鏈的末尾再一次執(zhí)行。這兩個相關(guān)性的差異提供了更新連接的權(quán)重的學(xué)習(xí)方法。對于帶有權(quán)重的無限邏輯信念網(wǎng)，這種學(xué)習(xí)規(guī)則等同于最大似然學(xué)習(xí)規(guī)則。吉布斯取樣的每一步都等同于計(jì)算邏輯信念網(wǎng)絡(luò)的一層的精確的后驗(yàn)分布。最大化數(shù)據(jù)的對數(shù)概率等同于最小化數(shù)據(jù)和由模型定義的平衡分布的KL散度

16、KL（|）。在對比散度學(xué)習(xí)的過程中（辛頓，2002），在第二個相關(guān)性之前我們運(yùn)行n步驟的馬爾可夫鏈。這相當(dāng)于不考慮無限網(wǎng)的高層的導(dǎo)數(shù)。這些被忽略的導(dǎo)數(shù)之和是層的后驗(yàn)分布的對數(shù)概率的導(dǎo)數(shù)，也是在層和由模型定義的平衡分布的KL散度。所以兩個KL散度的對比散度學(xué)習(xí)最小化差異為：忽略采樣噪聲，這種差異是積極的。因?yàn)榧妓钩闃佑脕韽漠a(chǎn)生，而且吉布斯總是降低有平衡分布的Kullback-Leibler散度。我們還注意到，取決于當(dāng)前模型的參數(shù)，并且隨著參數(shù)的變化，的變化被對比散度學(xué)習(xí)忽略。這個問題不會隨著而出現(xiàn)，因?yàn)橛?xùn)練數(shù)據(jù)不依賴于參數(shù)。極大似然和對比散度學(xué)習(xí)規(guī)則的關(guān)系的經(jīng)驗(yàn)調(diào)查可以在Carreira-Pe

17、rpinanand Hinton (2005)被發(fā)現(xiàn)。對比散度學(xué)習(xí)在受限玻爾茲曼機(jī)中的應(yīng)用是非常有效的(Mayraz& Hinton, 2001)。使用實(shí)值的單元和不同的取樣方案的變化（Variations）在Teh,Welling, Osindero, and Hinton (2003)中有描述。并且已經(jīng)相當(dāng)?shù)爻晒Φ膽?yīng)用于地形圖的生成模型(Welling, Hinton,&Osindero,2003)、自然圖像去噪(Roth & Black, 2005)或生物細(xì)胞圖像(Ning et al., 2005)。Marks &movellan（2001）描述了一種使用對比散度去研究因子分析的方式。

18、Welling,Rosen-Zvi, and Hinton (2005)介紹了邏輯，二進(jìn)制可見單元的網(wǎng)絡(luò)和線性，高斯隱單元可以用于快速文件檢索。然而，它看起來似乎是以高的代價帶來了效率：但是當(dāng)應(yīng)用在具有明顯路徑時，對比散度學(xué)習(xí)不能適應(yīng)于在每一層帶有不同權(quán)重的深度多層網(wǎng)絡(luò)。因?yàn)檫@些網(wǎng)絡(luò)花費(fèi)太多的時間才能達(dá)到含有一個數(shù)據(jù)向量的均衡條件。我們現(xiàn)在介紹在RBMs和帶有權(quán)重的無限定向網(wǎng)絡(luò)之間的等價性，為不含有權(quán)重的多層網(wǎng)絡(luò)提出一個有效的學(xué)習(xí)算法。注釋：每個全步驟都是由給定v更新h，然后在給定h更新v。4.基于轉(zhuǎn)換表示的貪心學(xué)習(xí)算法學(xué)習(xí)復(fù)雜模型的有效方式就是結(jié)合一組較簡單的被順序?qū)W習(xí)的模型。為了迫使順序模

19、型學(xué)習(xí)的東西不同于之前模型的內(nèi)容，在每一個模型被學(xué)習(xí)之后，數(shù)據(jù)需要做一些調(diào)整。為了促進(jìn)每一個順序模型上的加權(quán)數(shù)據(jù)被訓(xùn)練，需要強(qiáng)調(diào)先前的模型時錯誤的。在主要分量分析的一個版本中，模型化方向的方差被刪除，因此迫使下一個建模方向依賴于正交的子空間（Sanger，1989）。在投影尋蹤（弗里德曼和Stuetzle，1981），通過在數(shù)據(jù)空間中非線性扭曲把數(shù)據(jù)轉(zhuǎn)換成一個方向，然后在那個方向刪除所有的非高斯分布。這種思想支持我們的貪心算法去允許每個序列模型接受數(shù)據(jù)的不同表示形式。該模型對輸入的向量進(jìn)行非線性變換，輸出向量將作為序列中下一個模型的輸入。圖5：混合網(wǎng)絡(luò)。前兩層具有無向連接形成聯(lián)想記憶。下面的層

20、是有向，自上而下的生成連接，它可應(yīng)用于形成一個圖像的聯(lián)想記憶的狀態(tài)。以下各層也有定向、自底向上的認(rèn)知連接，可用于在一層從二進(jìn)制活動推斷階乘表示。在貪心初始學(xué)習(xí)過程中，認(rèn)知連接與生成連接是相關(guān)聯(lián)的。圖5顯示了一個多層生成模型，其上的前兩層通過無向連接交互，而其他所有的連接都是有向的。頂部的無向連接相當(dāng)于許多帶有權(quán)重的無限高層。中間沒有夾層連接，可以簡化分析的過程并且所有層都含有相同的單元數(shù)。通過假設(shè)較高層之間的參數(shù)用于構(gòu)建先驗(yàn)互補(bǔ)，對于參數(shù)學(xué)習(xí)價值是可取的（盡管不是最優(yōu)的）。這等同于所有的權(quán)矩陣是等同的。在這種假設(shè)下學(xué)習(xí)的任務(wù)歸結(jié)于學(xué)習(xí)一個RBM，盡管這仍然很困難，但是通過最小化對比散度學(xué)習(xí)可以

21、快速獲取較好的近似解。一旦被學(xué)習(xí)，在第一隱藏層數(shù)據(jù)可以通過映射去創(chuàng)建較高級的“數(shù)據(jù)”。如果RBM是一個完美的原始數(shù)據(jù)模型，那么較高級別的“數(shù)據(jù)”已被較高級的權(quán)矩陣建模。然而，一般來說RBM無法對源數(shù)據(jù)進(jìn)行完美的建模，我們可以使用下面的貪婪算法獲得更好的生成模型：1 了解假設(shè)所有的權(quán)重矩陣是并列的。2 凍結(jié)和致力于使用去推斷在第一隱藏層上的變量狀態(tài)的階乘近似后驗(yàn)分布。即使后面在較高級的權(quán)重發(fā)生改變，意味著這種推理方法不再是正確的。3 保持較高的權(quán)重矩陣彼此并列，但是當(dāng)學(xué)習(xí)通過使用轉(zhuǎn)化源數(shù)據(jù)生成較高級“數(shù)據(jù)”的一個RBM模型時，需要從釋放。如果這種貪心算法改變更高層次的權(quán)矩陣，它保證提高生成模型。

22、正如Neal andHinton (1998)所介紹的，在多層生成模型下，單個數(shù)據(jù)向量的負(fù)的對數(shù)概率受約束于自由能量的變化，它是在近似分布情況下的期望能量，減去分布的熵。對于有向模型來說，這種配置，h0的能量是由下式給出：所以約束為：其中是第一隱層單元的二進(jìn)制配置，P（）是當(dāng)前模式下的先驗(yàn)概率（即由上的權(quán)重定義的），并且是第一隱藏層的二進(jìn)制配置上的任何概率分布。當(dāng)且僅當(dāng)是真實(shí)的后驗(yàn)分布，這種約束才是等價的。當(dāng)所有的權(quán)重矩陣是捆綁在一起的，上的階乘分布通過在一個數(shù)據(jù)向量上應(yīng)用產(chǎn)生的，是真實(shí)的后驗(yàn)分布。所以在貪心算法的第二步，對數(shù)P（）等價于約束，步驟2凍結(jié)和，并與這些元素都是固定的，約束的導(dǎo)數(shù)等

23、同于下式的導(dǎo)數(shù)所以最大化的更高層次的權(quán)重的約束，正是相當(dāng)于最大化數(shù)據(jù)集的對數(shù)概率，發(fā)生的概率為。如果約束變得更加緊密，對數(shù)P（）可能下降，盡管它的下界增加，但是在貪心算法的第二步對數(shù)P（）不會低于它自己的價值，因?yàn)樵谶@個點(diǎn)上的約束是緊密的而且總是增加的。貪心算法可以遞歸地應(yīng)用。所以，如果我們用全最大似然的玻爾茲曼機(jī)學(xué)習(xí)算法去學(xué)習(xí)每個權(quán)重集合。然后我們從以上的權(quán)重分解集合的最底層。我們可以一次保證學(xué)習(xí)一層的權(quán)重，從來不會減少在模型下數(shù)據(jù)的對數(shù)概率的約束。實(shí)際上，我們用對比散度學(xué)習(xí)取代最大似然玻爾茲曼機(jī)，因?yàn)樗男瘦^高而且快速。使用對比散度學(xué)習(xí)保證會無效，但是如果我們有足夠的耐心學(xué)習(xí)每一層，我們

24、需要知道額外的其他層確保去改善未完善的模型。為了保證生成的模型是由貪婪地學(xué)習(xí)更多的層所改善的，它是方便的考慮模型中的所有層是相同大小的，以便較高層的權(quán)重在被從以下層分解之前可以初始化為所學(xué)的價值。然而，相同的貪心算法可以應(yīng)用甚至對于層的大小不相同的情況下。5 自上而下算法的反向擬合一次學(xué)習(xí)單層的權(quán)矩陣是有效的但不是最優(yōu)的。一旦高層的權(quán)重被學(xué)習(xí)，對于較低層的權(quán)重和簡單的推理過程都不是最優(yōu)的。對于無監(jiān)督的方法比如boosting相對地可以產(chǎn)生次優(yōu)的。標(biāo)簽通常是稀缺的，每個標(biāo)簽可能只提供一些約束參數(shù)，所以過度擬合要比低度擬合會帶來更多的問題。因此重回去調(diào)整之前的模型可能弊大于利。然而，無監(jiān)督方法可以

25、使用非常大的未標(biāo)記的數(shù)據(jù)集，每個案例可能是高維的，從而在生成模型提供多點(diǎn)約束。因此低度擬合是一個嚴(yán)重問題，它可以通過后面的順序擬合階段的過程而減輕，我們之前學(xué)習(xí)的權(quán)重會隨著后來學(xué)習(xí)的權(quán)重進(jìn)行調(diào)整更好的適合在對于每層的權(quán)重，在貪心學(xué)習(xí)好的初始值之后，我們從定義模型的生成權(quán)重去分解開用于推理的“識別”權(quán)重。但是必須保留有階乘分布估計(jì)得每層的后驗(yàn)約束。其中層內(nèi)變量條件依賴于以下各層的變量的值。喚醒睡眠算法的變體由Hinton等人描述過（1995），后來被適用于較高層的權(quán)重去改變較低層的權(quán)重，在“向上”的過程中，認(rèn)知權(quán)重在自底向上的過程使用，隨機(jī)地為每個隱藏層挑選狀態(tài)。在等式2.2（5）用最大似然學(xué)習(xí)

26、規(guī)則調(diào)整有向連接的生成權(quán)重。如前所述，擬合頂層的RBM到倒數(shù)第二層的后驗(yàn)分布，學(xué)習(xí)頂層的無向連接的權(quán)重?！跋蛳隆睆捻攲拥穆?lián)想記憶的狀態(tài)開始，進(jìn)而使用自頂向下的的生成連接隨機(jī)的輪流激活每個較低層。在向下的過程中，頂層無向連接和生成的有向連接都不會發(fā)生變化。只有自底向上的權(quán)重被修改。如果在初始化向下的過程之前允許聯(lián)想記憶設(shè)置它的均衡分布，這個過程相當(dāng)于喚醒睡眠算法中的睡眠階段。但是如果向上的過程初始化聯(lián)想記憶，并且僅允許運(yùn)行幾個交替吉布斯采樣，在初始化向下的過程之前。這是喚醒睡眠算法的對比形式，它減少了從聯(lián)想記憶的均衡分布取樣的要求。這種對比形式也調(diào)整了睡眠階段的一些問題。對于表示法，它確保識別權(quán)

27、重被學(xué)習(xí)，類似于用于真實(shí)數(shù)據(jù)的情況，并且有助于消除模式的平均問題。如果，給定一個特定的數(shù)據(jù)向量，現(xiàn)行識別權(quán)重總是在以上的水平選擇一個特定的模式，并且忽略了其他相當(dāng)擅長生成數(shù)據(jù)的模式，在向下的學(xué)習(xí)過程中，它不會改變這些識別權(quán)重用來回溯任何其他的模型，如果睡眠階段被用于純的尋祖過程。一個純的尋祖過程從使用延長吉布斯取樣的過程開始，從頂層聯(lián)想記憶獲得均衡樣本。通過使用頂層聯(lián)想記憶，我們也可以消除喚醒階段的一些問題：獨(dú)立的頂層單元貌似允許尋祖過程，但是它們意味著變分近似法對于頂層的權(quán)重的效果不好。附錄B說明了通過使用圖1 顯示的網(wǎng)絡(luò)的MATALAB式樣介紹了自上而下算法的詳細(xì)過程。為了簡單起見，關(guān)于所

28、有參數(shù)的權(quán)重、能量、學(xué)習(xí)速率在這里不再贅述。同時，只討論單案例的訓(xùn)練數(shù)據(jù)。注釋：5，因?yàn)闄?quán)重與它們上面的權(quán)重不再相關(guān)聯(lián)，必須使用i層以上的變量的狀態(tài)計(jì)算，從這些變量生成i的權(quán)重。6MNIST數(shù)據(jù)庫的特征6.1訓(xùn)練網(wǎng)絡(luò)。手寫體數(shù)字MNIST數(shù)據(jù)庫包含60000個訓(xùn)練圖像和10000個測試圖像，許多不同的模式識別技術(shù)已經(jīng)發(fā)表了這種公開可用的數(shù)據(jù)庫，因此它是理想的評價新模式識別方法。對于MNIST學(xué)習(xí)任務(wù)的基本版本，沒有幾何學(xué)的相關(guān)知識，并沒有特殊的預(yù)處理或優(yōu)化訓(xùn)練集，所以一個未知但固定的隨機(jī)排列的像素不會影響學(xué)習(xí)算法。對于這種“排列不變”版本的任務(wù)，在官方測試集上，我們的網(wǎng)絡(luò)的泛化性能錯誤是1.2

29、5%。圖1介紹的網(wǎng)絡(luò)是在44000個訓(xùn)練圖像上被訓(xùn)練，把它分440個均衡的小批次，每一個都包含每個數(shù)字類的10例子。每個小批次之后更新權(quán)重。在訓(xùn)練的初始階段，在第4節(jié)介紹的貪心算法是用來從底部開始分別訓(xùn)練各層權(quán)值的。每層迅速瀏覽30個訓(xùn)練集訓(xùn)練（稱為“時代”）。在訓(xùn)練中，每一個RBM的“可見”層的單元在0和1之間的有實(shí)數(shù)值的活動。當(dāng)學(xué)習(xí)底層的權(quán)重時，這些都是標(biāo)準(zhǔn)化的像素強(qiáng)度。訓(xùn)練更高層次的權(quán)重時，RBM中可見層的實(shí)數(shù)值活動是RBM中較低層的隱藏單元的激活概率。當(dāng)RBM被訓(xùn)練時，每個RBM中隱藏層使用隨機(jī)的二進(jìn)制值。貪心訓(xùn)練在 GHz Xeon處理器使用MATLAB語言需要每層花費(fèi)幾個小時，它運(yùn)

30、行的時候，在測試集上的錯誤率為2.49%（下面詳細(xì)的看網(wǎng)絡(luò)是如何測試的）。當(dāng)訓(xùn)練頂層的權(quán)重時（在聯(lián)想記憶中的），標(biāo)簽被設(shè)置為輸入部分。標(biāo)簽表示通過對“10個單位一個單位的SOFTMAX”組被激活。當(dāng)這組中的活動從以上活動被重建時，確切的單元是活躍的，被選擇出來的單元i的概率由下式給出：其中是單元i的總輸入。特別的，學(xué)習(xí)規(guī)則不受Softmax組中兩兩單元競爭的影響，所以不需要知道那兩個單元的神經(jīng)突觸。競爭影響單元被激活時的概率，但是僅僅是這個概率影響學(xué)習(xí)規(guī)則。注釋：Preliminary experiments with 16 16 images of handwritten digits fr

31、om the USPS database showed that a good way tomodel the joint distribution of digit images and their labels was to use an architecture of this type, but for 16 16 images, only three-fifths as many units were used in each hidden layer.通過貪心算法層層訓(xùn)練，用不同的學(xué)習(xí)效率和權(quán)重衰減訓(xùn)練網(wǎng)絡(luò)，對于300個epochs可使用5節(jié)中描述的自上而下的算法。學(xué)習(xí)率，動量和權(quán)

32、重衰減是通過幾次訓(xùn)練網(wǎng)絡(luò)，并且觀察在一個含有10000張圖像的分離的驗(yàn)證集上的特性進(jìn)行選擇的，這些圖像時完整的訓(xùn)練集的剩余部分。對于前100次的自上而下算法，傳遞是基于執(zhí)行前聯(lián)想記憶中的吉布斯交替采樣的前三次迭代。對于之后的100次，進(jìn)行6次迭代，對于最后的100次進(jìn)行10次迭代。每一次對吉布斯提出的采樣迭代次數(shù)的提高，誤差在驗(yàn)證集明顯下降。在驗(yàn)證測試中表現(xiàn)最好的網(wǎng)絡(luò)被測有1.39%的錯誤率。該網(wǎng)絡(luò)將通過60000訓(xùn)練圖像訓(xùn)練集的每個類的數(shù)目不等，所以圖像被隨機(jī)分配600個小批。進(jìn)行訓(xùn)練，直到它在完整的訓(xùn)練集上的錯誤率越來越低，最終的錯誤率一直存在44000圖像的初始訓(xùn)練集中。再進(jìn)行59次，讓

33、其學(xué)習(xí)大約一周的時間。最終網(wǎng)絡(luò)有1.25%的錯誤率檢查進(jìn)一步學(xué)習(xí)不會明顯改善錯誤率，網(wǎng)絡(luò)就用一個非常小的學(xué)習(xí)率，和測試在運(yùn)行錯誤每個時期的表現(xiàn)。六周后，試驗(yàn)誤差之間波動1.12%、1.31%和1.18%的時代，訓(xùn)練誤差的數(shù)最小的。網(wǎng)絡(luò)的錯誤如圖6所示。網(wǎng)絡(luò)的49個案例顯示正確，次好的概率在0.3，最好的概率如圖7所示。圖6：錯誤網(wǎng)絡(luò)中125個測試用例。每個案例標(biāo)記網(wǎng)絡(luò)的猜測。正確的類安排在標(biāo)準(zhǔn)的掃描順序。圖7：其中僅有49例網(wǎng)絡(luò)猜對了，但有第二種猜測，它最好的概率在0.3。正確的類安排在標(biāo)準(zhǔn)的掃描順序。1.25%的錯誤率與通過有一個或兩個隱藏層的前饋神經(jīng)網(wǎng)絡(luò)和被訓(xùn)練使用反向傳播算法優(yōu)化的歧視算

34、法（見表1）相比是很好地。當(dāng)網(wǎng)絡(luò)的詳細(xì)連接不是手工制作的這個特定的任務(wù)，一個單獨(dú)在10個隨機(jī)在線學(xué)習(xí)輸出單元的平方誤差的最佳報錯率是2.95%。在具有一個隱層的800個單元采用小的初始權(quán)重的網(wǎng)絡(luò)中這些錯誤率可以降低到1.53%，這個權(quán)重是每個輸出單元單獨(dú)的交叉熵誤差函數(shù)，而且這種學(xué)習(xí)方式很溫和。1.51%個幾乎相同的結(jié)果實(shí)現(xiàn)了在一個第一隱層有500個單元的和第二隱層有300個單元的網(wǎng)中采用“回歸”算法輸出單元和一個不利平方量通過仔細(xì)選擇使用驗(yàn)證集的正則化矩陣。相比之下，如果60000個訓(xùn)練樣本被使用最近的鄰居報錯率為3.1%，（這是非常緩慢的），如果20，000個訓(xùn)練樣本被使用最近的鄰居報錯率

35、為4.4%。這可以通過使用一個L3規(guī)范減少到2.8%和4%。我們基本任務(wù)中生成錯誤率接近1.25%模型的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)技術(shù)是一個給出了1.4%的錯誤率的支持向量機(jī)（德科斯特&Schoelkopf，2002）。但是支持向量機(jī)如何利用特定領(lǐng)域技巧，如體重共享和抽樣，這是很難看到的，其中LeCun，bottou，哈夫納（1998）使用從1.5%到0.95%提高判別神經(jīng)網(wǎng)絡(luò)的性能。權(quán)值共享和抽樣不能用來減少生成的錯誤率模型是沒有明顯原因的，我們目前正在調(diào)查這種方法。通過平均多元網(wǎng)絡(luò)總是可以進(jìn)一步改進(jìn)，但這種技術(shù)可用于所有的方法。錯誤率的大幅減少可以通過補(bǔ)充有轉(zhuǎn)換版本的數(shù)據(jù)集訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)。使用一、兩像素平

36、移，德科斯特和Schoelkopf（2002）通過該方法實(shí)現(xiàn)錯誤率達(dá)到0.56%。在卷積神經(jīng)網(wǎng)絡(luò)局部使用伸縮變形，Simard，斯坦克勞斯，和普拉特（2003）實(shí)驗(yàn)結(jié)果達(dá)到0.4%，比最好的手工編碼識別算法達(dá)到了0.63%（belongie，馬利克，和puzicha，2002）是略好。我們尚未探索的使用扭曲的數(shù)據(jù)學(xué)習(xí)生成模型，因?yàn)樵S多類型的失真需要調(diào)查，以及微調(diào)算法目前來說太慢了。6.2 測試網(wǎng)絡(luò)測試網(wǎng)絡(luò)的一個方法是通過從圖像中隨機(jī)確定的500個單位的二進(jìn)制狀態(tài)相聯(lián)存儲器的低層。這些固定的狀態(tài)，標(biāo)簽單位給定初始值0.1和吉布斯交替采樣的迭代是用于激活正確的標(biāo)簽裝置。這種測試方法給出了錯誤率幾乎

37、是1%，高于上述的報錯率。表1：各種學(xué)習(xí)算法對MNIST數(shù)字識別錯誤率任務(wù)MNIST任務(wù)版學(xué)習(xí)算法錯誤率排列不變我們的生成模型784 500 500 2000 101.25排列不變支持向量機(jī)：9階多項(xiàng)式1.4排列不變前饋：784 500 300 10交叉熵和權(quán)重衰減1.51排列不變前饋：784 800 10交叉熵和提前終止1.53排列不變前饋：784 500 150 10誤差平方和在線更新2.95排列不變最近的鄰居：所有60000例和L3規(guī)范2.8排列不變最近的鄰居：所有60000例和L2規(guī)范3.1排列不變最近的鄰居：所有20000例和L3規(guī)范4.0排列不變最近的鄰居：所有20000例和L2規(guī)

38、范4.4練習(xí)階段圖像，變形的大量數(shù)據(jù)前饋：彈性提早停止卷積神經(jīng)網(wǎng)絡(luò)的交叉熵和數(shù)據(jù)0.4練習(xí)階段扭曲圖像；2像素轉(zhuǎn)換的額外數(shù)據(jù)虛擬機(jī)：9次多項(xiàng)式0.56初始階段圖像形狀上下文特征：手工編碼匹配0.63初始階段圖像；仿射變換的額外數(shù)據(jù)在lenet5的前饋：卷積神經(jīng)網(wǎng)絡(luò)0.8初始階段圖像在lenet5的前饋：卷積神經(jīng)網(wǎng)絡(luò)0.95更好的方法是先把低層的聯(lián)想記憶中的500個單位的二進(jìn)制狀態(tài)固定，然后打開每一個標(biāo)簽單位并計(jì)算510組件的二進(jìn)制向量準(zhǔn)確自由能的結(jié)果。幾乎所有需要計(jì)算的是被打開的獨(dú)立標(biāo)簽單位（Teh和Hinton，2001），這方法計(jì)算精確條件的平衡分布標(biāo)簽而不是通過吉布斯采樣逼近，以前的方法

39、是這樣做的。該方法錯誤率約0.5%，高于由隨機(jī)決策引用的。我們可以將這兩種方法移除噪聲。簡單的是通過使用隨機(jī)二進(jìn)制狀態(tài)的激活概率確定回饋（up-pass）。二是重復(fù)隨機(jī)過程20次，平均標(biāo)簽概率和標(biāo)簽記錄概率，在20次之前選擇最好的一個。平均兩類給了幾乎相同的結(jié)果，而這些結(jié)果也非常相似用一個確定性的過程，這是使用方法的報告結(jié)果。7 神經(jīng)網(wǎng)絡(luò)的展望為從模型生成樣本，我們與在頂層的聯(lián)想記憶的吉布斯抽樣進(jìn)行交流直到馬爾可夫鏈?zhǔn)諗繛槠胶夥植?。然后使用分布樣本輸入到下面的層，產(chǎn)生一個由生成連接的單一反饋（down-pass）圖像。如果我們固定標(biāo)簽單位特別是在吉布斯抽樣的類，我們可以從模型中看到圖像類的條件

40、分布。圖8顯示了一個圖像序列的每個類，它是由樣本間1000次迭代的吉布斯采樣生成。圖8：每一行顯示10樣品從生成模型與特定標(biāo)簽卡。頂層的聯(lián)想記憶是樣本之間運(yùn)行1000次迭代吉布斯抽樣的交替。我們也可以初始化兩層頂部的狀態(tài)通過提供一個隨機(jī)的二進(jìn)制圖像作為輸入。圖9顯示了如何聯(lián)想記憶類的條件狀態(tài)發(fā)生轉(zhuǎn)變時可以自由地運(yùn)行，但同時固定標(biāo)簽。這種內(nèi)在的狀態(tài)是“觀察”進(jìn)行了每20次迭代看看聯(lián)想記憶在腦海中。本文運(yùn)用腦海這個詞不是隱喻。我們認(rèn)為，精神狀態(tài)是一個假設(shè)的狀態(tài)，一個高層次的內(nèi)部表示構(gòu)成真實(shí)的感知的外部世界。假設(shè)世界如圖像顯示。圖9：每一行顯示由一個特定的固定標(biāo)簽?zāi)Ｐ蜕傻?0個樣本。頂層的聯(lián)想記憶

41、是通過從隨機(jī)的每個像素概率為0.5的二進(jìn)制圖像初始化得到的。第一列示了一個從最初的高水平狀態(tài)向下傳遞的結(jié)果。之后的幾列由20次迭代的交替吉布斯在聯(lián)想記憶采樣產(chǎn)生。8 結(jié)論我們已經(jīng)知道它可能是深度學(xué)習(xí)，密切的連接著置信網(wǎng)絡(luò)的每一層。最明顯的方式就是當(dāng)學(xué)習(xí)較低層時假設(shè)更高層次不存在，但利用階乘近似代替難處理的后驗(yàn)分布這不簡單的。這些近似工作，我們需要真實(shí)的后驗(yàn)是盡可能接近的階乘。所以不要忽略了更高層次，我們假設(shè)他們存在且有個權(quán)重約束實(shí)現(xiàn)優(yōu)先互補(bǔ)，讓真實(shí)的后驗(yàn)完全析因。這是相當(dāng)于有一個可以有效地學(xué)習(xí)使用對比發(fā)散的無向圖模型。它也可以被看作是因?yàn)榻婆c真實(shí)的后驗(yàn)概率之間發(fā)散的懲罰項(xiàng)約束變分學(xué)習(xí)，已被先

42、前使變分近似精確約束條件取代。在學(xué)習(xí)過每一層后，從高層的權(quán)重指標(biāo)解開權(quán)重。隨著這些高層權(quán)重的變化，低層的先驗(yàn)知識不再互補(bǔ)，所以在低層真實(shí)的后驗(yàn)分布不再是階乘，生成權(quán)重推論的轉(zhuǎn)置使用是不正確的。然而，我們可以用變分約束，其表明改變更高層次的權(quán)重提高了整體的生成模型。為了證明貪婪的學(xué)習(xí)算法的快速能力，我們用它初始化一個較慢的微調(diào)算法學(xué)習(xí)數(shù)字圖像的極好的生成模型和標(biāo)簽的權(quán)重。使用快速貪心算法是否為最好的方式是不明確的。它最好是省略微調(diào)和使用貪婪算法的速度去學(xué)習(xí)更大的系統(tǒng)，更深層次的網(wǎng)絡(luò)或一個更大的訓(xùn)練集。圖1中的網(wǎng)絡(luò)有許多的參數(shù)為0.002立方毫米的小鼠皮層（賀拉斯Barlow，個人通信，1999）

43、，而這種復(fù)雜性為幾百個網(wǎng)絡(luò)適合在一個單像素的高分辨率fMRI掃描。這表明更大的網(wǎng)絡(luò)可能需要與人的形狀識別能力競爭。我們目前的生成模型在許多方面受到限制（2003李和芒福德，）。它是專為圖像的可以視為概率二進(jìn)制數(shù)值（不是對自然圖像）；感知自上而下的反饋，它的使用是在前兩層有限的聯(lián)想記憶；它沒有知覺不變性處理系統(tǒng)；它假設(shè)已經(jīng)執(zhí)行分割；當(dāng)識別很困難時它間斷加入最豐富的有益的部分對象學(xué)習(xí)，然而，證實(shí)了相比其他的一些生成模型的其主要優(yōu)點(diǎn)：l 生成的模型不需要從標(biāo)簽的反饋就可以學(xué)習(xí)低級別的功能，比無擬合的判別模型他們可以學(xué)習(xí)更多的參數(shù)。在判別學(xué)習(xí)，每個訓(xùn)練樣本的參數(shù)約束只能通過盡可能多的信息要求所指定的標(biāo)

44、簽。對于一個生成模型，每個訓(xùn)練樣本的參數(shù)約束的比特數(shù)要求指精確輸入。l 很容易看到網(wǎng)絡(luò)已經(jīng)從模型中生成。l 它可能解釋為非線性，在深隱層的分布由它們生成圖像表示。l 判別學(xué)習(xí)方法的分類性能優(yōu)越受域控制，在域中不可能學(xué)習(xí)好的生成模型。這系列域是由穆爾定律侵蝕。附錄一：先驗(yàn)互補(bǔ)A.1一般互補(bǔ)?？紤]一個聯(lián)合分布的觀測值，X，Y和隱藏的變量，對于一個給定的似然函數(shù)P（X，Y |），我們定義了相應(yīng)的家庭是互補(bǔ)的先驗(yàn)分布，P（Y），其聯(lián)合分布，P（x，y）= P（x | Y）P（Y），導(dǎo)致的后驗(yàn)概率，P（X，Y |）完全分解，即，導(dǎo)致后可以表示為P（Y | x）= P（YJ | X）?？赡懿⒉皇撬械墓δ苄问匠姓J(rèn)補(bǔ)充之前。