受限玻爾茲曼機(jī)RBM

1、受限玻爾茲曼機(jī)陳文根2016-6-12河南工業(yè)大學(xué)目錄 一玻爾茲曼機(jī)（BM） Ising模型 能量函數(shù) 二受限玻爾茲曼機(jī)（RBM） 結(jié)構(gòu)玻爾茲曼機(jī)（BM） Ising模型 Ising模型是統(tǒng)計物理中迄今為止唯一的一個同時具備:表述簡單、內(nèi)涵豐富、應(yīng)用廣泛這三種優(yōu)點的模型。 Ising模型最早的提出者是Wilhelm Lenz (1920)。后來，他讓他的學(xué)生Ernst Ising對一維的Ising模型進(jìn)行求解，但是并沒有發(fā)現(xiàn)相變現(xiàn)象，因此也沒有得到更多物理學(xué)家的關(guān)注。隨后，著名的統(tǒng)計物理學(xué)家Lars Onsager于1944年對二維的Ising模型進(jìn)行了解析求解，并同時發(fā)現(xiàn)了二維Ising模型

2、中的相變現(xiàn)象，從而引起了更多學(xué)者的注意.玻爾茲曼機(jī) 模型表述 考慮一個如左圖所示的晶格世界。假設(shè)第個i節(jié)點是一個小磁針，每個小磁針有上下兩種狀態(tài)，我們用si來表示這個狀態(tài)，并且si=1,-1。 表示磁針朝上或者朝下。網(wǎng)格上相鄰的兩個小磁針可以發(fā)生相互作用。i i i玻爾茲曼機(jī) 能量函數(shù) 我們可以通過總能量的概念來刻畫這種相互作用：即如果兩個相鄰方格的小磁針狀態(tài)一致（例如都是朝上），則系統(tǒng)的總能量減1單位，否則如果不同就加1單位。外界還可能存在磁場，如果小磁針方向與外場方向一致，則能量也會降低。我們定義總能量： 其中J為一個能量耦合常數(shù)，Esi表示系統(tǒng)處于狀態(tài)組合si下的總能量。求和下標(biāo)表示對所

3、有相鄰的兩個小磁針進(jìn)行求和。我們看到，如果si=sj，則總能量就會減少J。H表示外界磁場的強(qiáng)度,它是一個參數(shù)，如果外界磁場向上H為正，否則為負(fù)。如果某個小磁針的方向與外場一致，則總能量減少一個單位。sse NiijijissHssJEi,玻爾茲曼機(jī) 玻爾茲曼機(jī)簡介 BM的原理起源于統(tǒng)計物理學(xué)，是一種基于能量函數(shù)的建模方法，能夠描述變量之間的高階相互作用，BM的學(xué)習(xí)算法較復(fù)雜，但所建模型和學(xué)習(xí)算法有比較完備的物理解釋和嚴(yán)格的數(shù)理統(tǒng)計理論作基礎(chǔ)。BM是一種對稱耦合的隨機(jī)反饋型二值單元神經(jīng)網(wǎng)絡(luò)，由可見層和多個隱層組成，網(wǎng)絡(luò)節(jié)點分為可見單元(visible unit)和隱單元(hidden unit)

4、，用可見單元和隱單元來表達(dá)隨機(jī)網(wǎng)絡(luò)與隨機(jī)環(huán)境的學(xué)習(xí)模型，通過權(quán)值表達(dá)單元之間的相關(guān)性。玻爾茲曼機(jī) 玻爾茲曼機(jī)簡介（續(xù)） BM是由Hinton和Sejnowski提出的一種隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)，可以看做是一種隨機(jī)生成的Hopfield網(wǎng)絡(luò)，是能夠通過學(xué)習(xí)數(shù)據(jù)的固有內(nèi)在表示解決困難學(xué)習(xí)問題的最早的人工神經(jīng)網(wǎng)絡(luò)之一，因樣本分布遵循玻爾茲曼分布而命名為BM。BM由二值神經(jīng)元構(gòu)成，每個神經(jīng)元只取1或0這兩種狀態(tài)，狀態(tài)1代表該神經(jīng)元處于接通狀態(tài)，狀態(tài)0代表該神經(jīng)元處于斷開狀態(tài)。玻爾茲曼機(jī) 結(jié)構(gòu)能量函數(shù)定義為：根據(jù)規(guī)則，如果與神經(jīng)元i相鄰的所有神經(jīng)元都激活，并且它們的連接權(quán)重為正的話，那么該神經(jīng)元就有可能被激活

5、。這就相當(dāng)于最小化一個全局的能量函數(shù)。受限玻爾茲曼機(jī)（RBM） 簡介 Smolensky提出的RBM由一個可見神經(jīng)元層和一個隱神經(jīng)元層組成，由于隱層神經(jīng)元之間沒有相互連接并且隱層神經(jīng)元獨立于給定的訓(xùn)練樣本，這使直接計算依賴數(shù)據(jù)的期望值變得容易，可見層神經(jīng)元之間也沒有相互連接，通過從訓(xùn)練樣本得到的隱層神經(jīng)元狀態(tài)上執(zhí)行馬爾可夫鏈抽樣過程，來估計獨立于數(shù)據(jù)的期望值，并行交替更新所有可見層神經(jīng)元和隱層神經(jīng)元的值。受限玻爾茲曼機(jī) 結(jié)構(gòu)RBM網(wǎng)絡(luò)結(jié)構(gòu)有網(wǎng)絡(luò)結(jié)構(gòu)有m個可視節(jié)點和個可視節(jié)點和n個隱藏節(jié)點個隱藏節(jié)點 受限玻爾茲曼機(jī) 結(jié)構(gòu)（續(xù)） RBM網(wǎng)絡(luò)有幾個參數(shù)，一個是可視層與隱藏層之間的權(quán)重矩陣Wnm，一個

6、是可視節(jié)點的偏移量b=(b1,b2 bn)，一個是隱藏節(jié)點的偏移量c=(c1,c2 cm)，這幾個參數(shù)決定了RBM網(wǎng)絡(luò)將一個n維的樣本編碼成一個什么樣的m維的樣本。 首先為了描述容易，先假設(shè)每個節(jié)點取值都在集合0,1中，即i,j,vi 0,1，j 0,1 。 一個訓(xùn)練樣本x過來了取值為x=(x1,x2 xn)，根據(jù)RBM網(wǎng)絡(luò)，可以得到這個樣本的m維的編碼后的樣本y=(y1,y2 ym)，這m維的編碼也可以認(rèn)為是抽取了m個特征的樣本。受限玻爾茲曼機(jī) 結(jié)構(gòu)（續(xù)）隱藏節(jié)點的第j個特征的取值為1的概率為其中的v取值就是x，hj的取值就是yj。且，)()1(1jinijijcvwvhp受限玻爾茲曼機(jī) 結(jié)

7、構(gòu)（續(xù)） 生成yj的過程就是：1.先利用公式 根據(jù)x的值計算概率p(hj=1|v)，其中vi的取值就是xi的值。2.然后產(chǎn)生一個0到1之間的隨機(jī)數(shù)，如果它小于p(hj=1|v) ， yj的取值就是1，否則就是0。 反過來，現(xiàn)在知道了一個編碼后的樣本y，想要知道原來的樣本x，即解碼過程，跟上面也是同理，過程如下：1.先利用公式 根據(jù)y的值計算概率p(hj=1|v)，其中hj的取值就是yj的值。2.然后產(chǎn)生一個0到1之間的隨機(jī)數(shù)，如果它小于p(vi=1|h)，hi的取值就是1，否則就是0。)()1(1jinijijcvwvhp)()1(1ijmjjiibhwhvp受限玻爾茲曼機(jī) RBM的基本模型 RBM也可以被視為一個無向圖模型。v 為可見層，用于表示觀測數(shù)據(jù)，h 為隱層，可視為一些特征提取器，W 為兩層之間的連接權(quán)重。 對于一組給定的狀態(tài)(v; h)， RBM作為一個系統(tǒng)所具備的能量定義為受限玻爾茲曼機(jī)當(dāng)參數(shù)確定時，基于該能量函數(shù)，我們可以得到(v; h)的聯(lián)合概率分布：對于一個實際問題，我們最關(guān)心的是由RBM所定義的關(guān)于觀測數(shù)據(jù)v的分布，即聯(lián)合概率分布的邊際分布，也稱為似然函數(shù)：受限玻爾茲曼機(jī)由RBM的特