人工神經(jīng)網(wǎng)絡(luò)原理與仿真實(shí)例 隨機(jī)神經(jīng)網(wǎng)絡(luò)及模擬退火算法

在線教務(wù)輔導(dǎo)網(wǎng)：教材其余課件及動(dòng)畫素材請(qǐng)查閱在線教務(wù)輔導(dǎo)網(wǎng)QQ:349134187或者直接輸入下面地址：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室在線教務(wù)輔導(dǎo)網(wǎng)：http://www.shangfuwang第6章隨機(jī)神經(jīng)網(wǎng)絡(luò)及模擬退火算法

6.1Boltzmann機(jī)6.2Boltzmann機(jī)的改進(jìn)6.3模擬退火算法6.4仿真實(shí)例*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第6章隨機(jī)神經(jīng)網(wǎng)絡(luò)及模擬退火算法

6.1Bol前言隨機(jī)神經(jīng)網(wǎng)絡(luò)是統(tǒng)計(jì)力學(xué)思想引入神經(jīng)網(wǎng)絡(luò)研究的結(jié)果。統(tǒng)計(jì)力學(xué)是研究大系統(tǒng)宏觀平衡性質(zhì)的學(xué)科，這種大系統(tǒng)的組成元素服從微觀機(jī)制。統(tǒng)計(jì)力學(xué)的主要目的是尋找從微觀粒子（原子、電子）的運(yùn)動(dòng)開(kāi)始的宏觀物體的熱力學(xué)性質(zhì)，由于所遇到的自由度數(shù)目很大，因此只能使用概率的方法進(jìn)行研究。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室前言隨機(jī)神經(jīng)網(wǎng)絡(luò)是統(tǒng)計(jì)力學(xué)思想引入神經(jīng)網(wǎng)絡(luò)研究的結(jié)果。*合隨機(jī)神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)的比較：名稱網(wǎng)絡(luò)類型網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法BP網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)含輸入層、隱層、輸出層。層內(nèi)神經(jīng)元無(wú)連接網(wǎng)絡(luò)按誤差減少的最大梯度方向調(diào)整權(quán)值Hopfield網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)單層神經(jīng)網(wǎng)絡(luò)，層內(nèi)神經(jīng)元全互連網(wǎng)絡(luò)按照其用途來(lái)設(shè)計(jì)或訓(xùn)練網(wǎng)絡(luò)權(quán)值Boltzmann機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)含輸入部、輸出部和中間部。神經(jīng)元互連網(wǎng)絡(luò)向誤差減小的方向運(yùn)行概率大，但也可能向誤差增大方向運(yùn)行*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室隨機(jī)神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)的比較：名稱網(wǎng)絡(luò)類型BP網(wǎng)絡(luò)是一種“貪心”算法，容易陷入局部最小點(diǎn)。Hopfield網(wǎng)絡(luò)很難避免出現(xiàn)偽狀態(tài)，網(wǎng)絡(luò)是嚴(yán)格按照能量減小的方向運(yùn)行的，容易陷入局部極小點(diǎn)，而無(wú)法跳出。所以，在用BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)進(jìn)行最優(yōu)化的計(jì)算時(shí)，由于限定條件的不足，往往會(huì)使網(wǎng)絡(luò)穩(wěn)定在誤差或能量函數(shù)的局部最小點(diǎn)，而不是全局最小點(diǎn)，即所得的解不是最優(yōu)解。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室網(wǎng)絡(luò)陷入局部最小點(diǎn)的原因主要有兩點(diǎn)：（1）網(wǎng)絡(luò)結(jié)構(gòu)上存在著輸入到輸出之間的非線性函數(shù)關(guān)系，從而使網(wǎng)絡(luò)誤差或能量函數(shù)所構(gòu)成的空間是一個(gè)含有多極點(diǎn)的非線性空間。（2）在算法上，網(wǎng)絡(luò)的誤差或能量函數(shù)只能單方向減小，不能有一點(diǎn)上升。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室網(wǎng)絡(luò)陷入局部最小點(diǎn)的原因主要有兩點(diǎn)：*合肥工業(yè)大學(xué)計(jì)算機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)的基本思想：網(wǎng)絡(luò)向誤差或能量函數(shù)減小方向運(yùn)行的概率大，同時(shí)向誤差或能量函數(shù)增大方向運(yùn)行的概率存在，這樣網(wǎng)絡(luò)跳出局部極小點(diǎn)的可能性存在，而且向全局最小點(diǎn)收斂的概率最大。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室

20世紀(jì)80年代，Ackley,Hinton和Sejnowski等人以模擬退火思想為基礎(chǔ)，對(duì)Hopfield網(wǎng)絡(luò)引入了隨機(jī)機(jī)制，推出Boltzmann機(jī)。Boltzmann機(jī)是第一個(gè)受統(tǒng)計(jì)力學(xué)啟發(fā)的多層學(xué)習(xí)機(jī)，它是典型的隨機(jī)神經(jīng)網(wǎng)絡(luò)。其命名來(lái)源于Boltzmann機(jī)在統(tǒng)計(jì)力學(xué)中的早期工作和網(wǎng)絡(luò)本身的動(dòng)態(tài)分布行為（其平衡狀態(tài)服從Boltzmann分布），其運(yùn)行機(jī)制服從模擬退火算法。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1Boltzmann機(jī)6.1.1Boltzmann機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)6.1.2Boltzmann機(jī)的工作原理6.1.3Boltzmann機(jī)的運(yùn)行步驟6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1Boltzmann機(jī)6.1.1Boltzman6.1.1Boatman機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

圖6-1boltzmann機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.1Boatman機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

圖6-1

Boltzmann機(jī)由輸入部、輸出部和中間部構(gòu)成。輸入神經(jīng)元和輸出神經(jīng)元可稱為顯見(jiàn)神經(jīng)元，它們是網(wǎng)絡(luò)與外部環(huán)境進(jìn)行信息交換的媒介。中間部的神經(jīng)元稱為隱見(jiàn)神經(jīng)元，它們通過(guò)顯見(jiàn)神經(jīng)元與外部進(jìn)行信息交換。每一對(duì)神經(jīng)元之間的信息傳遞是雙向?qū)ΨQ的，即wij=wji，而且自身無(wú)反饋即wii=0。學(xué)習(xí)期間，顯見(jiàn)神經(jīng)元將被外部環(huán)境“約束”在某一特定的狀態(tài)，而中間部隱見(jiàn)神經(jīng)元?jiǎng)t不受外部環(huán)境約束。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)由輸入部、輸出部和中間部構(gòu)成。輸入神經(jīng)Boltzmann機(jī)中單個(gè)神經(jīng)元的運(yùn)行特性*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)中單個(gè)神經(jīng)元的運(yùn)行特性*合肥工業(yè)大學(xué)

Boltzmann機(jī)中每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于神經(jīng)元的輸入。神經(jīng)元i的全部輸入信號(hào)的總和為ui為：

式中bi是該神經(jīng)元的閾值?？梢詫i歸并到總的加權(quán)和中去，即得：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室式中bi是該神經(jīng)元的閾值。*合肥工業(yè)大學(xué)

神經(jīng)元的輸出vi依概率取1或0：vi取1的概率：

vi取0的概率：

由此可見(jiàn)，vi取1的概率受兩個(gè)因素的影響：（1）ui越大vi則取1的概率越大，而取0的概 率越小。（2）參數(shù)T稱為“溫度”，在不同的溫度下vi 取1的概率P隨ui的變化如圖所示。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室由此可見(jiàn)，vi取1的概率受兩個(gè)因素的影響：*合肥

p~u的關(guān)系*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室p~u的關(guān)系*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處可見(jiàn)，T越高時(shí)，曲線越平滑，因此，即使ui有很大變動(dòng)，也不會(huì)對(duì)vi取1的概率變化造成很大的影響；反之，T越低時(shí)，曲線越陡峭，當(dāng)ui有稍許變動(dòng)時(shí)就會(huì)使概率有很大差異。即溫度高時(shí)狀態(tài)變化接近隨機(jī)，隨著溫度的降低向確定性的動(dòng)作靠近。當(dāng)T→0時(shí)，每個(gè)神經(jīng)元不再具有隨機(jī)特性，而具有確定的特性，激勵(lì)函數(shù)變?yōu)殡A躍函數(shù)，這時(shí)Boltzmann機(jī)趨向于Hopfield網(wǎng)絡(luò)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室可見(jiàn)，T越高時(shí)，曲線越平滑，因此，即使ui有很大變動(dòng)，也不會(huì)6.1.1Boltzmann機(jī)的工作原理

Boltzmann機(jī)采用下式所示的能量函數(shù)作為描述其狀態(tài)的函數(shù)。

將Boltzmann機(jī)視為一動(dòng)力系統(tǒng)，能量函數(shù)的極小值對(duì)應(yīng)系統(tǒng)的穩(wěn)定平衡點(diǎn)，由于能量函數(shù)有界，當(dāng)網(wǎng)絡(luò)溫度以某種方式逐漸下降到某一特定值時(shí)，系統(tǒng)必趨于穩(wěn)定狀態(tài)Boltzmann機(jī)的運(yùn)行過(guò)程就是逐步降低其能量函數(shù)的過(guò)程。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.1Boltzmann機(jī)的工作原理Boltzmann機(jī)在運(yùn)行時(shí)，假設(shè)每次只改變一個(gè)神經(jīng)元的狀態(tài)，如第i個(gè)神經(jīng)元，設(shè)vi取0和取1時(shí)系統(tǒng)的能量函數(shù)分別為0和，它們的差值為ΔEi

ΔEi的取值可能有兩種情況:ΔEi>0或ΔEi<0。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)在運(yùn)行時(shí)，假設(shè)每次只改變一個(gè)神經(jīng)元的狀態(tài)（1）當(dāng)ΔEi>0即>0時(shí)，

神經(jīng)元取1的概率：神經(jīng)元取0的概率：當(dāng)＝ΔEi>0時(shí)，這時(shí)神經(jīng)元i的狀態(tài)取1的可能性比取0的可能性大，即網(wǎng)絡(luò)狀態(tài)取能量低的可能性大。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（1）當(dāng)ΔEi>0即（2）同理當(dāng)ΔEi<0時(shí)，即那么此時(shí)即神經(jīng)元i的狀態(tài)取0的可能性比取1的可能 性大。網(wǎng)絡(luò)狀態(tài)取能量低的可能性大。運(yùn)行過(guò)程中總的趨勢(shì)是朝能量下降的方向運(yùn)動(dòng)，但也存在能量上升的可能性。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）同理當(dāng)ΔEi<0時(shí)，即

有一個(gè)凹凸不平的盆，要使一個(gè)小球穩(wěn)定在最低的地方，如果把小球輕輕地放入盆中，那么結(jié)果必然是小球穩(wěn)定在距放入地方最近的低洼處。但是穩(wěn)定所在的地方并不保證是最低的地方，這一動(dòng)作與Hopfield網(wǎng)絡(luò)相當(dāng)。Boltzmann機(jī)則是大幅度搖晃剛放入小球的盆子，然后逐漸減小搖晃的幅度。這樣，小球才有可能到盆子的最低處B處。舉例說(shuō)明Boltzmann機(jī)的學(xué)習(xí)算法*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室舉例說(shuō)明Boltzmann機(jī)的學(xué)習(xí)算法*合肥工業(yè)大假定Boltzmann機(jī)中有V1和V2兩種狀態(tài)：在V1狀態(tài)下神經(jīng)元i的輸出vi=1，V2狀態(tài)下神經(jīng)元i的輸出vi=0，而所有其他神經(jīng)元在這兩種狀態(tài)下的取值都是一致的，另外假設(shè)兩種狀態(tài)出現(xiàn)的概率分別是和：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室對(duì)于網(wǎng)絡(luò)中任意兩個(gè)狀態(tài)V1和V2的出現(xiàn)概率分別為和。它們之間的關(guān)系為

上式符合統(tǒng)計(jì)理學(xué)中己知的Boltzmann分布。Boltzmann機(jī)由此得名。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室對(duì)于網(wǎng)絡(luò)中任意兩個(gè)狀態(tài)V1和V2的出現(xiàn)概率分別為一方面：這就說(shuō)明了能量低的狀態(tài)出現(xiàn)的概率大，能量高的狀態(tài)出現(xiàn)的概率小。另一方面：溫度參數(shù)T也會(huì)影響boltzmann機(jī)處于某種狀態(tài)的概率。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室一方面：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研（1）T很高時(shí)，各狀態(tài)出現(xiàn)的概率差異大大減小，也就是說(shuō)網(wǎng)絡(luò)停留在全局最小點(diǎn)的概率，并不比局部最小點(diǎn)的概率甚至非局部最小點(diǎn)高很多。也即網(wǎng)絡(luò)不會(huì)陷在某個(gè)極小點(diǎn)中拔不出來(lái)，網(wǎng)絡(luò)在搜索過(guò)程中能夠“很快”的穿行于各極小點(diǎn)之間，但落于全局最小點(diǎn)的概率還是最大的。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)落入全局最小點(diǎn)的可能性大。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（1）T很高時(shí)，各狀態(tài)出現(xiàn)的概率差異大大減小，也就是說(shuō)網(wǎng)絡(luò)停（2）T很低時(shí)，情況正好相反。概率差距被加大，一旦網(wǎng)絡(luò)陷于某個(gè)極小點(diǎn)之后，雖然還有可能跳出該極小點(diǎn)，但是所需的搜索次數(shù)將是非常多的。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)一旦達(dá)到全局最小點(diǎn)，跳出的可能性?。?）T→0（Hopfield網(wǎng)絡(luò))。差距被無(wú)限擴(kuò)展，跳出局部最小點(diǎn)的概率趨于無(wú)窮小。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)穩(wěn)定在全局最小點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）T很低時(shí)，情況正好相反。概率差距被加大，一旦網(wǎng)絡(luò)陷于某6.1.3Boltzmann機(jī)的運(yùn)行步驟

設(shè)一個(gè)Boltzmann機(jī)具有n個(gè)隨機(jī)神經(jīng)元（p個(gè)顯見(jiàn)神經(jīng)元，q個(gè)隱見(jiàn)神經(jīng)元），第i個(gè)神經(jīng)元與第j個(gè)神經(jīng)元的連接權(quán)值為wij，i，j＝1,2,…,n。T0為初始溫度，m＝1,2,…,M為迭代次數(shù)。Boltzmann機(jī)的運(yùn)行步驟為：第一步：對(duì)網(wǎng)絡(luò)進(jìn)行初始化。設(shè)定初始溫度T0、終止溫度Tfinal和閾值ξ，以及網(wǎng)絡(luò)各神經(jīng)元的連接權(quán)值wij。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.3Boltzmann機(jī)的運(yùn)行步驟

設(shè)一個(gè)Boltz第二步：在溫度Tm條件下（初始溫度為T0）隨機(jī)選取網(wǎng)絡(luò)中的一個(gè)神經(jīng)元i，計(jì)算神經(jīng)元i的輸入信號(hào)總和ui：第三步：若ui>0，即能量差ΔEi>0，取vi=1為神經(jīng)元i的下一狀態(tài)值。若ui<0，計(jì)算概率：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第二步：在溫度Tm條件下（初始溫度為T0）隨機(jī)選取網(wǎng)絡(luò)中的一第四步：判斷網(wǎng)絡(luò)在溫度Tm下是否達(dá)到穩(wěn)定，若未達(dá)到穩(wěn)定，則繼續(xù)在網(wǎng)絡(luò)中隨機(jī)選取另一神經(jīng)元j，令j＝i，轉(zhuǎn)至第二步重復(fù)計(jì)算，直至網(wǎng)絡(luò)在Tm下達(dá)到穩(wěn)定。若網(wǎng)絡(luò)在Tm下已達(dá)到穩(wěn)定則轉(zhuǎn)至第五步計(jì)算。第五步：以一定規(guī)律降低溫度，使Tm+1<Tm，判斷Tm+1是否小于Tfinal，若Tm+1大于等于Tfinal，則Tm=Tm＋1，轉(zhuǎn)至第二步重復(fù)計(jì)算；若Tm+1小于Tfinal，則運(yùn)行結(jié)束。此時(shí)在Tm下所求得的網(wǎng)絡(luò)穩(wěn)定狀態(tài)，即為網(wǎng)絡(luò)的輸出。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第四步：判斷網(wǎng)絡(luò)在溫度Tm下是否達(dá)到穩(wěn)定，若未達(dá)到穩(wěn)定，則繼Boltzmann機(jī)學(xué)習(xí)需要注意幾點(diǎn)：（1）初始溫度T0的選擇方法。初始溫度T0的選取主要有以下方法：隨機(jī)選取網(wǎng)絡(luò)中k個(gè)神經(jīng)元，選取這k個(gè)神經(jīng)元能量的方差作為T0；在初始網(wǎng)絡(luò)中選取使ΔE最大的兩個(gè)神經(jīng)元，取T0為ΔEmax的若干倍；按經(jīng)驗(yàn)值給出T0等。（2）確定終止溫度閾值Tfinal的方法。主要根據(jù)經(jīng)驗(yàn)選取，若在連續(xù)若干溫度下網(wǎng)絡(luò)狀態(tài)保持不變，也可認(rèn)為已達(dá)到終止溫度。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)學(xué)習(xí)需要注意幾點(diǎn)：（1）初始溫度T0的選（3）概率閾值ξ的確定方法。ξ的選取方法主要有：在網(wǎng)絡(luò)初始化時(shí)按照經(jīng)驗(yàn)確定或在網(wǎng)絡(luò)每次運(yùn)行過(guò)程中選取一個(gè)[0,0.5]之間均勻分布的隨機(jī)數(shù)。（4）網(wǎng)絡(luò)權(quán)值wij的確定方法。將在下一章節(jié)討論。（5）在每一溫度下達(dá)到熱平衡的條件。通常在每一溫度下，實(shí)驗(yàn)足夠多的次數(shù)，直至網(wǎng)絡(luò)狀態(tài)在此溫度下不再發(fā)生變化為止。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（3）概率閾值ξ的確定方法。ξ的選取方法主要有：在網(wǎng)絡(luò)初始化（6）降溫的方法。通常采用指數(shù)的方法進(jìn)行降溫，即：為加快網(wǎng)絡(luò)收斂速度也可采用倍乘一個(gè)小于1的降溫系數(shù)的方法進(jìn)行快速降溫。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（6）降溫的方法。通常采用指數(shù)的方法進(jìn)行降溫，即：*合肥工業(yè)6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則

Boltzmann機(jī)是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)，可使用概率中的似然函數(shù)量度其模擬外界環(huán)境概率分布的性能。因此，Boltzmann機(jī)的學(xué)習(xí)規(guī)則就是根據(jù)最大似然規(guī)則，通過(guò)調(diào)整權(quán)值wij，最小化似然函數(shù)或其對(duì)數(shù)。假設(shè)給定需要網(wǎng)絡(luò)模擬其概率分布的樣本集合，Vx是樣本集合中的一個(gè)狀態(tài)向量，Vx即可代表網(wǎng)絡(luò)中顯見(jiàn)神經(jīng)元的一個(gè)狀態(tài)，假設(shè)向量Vy表示網(wǎng)絡(luò)中隱見(jiàn)神經(jīng)元的一個(gè)可能狀態(tài)，則V=[VxVy]即可表示整個(gè)網(wǎng)絡(luò)所處的狀態(tài)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則

Boltzman由于網(wǎng)絡(luò)學(xué)習(xí)的最終目的是模擬外界給定樣本集合的概率分布，而B(niǎo)oltzmann機(jī)含有顯見(jiàn)神經(jīng)元和隱見(jiàn)神經(jīng)元，因此Boltzmann機(jī)的學(xué)習(xí)過(guò)程包括以下兩個(gè)階段：（1）主動(dòng)階段：網(wǎng)絡(luò)在外界環(huán)境約束下運(yùn)行，即由樣本集合中的狀態(tài)向量Vx控制顯見(jiàn)神經(jīng)元的狀態(tài)。定義神經(jīng)元i和j的狀態(tài)在主動(dòng)階段的平均關(guān)聯(lián)為：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室由于網(wǎng)絡(luò)學(xué)習(xí)的最終目的是模擬外界給定樣本集合的概率分布，而B(niǎo)

其中概率P(Vy|Vx)表示網(wǎng)絡(luò)的顯見(jiàn)神經(jīng)元約束在Vx下隱見(jiàn)神經(jīng)元處于Vy的條件概率，它與網(wǎng)絡(luò)在主動(dòng)階段的運(yùn)行過(guò)程有關(guān)。2）被動(dòng)階段：網(wǎng)絡(luò)不受外界環(huán)境約束，顯見(jiàn)神經(jīng)元和隱見(jiàn)神經(jīng)元自由運(yùn)行，不受約束。被動(dòng)階段的平均關(guān)聯(lián)為：定義神經(jīng)元i和j的狀態(tài)在*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室其中概率P(Vy|Vx)表示網(wǎng)絡(luò)的顯見(jiàn)神經(jīng)元約束在Vx下隱

P(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的概率，vi和vj分別是神經(jīng)元i和j的輸出狀態(tài)。由于網(wǎng)絡(luò)在自由運(yùn)行階段服從Boltzmann分布，因此:E(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的能量。網(wǎng)絡(luò)的權(quán)值wij需遵循下面的調(diào)整規(guī)則：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室P(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的概率，vi和vj分別是神經(jīng)元iwij(t)為在第t步時(shí)神經(jīng)元i，j之間的連接權(quán)值，η為學(xué)習(xí)速率，T是網(wǎng)絡(luò)溫度。Boltzmann機(jī)的優(yōu)點(diǎn)：（1）通過(guò)訓(xùn)練，神經(jīng)元體現(xiàn)了與周圍環(huán)境相匹配的概率分布；（2）網(wǎng)絡(luò)提供了一種可用于尋找、表示和訓(xùn)練的普遍方法；（3）若保證學(xué)習(xí)過(guò)程中溫度降低的足夠慢，根據(jù)狀態(tài)的演化，可以使網(wǎng)絡(luò)狀態(tài)的能量達(dá)到全局最小點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室wij(t)為在第t步時(shí)神經(jīng)元i，j之間的連接權(quán)值，η為學(xué)習(xí)但是在Boltzmann機(jī)的學(xué)習(xí)過(guò)程中被動(dòng)階段的存在具有兩個(gè)很大的缺點(diǎn)：（1）增加計(jì)算時(shí)間。在外界環(huán)境約束條件下，一些神經(jīng)元由外部環(huán)境約束，而在自由運(yùn)行條件下，所有的神經(jīng)元自由運(yùn)行，這樣增加了Boltzmann機(jī)的隨機(jī)仿真時(shí)間。（2）對(duì)于統(tǒng)計(jì)錯(cuò)誤的敏感。Boltzmann機(jī)的學(xué)習(xí)規(guī)則包含了主動(dòng)階段關(guān)聯(lián)和被動(dòng)階段關(guān)聯(lián)的差值。當(dāng)這兩種關(guān)聯(lián)相類似時(shí)，取樣噪聲的存在使得這個(gè)差值更加不準(zhǔn)確。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室但是在Boltzmann機(jī)的學(xué)習(xí)過(guò)程中被動(dòng)階段的存在具有兩個(gè)6.2Boltzmann機(jī)的改進(jìn)

6.2.1確定性Boltzmann機(jī)6.2.2Sigmoid置信度網(wǎng)絡(luò)*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.2Boltzmann機(jī)的改進(jìn)

6.2.1確定性Bo

6.2.1確定性Boltzmann機(jī)

由于Boltzmann機(jī)在學(xué)習(xí)過(guò)程中需要計(jì)算網(wǎng)絡(luò)中每對(duì)神經(jīng)元的平均關(guān)聯(lián)?？梢宰C明Boltzmann機(jī)的學(xué)習(xí)時(shí)間同網(wǎng)絡(luò)神經(jīng)元的數(shù)目呈指數(shù)關(guān)系。Boltzmann機(jī)在學(xué)習(xí)過(guò)程中存在的運(yùn)算時(shí)間過(guò)長(zhǎng)的問(wèn)題使其很難在實(shí)際問(wèn)題中加以應(yīng)用。目前，還沒(méi)有一種數(shù)學(xué)方法可以精確評(píng)價(jià)Boltzmann機(jī)的行為，但是可以使用平均場(chǎng)逼近的方法來(lái)逼近。在實(shí)際中，只需知道網(wǎng)絡(luò)狀態(tài)的平均值或網(wǎng)絡(luò)中神經(jīng)元狀態(tài)的平均值即可。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.2.1確定性Boltzmann機(jī)

由于Boltzm平均場(chǎng)理論

為研究物理學(xué)中的Ising或者Sherrington-Kirkpatrick模型，Landau于1937年提出了平均場(chǎng)理論，這是研究連續(xù)相變的普遍理論。1985年D.J.Amit采用平均場(chǎng)理論研究聯(lián)想記憶問(wèn)題。1987年P(guān)eterson和Anderson使用平均場(chǎng)理論來(lái)研究確定性Boltzmann機(jī)。其方法是基于“考慮來(lái)自周圍物質(zhì)的影響時(shí)，不是分別考慮各自的影響，而是以全部的平均影響度近似”。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室平均場(chǎng)理論

為研究物理學(xué)中的Ising或者Sherringt根據(jù)平均場(chǎng)理論，首先需要知道網(wǎng)絡(luò)中每個(gè)神經(jīng)元狀態(tài)的平均值，令<vi>表示網(wǎng)絡(luò)中神經(jīng)元i狀態(tài)的平均值。神經(jīng)元i的輸出狀態(tài)以概率規(guī)則描述如下：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室根據(jù)平均場(chǎng)理論，首先需要知道網(wǎng)絡(luò)中每個(gè)神經(jīng)元狀態(tài)的平均值，令因此，可以用神經(jīng)元i的輸入表達(dá)<vi>：這就是Boltzmann機(jī)神經(jīng)元的平均場(chǎng)逼近。平均場(chǎng)逼近的基本概念在于：將每個(gè)神經(jīng)元i的真實(shí)輸入替換為其平均值<ui>，即：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室因此，可以用神經(jīng)元i的輸入表達(dá)<vi>：*合肥工業(yè)大學(xué)計(jì)因此，需要計(jì)算由n個(gè)神經(jīng)元組成的Boltzmann機(jī)中神經(jīng)元i的平均輸出<vi>。

上式表明：一個(gè)隨機(jī)變量函數(shù)的平均值可以由此隨機(jī)變量平均值的函數(shù)逼近。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室因此，需要計(jì)算由n個(gè)神經(jīng)元組成的Boltzmann機(jī)中神經(jīng)元確定性Boltzmann機(jī)

通過(guò)平均場(chǎng)逼近可以得到確定的標(biāo)準(zhǔn)Boltzmann學(xué)習(xí)規(guī)則近似為：其中和分別是顯見(jiàn)神經(jīng)元i在約束條件和自由運(yùn)行條件下的平均輸出，η為學(xué)習(xí)速率參數(shù)。這種方法稱作“確定性Boltzmann學(xué)習(xí)規(guī)則”，而這種神經(jīng)網(wǎng)絡(luò)則稱作確定性Boltzmann機(jī)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室確定性Boltzmann機(jī)

通過(guò)平均場(chǎng)逼近可以得到確定的標(biāo)準(zhǔn)

確定性Boltzmann機(jī)在實(shí)際應(yīng)用中需注意的兩點(diǎn)：

（1）確定性Boltzmann學(xué)習(xí)規(guī)則只在有監(jiān)督條件下起作用。無(wú)監(jiān)督學(xué)習(xí)不能在所有的平均場(chǎng)框架中起作用，因?yàn)槠骄鶢顟B(tài)不能很好的表示自由運(yùn)行狀態(tài)的概率分布。（2）在有監(jiān)督學(xué)習(xí)中，確定性Boltzmann學(xué)習(xí)要求神經(jīng)網(wǎng)絡(luò)只有一個(gè)單隱層（Galland,1993）。在理論中可使用多個(gè)隱層，但在實(shí)際中，使用超過(guò)一個(gè)隱層會(huì)導(dǎo)致（1）中所提到的無(wú)監(jiān)督學(xué)習(xí)的相同問(wèn)題。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室確定性Boltzmann機(jī)在實(shí)際應(yīng)用中需注意的兩點(diǎn)：6.2.2Sigmoid置信度網(wǎng)絡(luò)針對(duì)Boltzmann機(jī)學(xué)習(xí)過(guò)程中被動(dòng)階段存在增加計(jì)算時(shí)間和對(duì)統(tǒng)計(jì)錯(cuò)誤敏感的缺點(diǎn)，Neal在1992年提出了Sigmoid置信度網(wǎng)絡(luò)，也稱為邏輯推理網(wǎng)絡(luò)。提出此網(wǎng)絡(luò)的目的在于尋找一種隨機(jī)神經(jīng)網(wǎng)絡(luò)，使其可以具有Boltzmann機(jī)從二值向量中學(xué)習(xí)任意概率分布的能力，而又沒(méi)有Boltzmann機(jī)學(xué)習(xí)過(guò)程中需要被動(dòng)階段的缺點(diǎn)。Sigmoid置信度網(wǎng)絡(luò)通過(guò)控制學(xué)習(xí)過(guò)程而不是使用被動(dòng)階段，來(lái)避免上述的缺點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.2.2Sigmoid置信度網(wǎng)絡(luò)針對(duì)Boltzmann機(jī)1.Sigmoid置信度網(wǎng)絡(luò)的結(jié)構(gòu)

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室1.Sigmoid置信度網(wǎng)絡(luò)的結(jié)構(gòu)

*合肥工業(yè)大學(xué)計(jì)算Sigmoid置信度網(wǎng)絡(luò)將Boltzmann機(jī)中的對(duì)稱連接轉(zhuǎn)變?yōu)闊o(wú)反饋直接連接的形式，無(wú)反饋的連接特性可簡(jiǎn)化概率計(jì)算。Sigmoid置信度網(wǎng)絡(luò)由多層結(jié)構(gòu)的二值隨機(jī)神經(jīng)元構(gòu)成，并使用Sigmoid函數(shù)計(jì)算每個(gè)神經(jīng)元的條件概率。Sigmoid置信度網(wǎng)絡(luò)結(jié)構(gòu)為典型的前向網(wǎng)絡(luò)，其輸入、輸出為二值變量。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Sigmoid置信度網(wǎng)絡(luò)將Boltzmann機(jī)中的對(duì)稱連接轉(zhuǎn)設(shè)Sigmoid置信度網(wǎng)絡(luò)由n個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元的狀態(tài)由二值隨機(jī)變量V1,V2,…,Vn表示，則向量V={V1,V2,…,Vn}即可表示網(wǎng)絡(luò)的狀態(tài)。定義pa(Vi)為網(wǎng)絡(luò)中前i-1個(gè)神經(jīng)元狀態(tài)的一個(gè)子集，表示如下：pa(Vi)是隨機(jī)向量V的子集。因此*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室設(shè)Sigmoid置信度網(wǎng)絡(luò)由n個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元的狀態(tài)第i個(gè)神經(jīng)元的激活概率由Sigmoid函數(shù)定義為：此處wij為從神經(jīng)元j到神經(jīng)元i的連接權(quán)值，f(﹒)為Sigmoid函數(shù)。從上式中可以看出，條件概率P(Vi=vi|pa(Vi))只與pa(Vi)有關(guān)。上式所定義的第i個(gè)神經(jīng)元的激活概率是在網(wǎng)絡(luò)中傳播推理的基礎(chǔ)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第i個(gè)神經(jīng)元的激活概率由Sigmoid函數(shù)定義為：*合肥工業(yè)Sigmoid置信度網(wǎng)絡(luò)中需注意以下兩點(diǎn)：

（1）對(duì)于不屬于pa(Vi)的所有Vj，wij=0（2）對(duì)于所有的，wij=0第一點(diǎn)由pa(Vi)的定義所決定。第二點(diǎn)是由于Sigmoid置信度網(wǎng)絡(luò)神經(jīng)元的直接無(wú)反饋連接。Sigmoid置信度網(wǎng)絡(luò)的隨機(jī)操作比Boltzmann機(jī)要復(fù)雜。這種隨機(jī)神經(jīng)網(wǎng)絡(luò)在概率空間中使用梯度下降的學(xué)習(xí)算法。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Sigmoid置信度網(wǎng)絡(luò)中需注意以下兩點(diǎn)：

（1）對(duì)于不屬于2.Sigmoid置信度網(wǎng)絡(luò)學(xué)習(xí)算法

令表示訓(xùn)練樣本集，代表需要網(wǎng)絡(luò)學(xué)習(xí)的某種概率分布。假設(shè)每個(gè)樣本都是二值的。由狀態(tài)向量V決定網(wǎng)絡(luò)神經(jīng)元數(shù)量。定義狀態(tài)向量的子集Vx代表訓(xùn)練數(shù)據(jù)的特征，即Vx是表示顯見(jiàn)神經(jīng)元的狀態(tài)向量。剩下的狀態(tài)向量表示為Vy，即，隱見(jiàn)神經(jīng)元的狀態(tài)向量。對(duì)于給定狀態(tài)向量V，Sigmoid置信度網(wǎng)絡(luò)的設(shè)計(jì)高度依賴于顯見(jiàn)神經(jīng)元和隱見(jiàn)神經(jīng)元的排列方式。因此，顯見(jiàn)神經(jīng)元與隱含神經(jīng)元不同的排列方式會(huì)導(dǎo)致不同的結(jié)構(gòu)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2.Sigmoid置信度網(wǎng)絡(luò)學(xué)習(xí)算法

令表示訓(xùn)練樣本集，代按照梯度下降的思路，將Sigmoid置信度網(wǎng)絡(luò)神經(jīng)元的閾值歸并至連接權(quán)值wij中。則Sigmoid置信度網(wǎng)絡(luò)第t+1步的權(quán)值調(diào)整規(guī)則如下：其中：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室按照梯度下降的思路，將Sigmoid置信度網(wǎng)絡(luò)神經(jīng)元的閾值歸－―神經(jīng)元i和j的平均關(guān)聯(lián)wij(t)為第t步時(shí)神經(jīng)元i，j的連接權(quán)值，η為學(xué)習(xí)速率，T是網(wǎng)絡(luò)溫度。Sigmoid置信度網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中擯棄了自由運(yùn)行的過(guò)程，即網(wǎng)絡(luò)只需在訓(xùn)練樣本約束條件下進(jìn)行學(xué)習(xí)，從而達(dá)到去除被動(dòng)階段的目的。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室－―神經(jīng)元i和j的平均關(guān)聯(lián)wij(t)為第t步時(shí)神經(jīng)元i，j與Boltzmann機(jī)不同，在Sigmoid置信網(wǎng)絡(luò)中只有一個(gè)階段需要學(xué)習(xí)。這種簡(jiǎn)化的原因在于：經(jīng)過(guò)Sigmoid函數(shù)f(﹒)，狀態(tài)向量的概率分布在每個(gè)神經(jīng)元的局部水平達(dá)到標(biāo)準(zhǔn)化。給定從訓(xùn)練樣本集合中抽取的vx的值，可以正確建模隨機(jī)向量V的條件分布。Boltzmann機(jī)學(xué)習(xí)過(guò)程中的自由運(yùn)行階段由因子所取代。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室與Boltzmann機(jī)不同，在Sigmoid置信網(wǎng)絡(luò)中只有一Sigmoid置信度網(wǎng)絡(luò)將前向網(wǎng)絡(luò)結(jié)構(gòu)引入隨機(jī)神經(jīng)網(wǎng)絡(luò)的研究中，從而避免Boltzmann機(jī)神經(jīng)元全互聯(lián)結(jié)構(gòu)增加計(jì)算概率時(shí)間的缺點(diǎn)。另一方面，Sigmoid置信度網(wǎng)絡(luò)在結(jié)構(gòu)上與前向網(wǎng)絡(luò)類似，但在前向網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了優(yōu)越的隨機(jī)機(jī)制，從而避免前向網(wǎng)絡(luò)無(wú)法跳出局部極小點(diǎn)等方面的缺點(diǎn)。因此，它結(jié)合了隨機(jī)神經(jīng)網(wǎng)絡(luò)與前向神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Sigmoid置信度網(wǎng)絡(luò)將前向網(wǎng)絡(luò)結(jié)構(gòu)引入隨機(jī)神經(jīng)網(wǎng)絡(luò)的研究6.3模擬退火算法6.3.1模擬退火原理3.3.2模擬托活算法用于組合優(yōu)化*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.3模擬退火算法6.3.1模擬退火原理*合肥工業(yè)大學(xué)模擬退火算法（SimulatedAnnealing)來(lái)源于固體退火原理，將固體加溫至充高，再讓其徐徐冷卻，加溫時(shí)，固體內(nèi)部粒子隨溫度升高變?yōu)闊o(wú)序狀，內(nèi)能增大，而徐徐冷卻時(shí)粒子漸趨有序，在每個(gè)溫度都達(dá)到平衡態(tài)，最后在常溫時(shí)達(dá)到基態(tài)，內(nèi)能減為最小。它由Metropolis算法和退火過(guò)程（AnnealingProcedure，AP）組成。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室

模擬退火算法的基本思路：首先在高溫下進(jìn)行搜索，此時(shí)各狀態(tài)出現(xiàn)概率相差不大，可以很快進(jìn)入“熱平衡狀態(tài)”，這時(shí)進(jìn)行的是一種“粗搜索”，也就是大致找到系統(tǒng)的低能區(qū)域；隨著溫度的逐漸降低，各狀態(tài)出現(xiàn)概率的差距逐漸被擴(kuò)大，搜索精度不斷提高。這就可以越來(lái)越準(zhǔn)確的找到網(wǎng)絡(luò)能量函數(shù)的全局最小點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火算法的基本思路：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息模擬退火的最初目的是尋找代表復(fù)雜系統(tǒng)的代價(jià)函數(shù)的全局最小值。因此，這種方法為解決凹平面最優(yōu)問(wèn)題提供了一個(gè)強(qiáng)有力的工具，其中心思想在于：在用模擬退火最優(yōu)化一個(gè)復(fù)雜系統(tǒng)（如：一個(gè)擁有很多自由度的系統(tǒng)）時(shí)，誤差或能量函數(shù)絕大部分的時(shí)間在下降，但不是一直下降，即誤差或能量函數(shù)的總趨勢(shì)向減小的方向變化，但有時(shí)也向增大的方向變化，這樣可跳出局部極小點(diǎn)，向全局最小點(diǎn)收斂。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火的最初目的是尋找代表復(fù)雜系統(tǒng)的代價(jià)函數(shù)的全局最小值。模擬退火與傳統(tǒng)迭代最優(yōu)算法的比較：（1）當(dāng)系統(tǒng)在非零溫度下時(shí)，從局部最優(yōu)中跳出是非常可能的，因此不會(huì)陷入局部最優(yōu)。（2）系統(tǒng)最終狀態(tài)的總特征可以在較高溫度下看到，而狀態(tài)的好的細(xì)節(jié)卻在低溫下表現(xiàn)，因此，模擬退火是自適應(yīng)的.。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火與傳統(tǒng)迭代最優(yōu)算法的比較：*合肥工業(yè)大學(xué)計(jì)算機(jī)與6.3.1模擬退火原理

1. Metropolis抽樣過(guò)程假定一隨機(jī)變量在某一時(shí)刻的狀態(tài)為vi。在另一時(shí)刻的狀態(tài)為vj。假設(shè)這種狀態(tài)的轉(zhuǎn)移滿足以下條件：ΔE表示系統(tǒng)從狀態(tài)vi轉(zhuǎn)移至狀態(tài)vj所引起的能量差。如果能量差ΔE為負(fù)，這種轉(zhuǎn)移就導(dǎo)致?tīng)顟B(tài)能量的降低，這種轉(zhuǎn)移就被接受。接下來(lái)，新?tīng)顟B(tài)作為算法下一步的起始點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.3.1模擬退火原理

1. Metropolis若能量差為正，算法在這一點(diǎn)進(jìn)行概率操作。首先，選定一個(gè)在[0,1]內(nèi)服從均勻分布的隨機(jī)數(shù)ξ。如果ξ<e-ΔE/T，則接受這種轉(zhuǎn)移。否則，拒絕這種轉(zhuǎn)移；即在算法的下一步中拒絕舊的狀態(tài)。如此反復(fù)，達(dá)到系統(tǒng)在此溫度下的熱平衡。這個(gè)過(guò)程稱作Metropolis抽樣過(guò)程。Metropolis抽樣過(guò)程就是在一確定溫度下，使系統(tǒng)達(dá)到熱平衡的過(guò)程。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室若能量差為正，算法在這一點(diǎn)進(jìn)行概率操作。首先，選定一個(gè)在[02. 退火過(guò)程（降溫過(guò)程）在Metropolis抽樣過(guò)程中溫度T緩慢的降低。模擬退火過(guò)程就是通過(guò)T參數(shù)的變化使?fàn)顟B(tài)收斂于最小能量處。因而，T參數(shù)的選擇對(duì)于算法最后的結(jié)果有很大影響。初始溫度和終止溫度設(shè)置的過(guò)低或過(guò)高都會(huì)延長(zhǎng)搜索時(shí)間。降溫步驟太快，往往會(huì)漏掉全局最優(yōu)點(diǎn)，使算法收斂至局部最優(yōu)點(diǎn)。降溫步驟太慢，則會(huì)大大延長(zhǎng)搜索全局最優(yōu)點(diǎn)的計(jì)算時(shí)間，從而難以實(shí)際應(yīng)用。因此，T可以理解為一個(gè)控制參數(shù)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2. 退火過(guò)程（降溫過(guò)程）*合肥工業(yè)大學(xué)計(jì)算機(jī)與為尋找在有限時(shí)間逼近全局最優(yōu)的模擬退火算法，設(shè)置了許多控制算法收斂的參數(shù)。在退火過(guò)程中指定了有限的退火溫度值和在每一溫度下的轉(zhuǎn)移數(shù)目。Kirlpatrick等人在退火步驟中設(shè)定的參數(shù)如下：（1）初始溫度值：初始溫度值T0要選的足夠高，保證模擬退火算法中所有可能的轉(zhuǎn)移都能被接受。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室為尋找在有限時(shí)間逼近全局最優(yōu)的模擬退火算法，設(shè)置了許多控制（2）溫度的下降：原先使用指數(shù)函數(shù)實(shí)現(xiàn)溫度的下降。但是這種方法使降溫幅度過(guò)小，從而延長(zhǎng)搜索時(shí)間。在實(shí)際中，通常使用下式：此處λ是一小于卻接近于1的常數(shù)。λ通常的取值在0.8至0.99之間。在每一溫度下，實(shí)驗(yàn)足夠多的轉(zhuǎn)移次數(shù)。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）溫度的下降：原先使用指數(shù)函數(shù)實(shí)現(xiàn)溫度的下降。但是這種方（3）終止溫度：如果在連續(xù)的若干個(gè)溫度下沒(méi)有可接受的新?tīng)顟B(tài)，系統(tǒng)凍結(jié)或退火停止。模擬退火尤其適合解決組合優(yōu)化問(wèn)題，下面以模擬退火算法解決組合優(yōu)化問(wèn)題來(lái)進(jìn)一步介紹模擬退火算法的步驟。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（3）終止溫度：如果在連續(xù)的若干個(gè)溫度下沒(méi)有可接受的新?tīng)顟B(tài)，6.3.2模擬退火算法用于組合優(yōu)化問(wèn)題許多工程上和理論上的問(wèn)題，其目標(biāo)都是在一個(gè)很大的解空間中尋求一個(gè)最優(yōu)解，這些問(wèn)題統(tǒng)稱為組合優(yōu)化問(wèn)題。在許多組合優(yōu)化問(wèn)題中，一個(gè)解通常是滿足一定規(guī)則的一些離散對(duì)象的排列，所有這些解的集合叫做解空間。通常用一個(gè)“代價(jià)函數(shù)”C(x)來(lái)衡量一個(gè)解的優(yōu)劣，目標(biāo)就是選擇一個(gè)解使其代價(jià)函數(shù)C(x)最小，如TSP問(wèn)題、大規(guī)模集成電路布局布線問(wèn)題等。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.3.2模擬退火算法用于組合優(yōu)化問(wèn)題許多工程上和理論上模擬退火與組合優(yōu)化問(wèn)題的對(duì)應(yīng)關(guān)系模擬退火算法組合優(yōu)化問(wèn)題樣本問(wèn)題舉例狀態(tài)解能量代價(jià)函數(shù)溫度控制參數(shù)熱平衡時(shí)的能量最小代價(jià)熱平衡狀態(tài)最優(yōu)解*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火與組合優(yōu)化問(wèn)題的對(duì)應(yīng)關(guān)系模擬退火算法組合優(yōu)化設(shè)V={V1,V2,…,Vn}為所有可能的組合（或狀態(tài)）所構(gòu)成的集合。C(﹒)是V的函數(shù)，且，反映取狀態(tài)Vi為解的代價(jià)，目標(biāo)是尋找使模擬退火算法應(yīng)用于組合優(yōu)化問(wèn)題的基本思想就是把每種組合狀態(tài)Vi看成某一物質(zhì)體系的微觀狀態(tài)，C(Vi)可看成該物質(zhì)體系在Vi下的能量，溫度T為控制參數(shù)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室設(shè)V={V1,V2,…,Vn}為所有可能的組合（或狀態(tài)）所構(gòu)讓T從一個(gè)足夠高的值慢慢下降，對(duì)于每個(gè)T，對(duì)當(dāng)前狀態(tài)V作隨機(jī)擾動(dòng)產(chǎn)生一個(gè)新?tīng)顟B(tài)V’，計(jì)算其增量ΔC=C(V)-C(V’’)，并以概率e-ΔC/kT接受V’作為新的當(dāng)前狀態(tài)。根據(jù)統(tǒng)計(jì)力學(xué)的知識(shí)，當(dāng)重復(fù)如此隨機(jī)擾動(dòng)足夠次數(shù)后，狀態(tài)Vi的出現(xiàn)概率如下：

服從Boltzmann分布。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室讓T從一個(gè)足夠高的值慢慢下降，對(duì)于每個(gè)T，對(duì)當(dāng)前狀態(tài)V作隨機(jī)模擬退火用于組合優(yōu)化問(wèn)題算法實(shí)現(xiàn)步驟：第一步：初始化。依據(jù)所要解決的組合優(yōu)化問(wèn)題，確定代價(jià)函數(shù)C(﹒)的表達(dá)式，隨機(jī)選擇初始狀態(tài)V=V(0)，設(shè)定初始溫度T0，終止溫度Tfinal，概率閾值ξ。第二步：Metropolis抽樣過(guò)程（1）在溫度T下依據(jù)某一規(guī)定的方式，根據(jù)當(dāng)前解所處的狀態(tài)V，產(chǎn)生一個(gè)近鄰子集N(V)（可包括V，也可不包括V），在N(V)內(nèi)隨機(jī)尋找一個(gè)新?tīng)顟B(tài)S’作為下一個(gè)當(dāng)前解的候選解，計(jì)算ΔC’=C(V’’)-C(V)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火用于組合優(yōu)化問(wèn)題算法實(shí)現(xiàn)步驟：第一步：初始化。依據(jù)所（2）若ΔC’<0,則V=V’，作為下一狀態(tài)；若ΔC’>0，則計(jì)算概率e-ΔC`/T，若其大于給定概率閾值ξ，則取下一狀態(tài)為V=V’，否則，保留這一狀態(tài)。（3）按某一給定的收斂算法檢查算法在溫度T下是否應(yīng)停止，若符合收斂條件則表示已達(dá)到熱平衡，轉(zhuǎn)向第三步的退火過(guò)程，若不符合收斂條件，則轉(zhuǎn)向（1）繼續(xù)迭代，直至在此溫度下收斂。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）若ΔC’<0,則V=V’，作為下一狀態(tài)；若ΔC’>0，第三步：退火過(guò)程。

按照一定的降溫方法得到一個(gè)新的溫度T，檢查T是否小于給定的溫度終止閾值Tfinal。若小于，則退火過(guò)程結(jié)束，當(dāng)前狀態(tài)V即為算法最終輸出解。若溫度T大于等于給定閾值，則轉(zhuǎn)至Metropolis抽樣過(guò)程，在新的溫度下搜索狀態(tài)。注意：在上述退火過(guò)程中，模擬退火算法是否能達(dá)到能量E的最小值，取決于T0是否足夠高，和T下降得是否充分慢，以及對(duì)每個(gè)T時(shí)系統(tǒng)是否穩(wěn)定。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第三步：退火過(guò)程。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖模擬退火算法的參數(shù)控制問(wèn)題（1）T0的選擇方法：a.均勻隨機(jī)抽樣{Vi}，取此時(shí)C(Vi)的方差為T0b.在所有可能的組合狀態(tài)中，選兩個(gè)狀態(tài)使ΔC’ 最大，取T0為ΔC’的若干倍；c.按經(jīng)驗(yàn)給出。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火算法的參數(shù)控制問(wèn)題（1）T0的選擇方法：*合肥工業(yè)大(2)退火過(guò)程中Tfinal的選取方法：a依據(jù)經(jīng)驗(yàn)確定b檢驗(yàn)系統(tǒng)的熵是已否達(dá)到最小，若達(dá)到最小， 即可認(rèn)為溫度已達(dá)到終止溫度。cT下降n次后都沒(méi)有改善，即可認(rèn)為能量已降 到最低，沒(méi)有必要再降溫。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室(2)退火過(guò)程中Tfinal的選取方法：*合肥工業(yè)（3）Metropolis抽樣過(guò)程的收斂算法：a.檢驗(yàn)?zāi)繕?biāo)函數(shù)C(﹒)的均值是否穩(wěn)定；b.繼續(xù)若干步，C(﹒)變化很?。ㄔO(shè)定閾值）；c.按一個(gè)固定步數(shù)抽樣。（4）降溫方法的確定：根據(jù)Kirlpatrick的方法令，*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（3）Metropolis抽樣過(guò)程的收斂算法：*合肥工業(yè)大學(xué)模擬退火算法是一種通用的隨機(jī)搜索算法，它可用于解決眾多的優(yōu)化問(wèn)題，并已經(jīng)廣泛的應(yīng)用于其他領(lǐng)域。如VLSL設(shè)計(jì)、圖像識(shí)別等。當(dāng)待解決的問(wèn)題復(fù)雜性較高，而且規(guī)模較大時(shí)，在對(duì)問(wèn)題的領(lǐng)域知識(shí)甚少的情況下，采用模擬退火算法最合適。因?yàn)槟M退火算法不像其他確定型啟發(fā)式算法那樣，需要依賴于問(wèn)題的領(lǐng)域知識(shí)來(lái)提高算法的性能。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火算法是一種通用的隨機(jī)搜索算法，它可用于解決眾多的優(yōu)化但是，從另一方面來(lái)說(shuō)，已知有關(guān)待解決問(wèn)題的一些知識(shí)后，模擬退火算法卻無(wú)法充分利用它們，這使得模擬退火算法的優(yōu)點(diǎn)就成了缺點(diǎn)。如何把傳統(tǒng)的啟發(fā)式搜索方法和模擬退火隨機(jī)搜索算法結(jié)合起來(lái)，這是一個(gè)有待研究的十分有意義的課題。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室但是，從另一方面來(lái)說(shuō)，已知有關(guān)待解決問(wèn)題的一些知識(shí)后，模擬退模擬退火算法具有跳出局部最優(yōu)陷阱的能力，因此被Ackley、Hinton和Sejnowski用作Boltzmann機(jī)學(xué)習(xí)算法，從而使Boltzmann機(jī)克服了Hopfield網(wǎng)絡(luò)經(jīng)常收斂到局部最優(yōu)點(diǎn)的缺點(diǎn)。在Boltmann機(jī)中，即使系統(tǒng)落入局部最優(yōu)的陷阱，經(jīng)過(guò)一段時(shí)間后，它還能重新跳出來(lái)，使系統(tǒng)最終將往全局最優(yōu)點(diǎn)的方向收斂。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火算法具有跳出局部最優(yōu)陷阱的能力，因此被Ackley、模擬退火算法在求解規(guī)模較大的實(shí)際問(wèn)題時(shí)，往往存在以下缺點(diǎn)：（1）收斂速度比較慢。（2）盡管理論上只要計(jì)算時(shí)間足夠長(zhǎng)，模擬退火法就可以保證以概率1收斂于全局最優(yōu)點(diǎn)。但是在實(shí)際算法的實(shí)現(xiàn)過(guò)程中，由于計(jì)算速度和時(shí)間的限制，在優(yōu)化效果和計(jì)算時(shí)間二者之間存在矛盾，因而難以保證計(jì)算結(jié)果為全局最優(yōu)點(diǎn)，優(yōu)化效果不甚理想。(3)在每一溫度下很難判定是否達(dá)到了平衡狀態(tài)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室模擬退火算法在求解規(guī)模較大的實(shí)際問(wèn)題時(shí)，往往存在以下缺點(diǎn)：*為此，人們對(duì)模擬退火算法提出了各種各樣的改進(jìn)，其中包括并行模擬退火算法、快速模擬退火算法（Cauchy機(jī)）和對(duì)模擬退火算法中各個(gè)函數(shù)和參數(shù)的重新設(shè)計(jì)等。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室為此，人們對(duì)模擬退火算法提出了各種各樣的改進(jìn)，其中包括并行模在線教務(wù)輔導(dǎo)網(wǎng)：教材其余課件及動(dòng)畫素材請(qǐng)查閱在線教務(wù)輔導(dǎo)網(wǎng)QQ:349134187或者直接輸入下面地址：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室在線教務(wù)輔導(dǎo)網(wǎng)：http://www.shangfuwang第6章隨機(jī)神經(jīng)網(wǎng)絡(luò)及模擬退火算法

6.1Boltzmann機(jī)6.2Boltzmann機(jī)的改進(jìn)6.3模擬退火算法6.4仿真實(shí)例*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第6章隨機(jī)神經(jīng)網(wǎng)絡(luò)及模擬退火算法

6.1Bol前言隨機(jī)神經(jīng)網(wǎng)絡(luò)是統(tǒng)計(jì)力學(xué)思想引入神經(jīng)網(wǎng)絡(luò)研究的結(jié)果。統(tǒng)計(jì)力學(xué)是研究大系統(tǒng)宏觀平衡性質(zhì)的學(xué)科，這種大系統(tǒng)的組成元素服從微觀機(jī)制。統(tǒng)計(jì)力學(xué)的主要目的是尋找從微觀粒子（原子、電子）的運(yùn)動(dòng)開(kāi)始的宏觀物體的熱力學(xué)性質(zhì)，由于所遇到的自由度數(shù)目很大，因此只能使用概率的方法進(jìn)行研究。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室前言隨機(jī)神經(jīng)網(wǎng)絡(luò)是統(tǒng)計(jì)力學(xué)思想引入神經(jīng)網(wǎng)絡(luò)研究的結(jié)果。*合隨機(jī)神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)的比較：名稱網(wǎng)絡(luò)類型網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法BP網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)含輸入層、隱層、輸出層。層內(nèi)神經(jīng)元無(wú)連接網(wǎng)絡(luò)按誤差減少的最大梯度方向調(diào)整權(quán)值Hopfield網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)單層神經(jīng)網(wǎng)絡(luò)，層內(nèi)神經(jīng)元全互連網(wǎng)絡(luò)按照其用途來(lái)設(shè)計(jì)或訓(xùn)練網(wǎng)絡(luò)權(quán)值Boltzmann機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)含輸入部、輸出部和中間部。神經(jīng)元互連網(wǎng)絡(luò)向誤差減小的方向運(yùn)行概率大，但也可能向誤差增大方向運(yùn)行*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室隨機(jī)神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)的比較：名稱網(wǎng)絡(luò)類型BP網(wǎng)絡(luò)是一種“貪心”算法，容易陷入局部最小點(diǎn)。Hopfield網(wǎng)絡(luò)很難避免出現(xiàn)偽狀態(tài)，網(wǎng)絡(luò)是嚴(yán)格按照能量減小的方向運(yùn)行的，容易陷入局部極小點(diǎn)，而無(wú)法跳出。所以，在用BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)進(jìn)行最優(yōu)化的計(jì)算時(shí)，由于限定條件的不足，往往會(huì)使網(wǎng)絡(luò)穩(wěn)定在誤差或能量函數(shù)的局部最小點(diǎn)，而不是全局最小點(diǎn)，即所得的解不是最優(yōu)解。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室網(wǎng)絡(luò)陷入局部最小點(diǎn)的原因主要有兩點(diǎn)：（1）網(wǎng)絡(luò)結(jié)構(gòu)上存在著輸入到輸出之間的非線性函數(shù)關(guān)系，從而使網(wǎng)絡(luò)誤差或能量函數(shù)所構(gòu)成的空間是一個(gè)含有多極點(diǎn)的非線性空間。（2）在算法上，網(wǎng)絡(luò)的誤差或能量函數(shù)只能單方向減小，不能有一點(diǎn)上升。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室網(wǎng)絡(luò)陷入局部最小點(diǎn)的原因主要有兩點(diǎn)：*合肥工業(yè)大學(xué)計(jì)算機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)的基本思想：網(wǎng)絡(luò)向誤差或能量函數(shù)減小方向運(yùn)行的概率大，同時(shí)向誤差或能量函數(shù)增大方向運(yùn)行的概率存在，這樣網(wǎng)絡(luò)跳出局部極小點(diǎn)的可能性存在，而且向全局最小點(diǎn)收斂的概率最大。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室

20世紀(jì)80年代，Ackley,Hinton和Sejnowski等人以模擬退火思想為基礎(chǔ)，對(duì)Hopfield網(wǎng)絡(luò)引入了隨機(jī)機(jī)制，推出Boltzmann機(jī)。Boltzmann機(jī)是第一個(gè)受統(tǒng)計(jì)力學(xué)啟發(fā)的多層學(xué)習(xí)機(jī)，它是典型的隨機(jī)神經(jīng)網(wǎng)絡(luò)。其命名來(lái)源于Boltzmann機(jī)在統(tǒng)計(jì)力學(xué)中的早期工作和網(wǎng)絡(luò)本身的動(dòng)態(tài)分布行為（其平衡狀態(tài)服從Boltzmann分布），其運(yùn)行機(jī)制服從模擬退火算法。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1Boltzmann機(jī)6.1.1Boltzmann機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)6.1.2Boltzmann機(jī)的工作原理6.1.3Boltzmann機(jī)的運(yùn)行步驟6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1Boltzmann機(jī)6.1.1Boltzman6.1.1Boatman機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

圖6-1boltzmann機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.1Boatman機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

圖6-1

Boltzmann機(jī)由輸入部、輸出部和中間部構(gòu)成。輸入神經(jīng)元和輸出神經(jīng)元可稱為顯見(jiàn)神經(jīng)元，它們是網(wǎng)絡(luò)與外部環(huán)境進(jìn)行信息交換的媒介。中間部的神經(jīng)元稱為隱見(jiàn)神經(jīng)元，它們通過(guò)顯見(jiàn)神經(jīng)元與外部進(jìn)行信息交換。每一對(duì)神經(jīng)元之間的信息傳遞是雙向?qū)ΨQ的，即wij=wji，而且自身無(wú)反饋即wii=0。學(xué)習(xí)期間，顯見(jiàn)神經(jīng)元將被外部環(huán)境“約束”在某一特定的狀態(tài)，而中間部隱見(jiàn)神經(jīng)元?jiǎng)t不受外部環(huán)境約束。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)由輸入部、輸出部和中間部構(gòu)成。輸入神經(jīng)Boltzmann機(jī)中單個(gè)神經(jīng)元的運(yùn)行特性*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)中單個(gè)神經(jīng)元的運(yùn)行特性*合肥工業(yè)大學(xué)

Boltzmann機(jī)中每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于神經(jīng)元的輸入。神經(jīng)元i的全部輸入信號(hào)的總和為ui為：

式中bi是該神經(jīng)元的閾值?？梢詫i歸并到總的加權(quán)和中去，即得：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室式中bi是該神經(jīng)元的閾值。*合肥工業(yè)大學(xué)

神經(jīng)元的輸出vi依概率取1或0：vi取1的概率：

vi取0的概率：

由此可見(jiàn)，vi取1的概率受兩個(gè)因素的影響：（1）ui越大vi則取1的概率越大，而取0的概 率越小。（2）參數(shù)T稱為“溫度”，在不同的溫度下vi 取1的概率P隨ui的變化如圖所示。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室由此可見(jiàn)，vi取1的概率受兩個(gè)因素的影響：*合肥

p~u的關(guān)系*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室p~u的關(guān)系*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處可見(jiàn)，T越高時(shí)，曲線越平滑，因此，即使ui有很大變動(dòng)，也不會(huì)對(duì)vi取1的概率變化造成很大的影響；反之，T越低時(shí)，曲線越陡峭，當(dāng)ui有稍許變動(dòng)時(shí)就會(huì)使概率有很大差異。即溫度高時(shí)狀態(tài)變化接近隨機(jī)，隨著溫度的降低向確定性的動(dòng)作靠近。當(dāng)T→0時(shí)，每個(gè)神經(jīng)元不再具有隨機(jī)特性，而具有確定的特性，激勵(lì)函數(shù)變?yōu)殡A躍函數(shù)，這時(shí)Boltzmann機(jī)趨向于Hopfield網(wǎng)絡(luò)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室可見(jiàn)，T越高時(shí)，曲線越平滑，因此，即使ui有很大變動(dòng)，也不會(huì)6.1.1Boltzmann機(jī)的工作原理

Boltzmann機(jī)采用下式所示的能量函數(shù)作為描述其狀態(tài)的函數(shù)。

將Boltzmann機(jī)視為一動(dòng)力系統(tǒng)，能量函數(shù)的極小值對(duì)應(yīng)系統(tǒng)的穩(wěn)定平衡點(diǎn)，由于能量函數(shù)有界，當(dāng)網(wǎng)絡(luò)溫度以某種方式逐漸下降到某一特定值時(shí)，系統(tǒng)必趨于穩(wěn)定狀態(tài)Boltzmann機(jī)的運(yùn)行過(guò)程就是逐步降低其能量函數(shù)的過(guò)程。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.1Boltzmann機(jī)的工作原理Boltzmann機(jī)在運(yùn)行時(shí)，假設(shè)每次只改變一個(gè)神經(jīng)元的狀態(tài)，如第i個(gè)神經(jīng)元，設(shè)vi取0和取1時(shí)系統(tǒng)的能量函數(shù)分別為0和，它們的差值為ΔEi

ΔEi的取值可能有兩種情況:ΔEi>0或ΔEi<0。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)在運(yùn)行時(shí)，假設(shè)每次只改變一個(gè)神經(jīng)元的狀態(tài)（1）當(dāng)ΔEi>0即>0時(shí)，

神經(jīng)元取1的概率：神經(jīng)元取0的概率：當(dāng)＝ΔEi>0時(shí)，這時(shí)神經(jīng)元i的狀態(tài)取1的可能性比取0的可能性大，即網(wǎng)絡(luò)狀態(tài)取能量低的可能性大。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（1）當(dāng)ΔEi>0即（2）同理當(dāng)ΔEi<0時(shí)，即那么此時(shí)即神經(jīng)元i的狀態(tài)取0的可能性比取1的可能 性大。網(wǎng)絡(luò)狀態(tài)取能量低的可能性大。運(yùn)行過(guò)程中總的趨勢(shì)是朝能量下降的方向運(yùn)動(dòng)，但也存在能量上升的可能性。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）同理當(dāng)ΔEi<0時(shí)，即

有一個(gè)凹凸不平的盆，要使一個(gè)小球穩(wěn)定在最低的地方，如果把小球輕輕地放入盆中，那么結(jié)果必然是小球穩(wěn)定在距放入地方最近的低洼處。但是穩(wěn)定所在的地方并不保證是最低的地方，這一動(dòng)作與Hopfield網(wǎng)絡(luò)相當(dāng)。Boltzmann機(jī)則是大幅度搖晃剛放入小球的盆子，然后逐漸減小搖晃的幅度。這樣，小球才有可能到盆子的最低處B處。舉例說(shuō)明Boltzmann機(jī)的學(xué)習(xí)算法*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室舉例說(shuō)明Boltzmann機(jī)的學(xué)習(xí)算法*合肥工業(yè)大假定Boltzmann機(jī)中有V1和V2兩種狀態(tài)：在V1狀態(tài)下神經(jīng)元i的輸出vi=1，V2狀態(tài)下神經(jīng)元i的輸出vi=0，而所有其他神經(jīng)元在這兩種狀態(tài)下的取值都是一致的，另外假設(shè)兩種狀態(tài)出現(xiàn)的概率分別是和：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室對(duì)于網(wǎng)絡(luò)中任意兩個(gè)狀態(tài)V1和V2的出現(xiàn)概率分別為和。它們之間的關(guān)系為

上式符合統(tǒng)計(jì)理學(xué)中己知的Boltzmann分布。Boltzmann機(jī)由此得名。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室對(duì)于網(wǎng)絡(luò)中任意兩個(gè)狀態(tài)V1和V2的出現(xiàn)概率分別為一方面：這就說(shuō)明了能量低的狀態(tài)出現(xiàn)的概率大，能量高的狀態(tài)出現(xiàn)的概率小。另一方面：溫度參數(shù)T也會(huì)影響boltzmann機(jī)處于某種狀態(tài)的概率。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室一方面：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研（1）T很高時(shí)，各狀態(tài)出現(xiàn)的概率差異大大減小，也就是說(shuō)網(wǎng)絡(luò)停留在全局最小點(diǎn)的概率，并不比局部最小點(diǎn)的概率甚至非局部最小點(diǎn)高很多。也即網(wǎng)絡(luò)不會(huì)陷在某個(gè)極小點(diǎn)中拔不出來(lái)，網(wǎng)絡(luò)在搜索過(guò)程中能夠“很快”的穿行于各極小點(diǎn)之間，但落于全局最小點(diǎn)的概率還是最大的。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)落入全局最小點(diǎn)的可能性大。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（1）T很高時(shí)，各狀態(tài)出現(xiàn)的概率差異大大減小，也就是說(shuō)網(wǎng)絡(luò)停（2）T很低時(shí)，情況正好相反。概率差距被加大，一旦網(wǎng)絡(luò)陷于某個(gè)極小點(diǎn)之后，雖然還有可能跳出該極小點(diǎn)，但是所需的搜索次數(shù)將是非常多的。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)一旦達(dá)到全局最小點(diǎn)，跳出的可能性?。?）T→0（Hopfield網(wǎng)絡(luò))。差距被無(wú)限擴(kuò)展，跳出局部最小點(diǎn)的概率趨于無(wú)窮小。這一點(diǎn)保證網(wǎng)絡(luò)狀態(tài)穩(wěn)定在全局最小點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（2）T很低時(shí)，情況正好相反。概率差距被加大，一旦網(wǎng)絡(luò)陷于某6.1.3Boltzmann機(jī)的運(yùn)行步驟

設(shè)一個(gè)Boltzmann機(jī)具有n個(gè)隨機(jī)神經(jīng)元（p個(gè)顯見(jiàn)神經(jīng)元，q個(gè)隱見(jiàn)神經(jīng)元），第i個(gè)神經(jīng)元與第j個(gè)神經(jīng)元的連接權(quán)值為wij，i，j＝1,2,…,n。T0為初始溫度，m＝1,2,…,M為迭代次數(shù)。Boltzmann機(jī)的運(yùn)行步驟為：第一步：對(duì)網(wǎng)絡(luò)進(jìn)行初始化。設(shè)定初始溫度T0、終止溫度Tfinal和閾值ξ，以及網(wǎng)絡(luò)各神經(jīng)元的連接權(quán)值wij。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.3Boltzmann機(jī)的運(yùn)行步驟

設(shè)一個(gè)Boltz第二步：在溫度Tm條件下（初始溫度為T0）隨機(jī)選取網(wǎng)絡(luò)中的一個(gè)神經(jīng)元i，計(jì)算神經(jīng)元i的輸入信號(hào)總和ui：第三步：若ui>0，即能量差ΔEi>0，取vi=1為神經(jīng)元i的下一狀態(tài)值。若ui<0，計(jì)算概率：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第二步：在溫度Tm條件下（初始溫度為T0）隨機(jī)選取網(wǎng)絡(luò)中的一第四步：判斷網(wǎng)絡(luò)在溫度Tm下是否達(dá)到穩(wěn)定，若未達(dá)到穩(wěn)定，則繼續(xù)在網(wǎng)絡(luò)中隨機(jī)選取另一神經(jīng)元j，令j＝i，轉(zhuǎn)至第二步重復(fù)計(jì)算，直至網(wǎng)絡(luò)在Tm下達(dá)到穩(wěn)定。若網(wǎng)絡(luò)在Tm下已達(dá)到穩(wěn)定則轉(zhuǎn)至第五步計(jì)算。第五步：以一定規(guī)律降低溫度，使Tm+1<Tm，判斷Tm+1是否小于Tfinal，若Tm+1大于等于Tfinal，則Tm=Tm＋1，轉(zhuǎn)至第二步重復(fù)計(jì)算；若Tm+1小于Tfinal，則運(yùn)行結(jié)束。此時(shí)在Tm下所求得的網(wǎng)絡(luò)穩(wěn)定狀態(tài)，即為網(wǎng)絡(luò)的輸出。

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第四步：判斷網(wǎng)絡(luò)在溫度Tm下是否達(dá)到穩(wěn)定，若未達(dá)到穩(wěn)定，則繼Boltzmann機(jī)學(xué)習(xí)需要注意幾點(diǎn)：（1）初始溫度T0的選擇方法。初始溫度T0的選取主要有以下方法：隨機(jī)選取網(wǎng)絡(luò)中k個(gè)神經(jīng)元，選取這k個(gè)神經(jīng)元能量的方差作為T0；在初始網(wǎng)絡(luò)中選取使ΔE最大的兩個(gè)神經(jīng)元，取T0為ΔEmax的若干倍；按經(jīng)驗(yàn)值給出T0等。（2）確定終止溫度閾值Tfinal的方法。主要根據(jù)經(jīng)驗(yàn)選取，若在連續(xù)若干溫度下網(wǎng)絡(luò)狀態(tài)保持不變，也可認(rèn)為已達(dá)到終止溫度。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室Boltzmann機(jī)學(xué)習(xí)需要注意幾點(diǎn)：（1）初始溫度T0的選（3）概率閾值ξ的確定方法。ξ的選取方法主要有：在網(wǎng)絡(luò)初始化時(shí)按照經(jīng)驗(yàn)確定或在網(wǎng)絡(luò)每次運(yùn)行過(guò)程中選取一個(gè)[0,0.5]之間均勻分布的隨機(jī)數(shù)。（4）網(wǎng)絡(luò)權(quán)值wij的確定方法。將在下一章節(jié)討論。（5）在每一溫度下達(dá)到熱平衡的條件。通常在每一溫度下，實(shí)驗(yàn)足夠多的次數(shù)，直至網(wǎng)絡(luò)狀態(tài)在此溫度下不再發(fā)生變化為止。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（3）概率閾值ξ的確定方法。ξ的選取方法主要有：在網(wǎng)絡(luò)初始化（6）降溫的方法。通常采用指數(shù)的方法進(jìn)行降溫，即：為加快網(wǎng)絡(luò)收斂速度也可采用倍乘一個(gè)小于1的降溫系數(shù)的方法進(jìn)行快速降溫。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室（6）降溫的方法。通常采用指數(shù)的方法進(jìn)行降溫，即：*合肥工業(yè)6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則

Boltzmann機(jī)是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)，可使用概率中的似然函數(shù)量度其模擬外界環(huán)境概率分布的性能。因此，Boltzmann機(jī)的學(xué)習(xí)規(guī)則就是根據(jù)最大似然規(guī)則，通過(guò)調(diào)整權(quán)值wij，最小化似然函數(shù)或其對(duì)數(shù)。假設(shè)給定需要網(wǎng)絡(luò)模擬其概率分布的樣本集合，Vx是樣本集合中的一個(gè)狀態(tài)向量，Vx即可代表網(wǎng)絡(luò)中顯見(jiàn)神經(jīng)元的一個(gè)狀態(tài)，假設(shè)向量Vy表示網(wǎng)絡(luò)中隱見(jiàn)神經(jīng)元的一個(gè)可能狀態(tài)，則V=[VxVy]即可表示整個(gè)網(wǎng)絡(luò)所處的狀態(tài)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.1.4Boltzmann機(jī)的學(xué)習(xí)規(guī)則

Boltzman由于網(wǎng)絡(luò)學(xué)習(xí)的最終目的是模擬外界給定樣本集合的概率分布，而B(niǎo)oltzmann機(jī)含有顯見(jiàn)神經(jīng)元和隱見(jiàn)神經(jīng)元，因此Boltzmann機(jī)的學(xué)習(xí)過(guò)程包括以下兩個(gè)階段：（1）主動(dòng)階段：網(wǎng)絡(luò)在外界環(huán)境約束下運(yùn)行，即由樣本集合中的狀態(tài)向量Vx控制顯見(jiàn)神經(jīng)元的狀態(tài)。定義神經(jīng)元i和j的狀態(tài)在主動(dòng)階段的平均關(guān)聯(lián)為：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室由于網(wǎng)絡(luò)學(xué)習(xí)的最終目的是模擬外界給定樣本集合的概率分布，而B(niǎo)

其中概率P(Vy|Vx)表示網(wǎng)絡(luò)的顯見(jiàn)神經(jīng)元約束在Vx下隱見(jiàn)神經(jīng)元處于Vy的條件概率，它與網(wǎng)絡(luò)在主動(dòng)階段的運(yùn)行過(guò)程有關(guān)。2）被動(dòng)階段：網(wǎng)絡(luò)不受外界環(huán)境約束，顯見(jiàn)神經(jīng)元和隱見(jiàn)神經(jīng)元自由運(yùn)行，不受約束。被動(dòng)階段的平均關(guān)聯(lián)為：定義神經(jīng)元i和j的狀態(tài)在*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室其中概率P(Vy|Vx)表示網(wǎng)絡(luò)的顯見(jiàn)神經(jīng)元約束在Vx下隱

P(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的概率，vi和vj分別是神經(jīng)元i和j的輸出狀態(tài)。由于網(wǎng)絡(luò)在自由運(yùn)行階段服從Boltzmann分布，因此:E(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的能量。網(wǎng)絡(luò)的權(quán)值wij需遵循下面的調(diào)整規(guī)則：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室P(V)為網(wǎng)絡(luò)處于V狀態(tài)時(shí)的概率，vi和vj分別是神經(jīng)元iwij(t)為在第t步時(shí)神經(jīng)元i，j之間的連接權(quán)值，η為學(xué)習(xí)速率，T是網(wǎng)絡(luò)溫度。Boltzmann機(jī)的優(yōu)點(diǎn)：（1）通過(guò)訓(xùn)練，神經(jīng)元體現(xiàn)了與周圍環(huán)境相匹配的概率分布；（2）網(wǎng)絡(luò)提供了一種可用于尋找、表示和訓(xùn)練的普遍方法；（3）若保證學(xué)習(xí)過(guò)程中溫度降低的足夠慢，根據(jù)狀態(tài)的演化，可以使網(wǎng)絡(luò)狀態(tài)的能量達(dá)到全局最小點(diǎn)。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室wij(t)為在第t步時(shí)神經(jīng)元i，j之間的連接權(quán)值，η為學(xué)習(xí)但是在Boltzmann機(jī)的學(xué)習(xí)過(guò)程中被動(dòng)階段的存在具有兩個(gè)很大的缺點(diǎn)：（1）增加計(jì)算時(shí)間。在外界環(huán)境約束條件下，一些神經(jīng)元由外部環(huán)境約束，而在自由運(yùn)行條件下，所有的神經(jīng)元自由運(yùn)行，這樣增加了Boltzmann機(jī)的隨機(jī)仿真時(shí)間。（2）對(duì)于統(tǒng)計(jì)錯(cuò)誤的敏感。Boltzmann機(jī)的學(xué)習(xí)規(guī)則包含了主動(dòng)階段關(guān)聯(lián)和被動(dòng)階段關(guān)聯(lián)的差值。當(dāng)這兩種關(guān)聯(lián)相類似時(shí)，取樣噪聲的存在使得這個(gè)差值更加不準(zhǔn)確。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室但是在Boltzmann機(jī)的學(xué)習(xí)過(guò)程中被動(dòng)階段的存在具有兩個(gè)6.2Boltzmann機(jī)的改進(jìn)

6.2.1確定性Boltzmann機(jī)6.2.2Sigmoid置信度網(wǎng)絡(luò)*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.2Boltzmann機(jī)的改進(jìn)

6.2.1確定性Bo

6.2.1確定性Boltzmann機(jī)

由于Boltzmann機(jī)在學(xué)習(xí)過(guò)程中需要計(jì)算網(wǎng)絡(luò)中每對(duì)神經(jīng)元的平均關(guān)聯(lián)?？梢宰C明Boltzmann機(jī)的學(xué)習(xí)時(shí)間同網(wǎng)絡(luò)神經(jīng)元的數(shù)目呈指數(shù)關(guān)系。Boltzmann機(jī)在學(xué)習(xí)過(guò)程中存在的運(yùn)算時(shí)間過(guò)長(zhǎng)的問(wèn)題使其很難在實(shí)際問(wèn)題中加以應(yīng)用。目前，還沒(méi)有一種數(shù)學(xué)方法可以精確評(píng)價(jià)Boltzmann機(jī)的行為，但是可以使用平均場(chǎng)逼近的方法來(lái)逼近。在實(shí)際中，只需知道網(wǎng)絡(luò)狀態(tài)的平均值或網(wǎng)絡(luò)中神經(jīng)元狀態(tài)的平均值即可。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室6.2.1確定性Boltzmann機(jī)

由于Boltzm平均場(chǎng)理論

為研究物理學(xué)中的Ising或者Sherrington-Kirkpatrick模型，Landau于1937年提出了平均場(chǎng)理論，這是研究連續(xù)相變的普遍理論。1985年D.J.Amit采用平均場(chǎng)理論研究聯(lián)想記憶問(wèn)題。1987年P(guān)eterson和Anderson使用平均場(chǎng)理論來(lái)研究確定性Boltzmann機(jī)。其方法是基于“考慮來(lái)自周圍物質(zhì)的影響時(shí)，不是分別考慮各自的影響，而是以全部的平均影響度近似”。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室平均場(chǎng)理論

為研究物理學(xué)中的Ising或者Sherringt根據(jù)平均場(chǎng)理論，首先需要知道網(wǎng)絡(luò)中每個(gè)神經(jīng)元狀態(tài)的平均值，令<vi>表示網(wǎng)絡(luò)中神經(jīng)元i狀態(tài)的平均值。神經(jīng)元i的輸出狀態(tài)以概率規(guī)則描述如下：*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室根據(jù)平均場(chǎng)理論，首先需要知道網(wǎng)絡(luò)中每個(gè)神經(jīng)元狀態(tài)的平均值，令因此，可以用神經(jīng)元i的輸入表達(dá)<vi>：這就是Boltzmann機(jī)神經(jīng)元的平均場(chǎng)逼近。平均場(chǎng)逼近的基本概念在于：將每個(gè)神經(jīng)元i的真實(shí)輸入替換為其平均值<ui>，即：

*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室因此，可以用神經(jīng)元i的輸入表達(dá)<vi>：*合肥工業(yè)大學(xué)計(jì)因此，需要計(jì)算由n個(gè)神經(jīng)元組成的Boltzmann機(jī)中神經(jīng)元i的平均輸出<vi>。

上式表明：一個(gè)隨機(jī)變量函數(shù)的平均值可以由此隨機(jī)變量平均值的函數(shù)逼近。*合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室因此，需要計(jì)算由n個(gè)神經(jīng)元組成的Boltzmann機(jī)中神經(jīng)元確定性Boltzmann機(jī)

通過(guò)平均場(chǎng)逼近可以得到確定的標(biāo)