人工神經(jīng)網(wǎng)絡(luò)第六章課件

1、第6章 非確定方法 主要內(nèi)容：統(tǒng)計(jì)網(wǎng)絡(luò)的基本訓(xùn)練算法模擬退火算法與收斂分析Cauchy訓(xùn)練人工熱與臨界溫度在訓(xùn)練中的使用BP算法與Cauchy訓(xùn)練的結(jié)合。重點(diǎn)：統(tǒng)計(jì)網(wǎng)絡(luò)的基本訓(xùn)練算法，BP算法與Cauchy訓(xùn)練的結(jié)合難點(diǎn)：模擬退火算法與收斂分析 9/8/20221第6章 非確定方法 6.1 基本的非確定訓(xùn)練算法 6.2 模擬退火算法 6.3 Cauchy訓(xùn)練 6.4 相關(guān)的幾個(gè)問(wèn)題 9/8/20222第6章 非確定方法確定的方法前幾章所給方法的共同特征非確定的方法生物神經(jīng)網(wǎng)絡(luò)按照概率運(yùn)行別稱(chēng)統(tǒng)計(jì)方法（Statistical Method）。既可以用于訓(xùn)練，又可以用于運(yùn)行 9/8/202236.

2、1 基本的非確定訓(xùn)練算法 基本思想從所給的網(wǎng)絡(luò)中“隨機(jī)地選取一個(gè)聯(lián)接權(quán)”，對(duì)該聯(lián)接權(quán)提出一個(gè)“偽隨機(jī)調(diào)整量”，當(dāng)用此調(diào)整量對(duì)所選的聯(lián)接權(quán)進(jìn)行修改后，如果“被認(rèn)為”修改改進(jìn)了網(wǎng)絡(luò)的性能，則保留此調(diào)整；否則放棄本次調(diào)整。 9/8/202246.1 基本的非確定訓(xùn)練算法基本數(shù)據(jù)結(jié)構(gòu)樣本集：S= (X1,Y1),(X2,Y2),(Xs,Ys)輸入向量：X=(x1，x2，xn)理想輸出向量：Y=(y1，y2，ym)L層： W(1) ，W(2) ，W(L) 9/8/202256.1 基本的非確定訓(xùn)練算法拓?fù)浣Y(jié)構(gòu) x1o1輸出層隱藏層輸入層x2o2omxnW(1) W(L)W(2)9/8/20226算法6-

3、1 基本統(tǒng)計(jì)訓(xùn)練算法 1 從樣本集S中取一樣本（X,Y）；2 將X輸入到網(wǎng)絡(luò)中，計(jì)算出實(shí)際輸出O；3 求出網(wǎng)絡(luò)關(guān)于Y，O的誤差測(cè)度E；4 隨機(jī)地從W(1) ，W(2) ，W(L)中選擇一個(gè)聯(lián)接權(quán)wij(p)；5 生成一個(gè)小隨機(jī)數(shù)wij(p)；6 用wij(p)修改wij(p)；9/8/20227算法6-1 基本統(tǒng)計(jì)訓(xùn)練算法局部極小點(diǎn)當(dāng)EE2 P(E2)P(E1)。即，系統(tǒng)處于高能量狀態(tài)的可能性小于處于低能量狀態(tài)的可能性 9/8/202216能量與溫度9/8/202217能量與溫度低溫情況下：T非常小，E的大小對(duì)P(E) 的影響非常大 ，設(shè)E1E2 P(E2) P(E1)。即，當(dāng)溫度趨近于0時(shí)，

4、系統(tǒng)幾乎不可能處于高能量狀態(tài) 9/8/202218模擬退火組合優(yōu)化法 目標(biāo)函數(shù)能量函數(shù)人工溫度T一個(gè)初值較大的數(shù)依據(jù)網(wǎng)絡(luò)的能量和溫度來(lái)決定聯(lián)接權(quán)的調(diào)整量（稱(chēng)為步長(zhǎng)）。與金屬的退火過(guò)程（Annealing）非常相似9/8/202219算法6-2 模擬退火算法 2.6 if E0 then2.6.1 按均勻分布在0,1區(qū)間取一隨機(jī)數(shù)r；2.6.2 按Boltzmann分布計(jì)算接受本次調(diào)整的概率：P(E( wij(p) +wij(p) ) = 2.6.3 if P(E( wij(p) +wij(p) )r then 轉(zhuǎn)2.2； 9/8/202223算法6-2 模擬退火算法2.7 用 wij(p) +

5、wij(p) 代替 wij(p) ；2.8 if 樣本集中還有未被選用的樣本 then 轉(zhuǎn) 2.1；3 判斷在此溫度下，檢驗(yàn)Metropolis抽樣是否穩(wěn)定。如不穩(wěn)定，則直接轉(zhuǎn)2；4 降低溫度T；5 如果T足夠小，則結(jié)束，否則，轉(zhuǎn)2。 9/8/202224算法6-2 模擬退火算法算法的第2步原則上應(yīng)該對(duì)每一個(gè)樣本調(diào)整每一個(gè)權(quán)，調(diào)整的順序是隨機(jī)的；溫度T的降低 T=T 叫做冷卻率，一般情況下可以在0.8，0.9之間取值 Geman(1984年)：溫度下降必須與時(shí)間的對(duì)數(shù)成反比，網(wǎng)絡(luò)最終才能收斂到全局極小點(diǎn) 9/8/202225算法6-2 模擬退火算法T的初值T0 T0= E(w (h) )；即：

6、取初始系統(tǒng)目標(biāo)函數(shù)（能量）的值 T0=z E(w (h) )。即：取初始系統(tǒng)目標(biāo)函數(shù)（能量）值的若干倍 按照經(jīng)驗(yàn)給出 9/8/202226算法6-2 模擬退火算法調(diào)整量wij(p)的計(jì)算 可以根據(jù)Boltzmann分布或者Gaussian分布來(lái)計(jì)算。也可以用其它的方法。下面討論按Gaussian分布進(jìn)行計(jì)算的方法。我們?nèi)∪缦滦问降腉aussian分布函數(shù)。簡(jiǎn)潔起見(jiàn)，用符號(hào)w代替符號(hào)wij(p)： p(w)= 9/8/202227Monte Carlo法 數(shù)值積分法 根據(jù)網(wǎng)絡(luò)的精度要求，設(shè)一個(gè)積分步長(zhǎng)，然后通過(guò)數(shù)值積分構(gòu)造出如下形式的表格 w234NC1C2C3C4CN9/8/202228Mon

7、te Carlo法首先按照均勻分布在C1，CN中隨機(jī)地取一個(gè)值C，然后，從 C1，C2，C3，CN中選取Ck滿(mǎn)足：|Ck-C|=min|C-C1 |,|C-C2|,|C-C3|,|C-CN|Ck對(duì)應(yīng)的k就是所需要的聯(lián)接權(quán)調(diào)整量w 9/8/2022296.3 Cauchy訓(xùn)練 Boltzmann分布Boltzmann訓(xùn)練 1987年，S. Szu和R. Hartley提出用Cauchy分布去取代Gaussian分布Cauchy分布 p(x)= 9/8/2022306.3 Cauchy訓(xùn)練優(yōu)點(diǎn)對(duì)于C1，CN中的任意一個(gè)C，它按照Cauchy分布所能取到的聯(lián)接權(quán)的調(diào)整量要大于按照Boltzmann分

8、布所能取到的聯(lián)接權(quán)的調(diào)整量 用Cauchy分布取代Boltzmann分布后，溫度可以下降得更快。這時(shí)，溫度的下降變得與時(shí)間成反比 ：T0/(1+t)Cauchy分布函數(shù)可以用常規(guī)的方法進(jìn)行積分運(yùn)算 9/8/2022316.4 相關(guān)的幾個(gè)問(wèn)題 Boltzmann機(jī) 每個(gè)神經(jīng)元可以有一個(gè)特殊的閾值，用來(lái)限制神經(jīng)元所獲得的激活值 神經(jīng)元的狀態(tài)概率發(fā)生變化。oj=1的概率為 9/8/202234Boltzmann機(jī)Boltzmann機(jī)的目標(biāo)函數(shù)（能量函數(shù)） “一致性函數(shù)” 9/8/202235人工熱問(wèn)題 特殊熱溫度關(guān)于能量的變化率系統(tǒng)在能量躍變邊界處的溫度叫做臨界溫度人工特殊熱/“偽特殊熱” 系統(tǒng)的人

9、工溫度關(guān)于系統(tǒng)的能量函數(shù)（目標(biāo)函數(shù)）的平均變化率 臨界溫度臨界溫度時(shí)的小量下降，會(huì)引起能量函數(shù)值的較大變化 系統(tǒng)正處于一個(gè)局部極小點(diǎn)附近 臨界溫度點(diǎn)可以通過(guò)考察所定義的人工特殊熱的變化情況得到 9/8/202236BP算法與Cauchy訓(xùn)練的結(jié)合 Cauchy訓(xùn)練的速度比Boltzmann訓(xùn)練快 Cauchy訓(xùn)練的速度比BP算法慢Cauchy訓(xùn)練有可能使網(wǎng)絡(luò)逃離局部極小點(diǎn) 由BP算法提供直接計(jì)算部分，Cauchy算法提供隨機(jī)部分wij=wij+wij wij=(1-)joi+wij)+(1- )wij(c) (0,1)為學(xué)習(xí)率,(0,1)為沖量系數(shù) 9/8/202237網(wǎng)絡(luò)陷入癱瘓 執(zhí)行對(duì)網(wǎng)絡(luò)聯(lián)接權(quán)的壓縮 如，如果將聯(lián)接權(quán)壓縮在（-a，a）以?xún)?nèi)，P. D. Wasserman曾給出如下建議公式 9/8/202238第2次課堂測(cè)試（5分*4）什么叫線(xiàn)性不可分問(wèn)題？我們是如何克服它的?BP算法是如何解決隱藏層的聯(lián)接權(quán)的調(diào)整的，試進(jìn)行適當(dāng)?shù)姆治?。敘述?duì)傳網(wǎng)中Kohonen層聯(lián)接權(quán)的初始化方法。為什么需要花費(fèi)如此大的力氣進(jìn)行Kohonen層聯(lián)接權(quán)的初始化工作？9/8/202239練習(xí)P 1、59/8/202240上次課內(nèi)容回顧非確定算法的基本思想訓(xùn)練工作基本統(tǒng)計(jì)訓(xùn)練算法