模式識別：神經(jīng)網(wǎng)絡(luò)分類

1、2021-11-221第5講 神經(jīng)網(wǎng)絡(luò)分類2021-11-222人工神經(jīng)網(wǎng)絡(luò)學習概述 人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的方法從樣例中學習值為實數(shù)、離散值或向量的函數(shù)。 人工神經(jīng)網(wǎng)絡(luò)對于訓練數(shù)據(jù)中的錯誤健壯性很好。 人工神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用到很多領(lǐng)域，例如視覺場景分析，語音識別，機器人控制。 其中，最流行的網(wǎng)絡(luò)和算法是20世紀80年代提出的bp網(wǎng)絡(luò)和bp算法， bp算法使用梯度下降法來調(diào)節(jié)bp網(wǎng)絡(luò)的參數(shù)以最佳擬合由輸入-輸出對組成的訓練集合。2021-11-223bp算法概述1、bp算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓練算法ucsd pdp小組的rumelhart、hinton和williams1986

2、年獨立地給出了bp算法清楚而簡單的描述1982年，paker就完成了相似的工作1974年，werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應(yīng)性和有效性。2021-11-224bp網(wǎng)絡(luò)的基本結(jié)構(gòu)2021-11-225確定bp網(wǎng)絡(luò)的拓撲結(jié)構(gòu) 在開始訓練之前，需要確定網(wǎng)絡(luò)的拓撲結(jié)構(gòu)：出入層神經(jīng)元的個數(shù)、隱含層神經(jīng)元的層數(shù)及每一層神經(jīng)元的個數(shù)、輸出層神經(jīng)元的個數(shù)。 對訓練樣本中的每一屬性的值進行歸一化，使其值落在（0，1）區(qū)間，有助于加快學習過程。 對于離散的屬性值，要進行合適的編碼。 bp網(wǎng)一般都選用二級網(wǎng)絡(luò)。 實驗表明：增加隱藏層的層數(shù)和

3、隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達能力。2021-11-226神經(jīng)元的m-p模型2021-11-227激活函數(shù)激活函數(shù)(activation function) 激活函數(shù)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：化函數(shù)： o=f（net） 1、線性函數(shù)（、線性函數(shù)（liner function） f（net）=k*net+c netooc2021-11-2282、非線性斜面函數(shù)、非線性斜面函數(shù)(ramp function) if netf（net）= k*netif |net|0為一常數(shù)，

4、被稱為飽和值，為該神經(jīng)元為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。的最大輸出。 2021-11-2292、非線性斜面函數(shù)、非線性斜面函數(shù)（ramp function） - - net o 2021-11-22103、閾值函數(shù)（、閾值函數(shù)（threshold function）階躍函數(shù)）階躍函數(shù)if netf（net）=-if net 、均為非負實數(shù)，均為非負實數(shù)，為閾值為閾值二值形式：二值形式：1if netf（net）=0if net 雙極形式：雙極形式：1if netf（net）=-1if net 2021-11-22113、閾值函數(shù)（、閾值函數(shù)（threshold function）

5、階躍函數(shù)）階躍函數(shù) -onet02021-11-22124、s形函數(shù)形函數(shù) 壓縮函數(shù)（壓縮函數(shù)（squashing function）和邏輯斯特）和邏輯斯特函數(shù)（函數(shù)（logistic function）。）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為為常數(shù)。它的飽和值為a和和a+b。最簡單形式為：最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為函數(shù)的飽和值為0和和1。 s形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制 2021-11-22134、s形函數(shù)形函數(shù) a+b o(0,c)netac=a+b/22021-11-2214

6、bp算法2021-11-2215bp算法的基本思想 bp算法的基本工作過程大概可以分為兩個階段：1）信號的向前傳播，在這個階段，要求計算出隱含層和輸出層中每一神經(jīng)元的凈輸入和輸出。2）誤差的向后傳播，在這個階段，要求計算出輸出層和隱含層中每一神經(jīng)元的誤差。2021-11-2216初始化問題 在bp算法中，權(quán)和偏置在網(wǎng)絡(luò)學習之前，都將其初始化為不同的小隨機數(shù)。 “不同”保證網(wǎng)絡(luò)可以學習；“小隨機數(shù)”防止其值過大而提前進入飽和狀態(tài)。2021-11-2217更新問題 基本的bp算法采用的是實例更新，即每處理一個實例就更新一次權(quán)和偏置。實例更新的缺陷：實例的順序?qū)τ柧毥Y(jié)果有較大影響。它更“偏愛”較后出

7、現(xiàn)的實例。而給其中的實例安排一個適當?shù)捻樞?，是非常困難的。 解決的辦法就是采用周期更新，即每處理一遍所有的實例才更新一次權(quán)和偏置。周期更新的好處是：可以消除實例順序?qū)Y(jié)果的影響。2021-11-2218收斂速度問題 bp算法的訓練速度是非常慢的，尤其是當訓練達到一定的程度后，甚至有時是發(fā)散的。2021-11-2219局部極小點問題 避免修改初始值：并不是總有效。 逃離統(tǒng)計方法：wasserman，1986將cauchy訓練與bp算法結(jié)合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。2021-11-2220網(wǎng)絡(luò)癱瘓問題 在訓練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據(jù)相應(yīng)式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網(wǎng)絡(luò)停止收斂。2021-11-2221穩(wěn)定性問題 用修改量的綜合實施權(quán)的修改（用消除樣本順序影響的算法4-2來訓練） 連續(xù)變化的環(huán)境，它將變成無效的（網(wǎng)絡(luò)不可塑）2021-11-2222步長問題 bp網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量步長太小，收斂就非常慢步長太大，可能會導致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓練而不斷變化。1988年，wasserman 2021-11