小波神經(jīng)網(wǎng)絡(luò)剖析

1、3.3.1 概述 p小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點 小波變換通過尺度伸縮和平移對信號進行多 尺度分析，能有效提取信號的局部信息 神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自適應(yīng)和容錯性等特 點，并且是一類通用函數(shù)逼近器。 小波神經(jīng)網(wǎng)絡(luò)的基元和整個結(jié)構(gòu)是依據(jù)小波 分析理論確定的，可以避免BP神經(jīng)網(wǎng)絡(luò)等結(jié) 構(gòu)設(shè)計上的盲目性 小波神經(jīng)網(wǎng)絡(luò)有更強的學(xué)習(xí)能力，精度更高 對同樣的學(xué)習(xí)任務(wù)，小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更簡 單，收斂速度更快。 3.3.1 概述 p小波神經(jīng)網(wǎng)絡(luò)類型小波神經(jīng)網(wǎng)絡(luò)類型 松散型 小波分析對神經(jīng)網(wǎng)絡(luò)的輸入進行初步處理，使得輸入神經(jīng)網(wǎng)小波分析對神經(jīng)網(wǎng)絡(luò)的輸入進行初步處理，使得輸入神經(jīng)網(wǎng) 絡(luò)的信息更易于神經(jīng)網(wǎng)絡(luò)進行

2、處理絡(luò)的信息更易于神經(jīng)網(wǎng)絡(luò)進行處理 融合型 小波和神經(jīng)網(wǎng)絡(luò)直接融合，即小波元代替神經(jīng) 元,輸入層到隱含層的權(quán)值及隱含層閾值分別 由小波函數(shù)的尺度和平移參數(shù)所代替 （1 1）連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)）連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò) （2 2）由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò)）由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò) （3 3）正交基小波網(wǎng)絡(luò)）正交基小波網(wǎng)絡(luò) 3.3.1 概述 p小波神經(jīng)網(wǎng)絡(luò)存在著以下一些不足之處小波神經(jīng)網(wǎng)絡(luò)存在著以下一些不足之處 1）在多維輸入情況下，隨著網(wǎng)絡(luò)的輸入維 數(shù)增加，網(wǎng)絡(luò)所訓(xùn)練的樣本呈指數(shù)增長，網(wǎng) 絡(luò)結(jié)構(gòu)也將隨之變得龐大，使得網(wǎng)絡(luò)收斂速 度大大下降。 2）隱含層結(jié)點數(shù)難以確定。 3）小波網(wǎng)絡(luò)

3、中初始化參數(shù)問題，若尺度參 數(shù)與位移參數(shù)初始化不合適，將導(dǎo)致整個網(wǎng) 絡(luò)學(xué)習(xí)過程的不收斂。 4）未能根據(jù)實際情況來自適應(yīng)選取合適的 小波基函數(shù)。 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p待確定參數(shù)待確定參數(shù) 連接權(quán)值 尺度系統(tǒng) 平移系數(shù) p小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 標(biāo)準BP算法 BP算法的改正算法 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p設(shè)小波神經(jīng)網(wǎng)絡(luò)為設(shè)小波神經(jīng)網(wǎng)絡(luò)為3 3層網(wǎng)絡(luò)，包括輸入層、隱層網(wǎng)絡(luò)，包括輸入層、隱 含層和輸出層，輸出層采用線性輸出，輸入層含層和輸出層，輸出層采用線性輸出，輸入層 有有 個神經(jīng)元，隱含層有個神經(jīng)元，隱含層有 個神經(jīng)元，輸出層有個神經(jīng)元，

4、輸出層有 個神經(jīng)元。個神經(jīng)元。 M x 1 x 2 x 1( ) h x 2( ) hx ( ) K hx 1 y 2 y N y (1,2,)M mM(1,2,)K kK (1,2,)N nN 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p隱含層選取的神經(jīng)元激勵函數(shù)為隱含層選取的神經(jīng)元激勵函數(shù)為MorletMorlet小波小波 p訓(xùn)練時，在權(quán)值和閾值的修正算法中加入動量訓(xùn)練時，在權(quán)值和閾值的修正算法中加入動量 項，利用前一步得到的修正值來平滑學(xué)習(xí)路徑，項，利用前一步得到的修正值來平滑學(xué)習(xí)路徑， 避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免 在逐個樣本訓(xùn)練時，

5、引起權(quán)值和閾值修正時發(fā)生在逐個樣本訓(xùn)練時，引起權(quán)值和閾值修正時發(fā)生 的振蕩，采用成批訓(xùn)練方法。對網(wǎng)絡(luò)的輸出也并的振蕩，采用成批訓(xùn)練方法。對網(wǎng)絡(luò)的輸出也并 不是簡單的加權(quán)求和，而是先對網(wǎng)絡(luò)隱含層小波不是簡單的加權(quán)求和，而是先對網(wǎng)絡(luò)隱含層小波 結(jié)點的輸出加權(quán)求和，再經(jīng)結(jié)點的輸出加權(quán)求和，再經(jīng)SigmoidSigmoid函數(shù)變換后，函數(shù)變換后， 得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同 時減少訓(xùn)練過程中發(fā)散的可能性時減少訓(xùn)練過程中發(fā)散的可能性 2 h()cos(1.75)exp( 0.5() ) xbxbxb aaa 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法

6、p給定給定 組輸入輸出樣本，學(xué)習(xí)組輸入輸出樣本，學(xué)習(xí) 率為率為 ，動量因子為，動量因子為 p目標(biāo)誤差函數(shù)目標(biāo)誤差函數(shù) 式中 為輸出層第n個結(jié)點的期望輸出； 為網(wǎng)絡(luò)實際輸出 p算法的目標(biāo)算法的目標(biāo) 不斷調(diào)整網(wǎng)絡(luò)的各項參數(shù)，使得誤差 函數(shù)達到最小值 (1,2,)P pP (0) (01) N 111 1 () 2 PP ppp nn ppn EEdy P p n d p n y 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p隱含層輸出隱含層輸出 為輸入層的輸入為輸入層的輸入 為隱含層的輸出 為輸入層結(jié)點 為與隱含層結(jié)點 為之間的權(quán)值； 為Morlet小波函數(shù)。 p 1 h(), p M ppp kk k

7、kkmm m k Ib OIw x a p m x p k O km w m k h() 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p輸出層輸出為輸出層輸出為 為輸出層的輸入 為隱含層結(jié)點 與輸出層結(jié)點 之 間的權(quán)值 (), N pppp nnnnkk yh IIw O p n I nk w n k 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p隱含層與輸出層之間的權(quán)值調(diào)整式隱含層與輸出層之間的權(quán)值調(diào)整式 、 分別表示調(diào)整前與調(diào)整后的隱含層結(jié)分別表示調(diào)整前與調(diào)整后的隱含層結(jié) 點點 與輸出層結(jié)點與輸出層結(jié)點 之間的連接權(quán)值； 為動量項。 1 p newoldold nknknknk m www ()(1)

8、 p pppp n nknnnn nk E dyyy w old nk w new nk w kn old nk w 1 p newoldold kmkmkmkm m www 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p輸入層結(jié)點與隱含層結(jié)點之間的權(quán)值調(diào)整式輸入層結(jié)點與隱含層結(jié)點之間的權(quán)值調(diào)整式 、 分別為調(diào)整前與調(diào)整后的 輸入層結(jié)點 與隱含層結(jié)點 之間的權(quán) 值 為動量項 1 p newoldold kmkmkmkm m www 1 () pp N p nk kmnknkm p n kmk EO wx wI old km w new km w mk old km w 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)

9、整算法 p伸縮因子調(diào)整式伸縮因子調(diào)整式 、 為調(diào)整前與調(diào)整后的伸縮因子；為調(diào)整前與調(diào)整后的伸縮因子； 為伸縮因子動量項。 1 k p newoldold kkak m aaa 1 () k pp N nk anknk n kk EO w aa old k a new k a old k a 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p平移因子調(diào)整式平移因子調(diào)整式 p 、 為調(diào)整前與調(diào)整后的平移因子；為調(diào)整前與調(diào)整后的平移因子； p 為平移因子動量項。為平移因子動量項。 1 k p newoldold kkbk m bbb 1 () k pp N nk bnknk n kk EO w bb old

10、k b new k b 。 old k b 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p學(xué)習(xí)算法的具體實現(xiàn)步驟學(xué)習(xí)算法的具體實現(xiàn)步驟 1）網(wǎng)絡(luò)參數(shù)的初始化 將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué)習(xí)率以及動量將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué)習(xí)率以及動量 因子賦予初始值，并置輸入樣本計數(shù)器因子賦予初始值，并置輸入樣本計數(shù)器 。 2）輸入學(xué)習(xí)樣本及相應(yīng)的期望輸出。 3）計算隱含層及輸出層的輸出。 4）計算誤差和梯度向量。 5）輸入下一個樣本，即 。 6）判斷算法是否結(jié)束。當(dāng) 時，即代價函數(shù) 小于預(yù)先設(shè)定的某個精度值 ，停止網(wǎng)絡(luò)的學(xué)習(xí)， 否則將計數(shù)器重置為1，并轉(zhuǎn)步驟2）循環(huán)。 1pp

11、1p E (0) E 3.3.3 小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù) p靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建 指令格式 THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels) 參數(shù)說明 輸出參數(shù)輸出參數(shù) THETA THETA 小波回歸模型的估計參數(shù)。小波回歸模型的估計參數(shù)。 輸入?yún)?shù)輸入?yún)?shù) uy y 是一個列向量，是一個列向量，x x 對于單輸入為一個列向量；對于多輸入，對于單輸入為一個列向量；對于多輸入， x=x1 x2 . xmx=x1 x2 . xm，每個，每個xixi都是一

12、個列向量。都是一個列向量。 unbwavelonnbwavelon：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量 umax_epochmax_epoch：最大訓(xùn)練次數(shù)；：最大訓(xùn)練次數(shù)；initmodeinitmode為初始化模式為初始化模式 u如果如果initmode=THETA initmode=THETA 則為一個包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣，則為一個包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣， 這些參數(shù)用來初始化網(wǎng)絡(luò)。這些參數(shù)用來初始化網(wǎng)絡(luò)。min_nbwmin_nbw：最小輸入模式數(shù)。：最小輸入模式數(shù)。 ulevelslevels：初始化過程中的級別數(shù)；：初始化過程中的級別數(shù)；min_nbwmin_n

13、bw和和levelslevels為可選項。為可選項。 3.3.3 小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù) p小波神經(jīng)網(wǎng)絡(luò)的仿真小波神經(jīng)網(wǎng)絡(luò)的仿真 pwavenet( )wavenet( )，可以很方便地得到網(wǎng)絡(luò)的，可以很方便地得到網(wǎng)絡(luò)的 仿真結(jié)果。仿真結(jié)果。 指令格式： g = wavenet(x, THETA) p小波神經(jīng)網(wǎng)絡(luò)的小波神經(jīng)網(wǎng)絡(luò)的MATLABMATLAB具體實現(xiàn)在具體實現(xiàn)在.4 節(jié)中詳細介紹。節(jié)中詳細介紹。 小結(jié)小結(jié) p概述概述 p小波神經(jīng)網(wǎng)絡(luò)的類型小波神經(jīng)網(wǎng)絡(luò)的類型 p小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p小波神經(jīng)網(wǎng)絡(luò)的小波神經(jīng)網(wǎng)絡(luò)的MATLABMATLA

14、B函數(shù)函數(shù) p小波神經(jīng)網(wǎng)絡(luò)的特點小波神經(jīng)網(wǎng)絡(luò)的特點 謝謝！謝謝！ 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 p隱含層選取的神經(jīng)元激勵函數(shù)為隱含層選取的神經(jīng)元激勵函數(shù)為MorletMorlet小波小波 p訓(xùn)練時，在權(quán)值和閾值的修正算法中加入動量訓(xùn)練時，在權(quán)值和閾值的修正算法中加入動量 項，利用前一步得到的修正值來平滑學(xué)習(xí)路徑，項，利用前一步得到的修正值來平滑學(xué)習(xí)路徑， 避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免 在逐個樣本訓(xùn)練時，引起權(quán)值和閾值修正時發(fā)生在逐個樣本訓(xùn)練時，引起權(quán)值和閾值修正時發(fā)生 的振蕩，采用成批訓(xùn)練方法。對網(wǎng)絡(luò)的輸出也并的振蕩，采用成批訓(xùn)練

15、方法。對網(wǎng)絡(luò)的輸出也并 不是簡單的加權(quán)求和，而是先對網(wǎng)絡(luò)隱含層小波不是簡單的加權(quán)求和，而是先對網(wǎng)絡(luò)隱含層小波 結(jié)點的輸出加權(quán)求和，再經(jīng)結(jié)點的輸出加權(quán)求和，再經(jīng)SigmoidSigmoid函數(shù)變換后，函數(shù)變換后， 得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同 時減少訓(xùn)練過程中發(fā)散的可能性時減少訓(xùn)練過程中發(fā)散的可能性 2 h()cos(1.75)exp( 0.5() ) xbxbxb aaa 3.3.3 小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù) p靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建 指令格式 THETA = wnetreg(y, x, n

16、bwavelon, max_epoch, initmode, min_nbw, levels) 參數(shù)說明 輸出參數(shù)輸出參數(shù) THETA THETA 小波回歸模型的估計參數(shù)。小波回歸模型的估計參數(shù)。 輸入?yún)?shù)輸入?yún)?shù) uy y 是一個列向量，是一個列向量，x x 對于單輸入為一個列向量；對于多輸入，對于單輸入為一個列向量；對于多輸入， x=x1 x2 . xmx=x1 x2 . xm，每個，每個xixi都是一個列向量。都是一個列向量。 unbwavelonnbwavelon：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量 umax_epochmax_epoch：最大訓(xùn)練次數(shù)；：最大訓(xùn)練次數(shù)；initmodeinitmode為初始化模式為初始化模式 u如果如果initmode=THETA initmode=THETA 則為一個包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣，則為一