神經(jīng)網(wǎng)絡(luò)配套Ch

1、反向傳播算法的變形神經(jīng)網(wǎng)絡(luò)配套ChBP算法的缺點算法的收斂速度很慢可能有多個局部極小點BP網(wǎng)絡(luò)的隱層神經(jīng)元個數(shù)的選取尚無理論上的指導，而是根據(jù)經(jīng)驗選取BP網(wǎng)絡(luò)是一個前向網(wǎng)絡(luò)，具有非線性映射能力，但較之非線性動力學系統(tǒng)，功能上有其局限性神經(jīng)網(wǎng)絡(luò)配套ChBP算法的變形啟發(fā)式改進動量可變的學習速度標準的數(shù)值優(yōu)化共軛梯度牛頓法 (Levenberg-Marquardt)神經(jīng)網(wǎng)絡(luò)配套Ch性能曲面例子網(wǎng)絡(luò)結(jié)構(gòu)指定的函數(shù)參數(shù)值多層非線性網(wǎng)絡(luò)與單層線性網(wǎng)絡(luò)在均方誤差性能曲面上完全不同。后者的均方誤差只有一個極小點，且具有常數(shù)曲率；前者的均方誤差可能有多個局部極小點而且在參數(shù)空間不同區(qū)域曲率也是變化的。神經(jīng)網(wǎng)絡(luò)

2、配套Ch性能曲面例子（續(xù)）w11,1w21,1w11,1w21,1w11,1和w21,1變化時的平方誤差神經(jīng)網(wǎng)絡(luò)配套Ch性能曲面例子（續(xù)） w11,1b11b11w11,1w11,1 and b11變化時的平方誤差 神經(jīng)網(wǎng)絡(luò)配套Ch性能曲面例子（續(xù)） b11b21b21b11b11和b12變化時的平方誤差神經(jīng)網(wǎng)絡(luò)配套Ch性能曲面例子的提示 算法初始參數(shù)不要設(shè)置為(參數(shù)空間的原點趨 向于鞍點)算法初始參數(shù)不要設(shè)置過大(在遠離優(yōu)化點的位 置，性能曲面將變得十分平坦)神經(jīng)網(wǎng)絡(luò)配套Ch收斂性例子w11,1w21,1神經(jīng)網(wǎng)絡(luò)配套Ch學習速度太大情形w11,1w21,1神經(jīng)網(wǎng)絡(luò)配套Ch提高收斂速度改變學習

3、速度在曲面平坦時增加學習速度，在斜速率增加時減少學習速度。平滑軌跡：當算法開始振蕩時，平滑掉振蕩以產(chǎn)生一個穩(wěn)定的軌跡。神經(jīng)網(wǎng)絡(luò)配套Ch動量方法濾波器例子神經(jīng)網(wǎng)絡(luò)配套Ch動量反向傳播算法最速下降反傳算法(SDBP)動量反傳算法(MOBP)w11,1w21,1神經(jīng)網(wǎng)絡(luò)配套Ch可變的學習速度(VLBP)如果誤差平方(在整個訓練集上)在權(quán)值更新后增加了百分數(shù)z(典型值為1%至5%), 則取消權(quán)值更新, 學習速度乘上一個因子 (1 r 0), 并且動量系數(shù)g置為0. 如果誤差平方在權(quán)值更新后減少, 則接受權(quán)值更新, 并且學習速度乘上一個因子h1.如果動量系數(shù)g先前被置為0 ,則恢復到先前的值.如果誤差平

4、方的增加少于z, 則接受權(quán)值更新, 但是學習速度和動量系數(shù)不變.神經(jīng)網(wǎng)絡(luò)配套Ch例子w11,1w21,1平方誤差學習速度神經(jīng)網(wǎng)絡(luò)配套Ch啟發(fā)式方法的缺點要設(shè)置一些額外的參數(shù)算法的性能對這些參數(shù)的改變十分敏感參數(shù)的選擇是與問題相關(guān)的對某些用最速下降反傳算法能找到解的問題卻不能收斂。算法越復雜這樣問題越容易發(fā)生神經(jīng)網(wǎng)絡(luò)配套Ch共軛梯度1.初始搜索方向為梯度的反方向(最速下降)。2.迭代一次，學習速度的選取采用沿搜索方向最小化性能函數(shù)。3.選擇下一次的搜索方向：其中或或因為通常性能指數(shù)不是二次的，以下二個方面需要改進： 1. 需要一個一般的過程去確定函數(shù)在某個特定方向的極值； 2. 算法在共扼方向迭

5、代過 n 次后，可能要重新設(shè)置搜索方向。4.如果算法不收斂，繼續(xù)第步。神經(jīng)網(wǎng)絡(luò)配套Ch區(qū)間定位神經(jīng)網(wǎng)絡(luò)配套Ch區(qū)間縮小神經(jīng)網(wǎng)絡(luò)配套Ch黃金分割搜索t=0.618Setc1 = a1 + (1-t)(b1-a1), Fc=F(c1)d1 = b1 - (1-t)(b1-a1), Fd=F(d1)For k=1,2, . repeatIf Fc Fd thenSet ak+1 = ak ; bk+1 = dk ; dk+1 = ck c k+1 = a k+1 + (1-t)(b k+1 -a k+1 ) Fd= Fc; Fc=F(c k+1 )elseSet ak+1 = ck ; bk+1 =

6、 bk ; ck+1 = dk d k+1 = b k+1 - (1-t)(b k+1 -a k+1 ) Fc= Fd; Fd=F(d k+1 )endend until bk+1 - ak+1 tol神經(jīng)網(wǎng)絡(luò)配套Ch共扼梯度反向傳播法(CGBP)w11,1w21,1w11,1w21,1中間步驟完整軌跡神經(jīng)網(wǎng)絡(luò)配套ChNewton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第 j 個元素是:神經(jīng)網(wǎng)絡(luò)配套Ch矩陣形式梯度能寫成矩陣形式:其中J是Jacobian矩陣:Jx()v1x()x1-v1x()x2-v1x()xn-v2x()x1-v2x()x2-v2x()xn-vNx()x1-vNx()x2-

7、vNx()xn-=神經(jīng)網(wǎng)絡(luò)配套ChHessian矩陣神經(jīng)網(wǎng)絡(luò)配套ChGauss-Newton方法xkJTxk()Jxk()1JTxk()vxk()=設(shè)S(x)很小，Hessian矩陣近似表示為:Newton方法成為:神經(jīng)網(wǎng)絡(luò)配套ChLevenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩陣如下：這個矩陣可能奇異, 但是可進行如下轉(zhuǎn)換：如果H的特征值和特征向量是：那么G的特征值對所有i，增加以保證，可使G成為正定，所以矩陣G可逆。由此可導出如下LM算法：神經(jīng)網(wǎng)絡(luò)配套Chmk 的調(diào)整當mk0，LM方法變成Gauss-Newton方法：當mk, LM方法

8、變成有小的學習速度的最速下降算法：所以，開始時取小的mk值用Gauss-Newton法加速收斂。如果某一步不能獲得較小的F(x)值，那么增加mk值（乘以一個因子 ）重復那一步直到F(x)值的減少。F(x)值最終一定會減少，因為我們將在最速下降方向上用很小的步長。神經(jīng)網(wǎng)絡(luò)配套Ch應用到多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)的性能指數(shù)是:誤差向量是:參數(shù)向量是:兩個向量的維數(shù)是:神經(jīng)網(wǎng)絡(luò)配套ChJacobian矩陣Jx()e11,w11,1-e11,w12,1-e11,wS1R,1-e11,b11-e21,w11,1-e21,w12,1-e21,wS1R,1-e21,b11-eSM1,w11,1-eSM1,w12,1-

9、eeSM1,wS1R,1-eeSM1,b11-e12,w11,1-e12,w12,1-e12,wS1R,1-e12,b11-=神經(jīng)網(wǎng)絡(luò)配套Ch計算Jacobian矩陣標準BP算法計算公式為：對于Jacobian矩陣的元素可用下式計算：使用鏈規(guī)則：其中敏感度：是用反向傳播方法計算得到。神經(jīng)網(wǎng)絡(luò)配套ChMarquardt 敏感度如果定義Marquardt敏感度為:Jacobian矩陣能如下算得:權(quán)偏置神經(jīng)網(wǎng)絡(luò)配套Ch敏感度計算SmS1mS2mSQm=反向傳播初始化神經(jīng)網(wǎng)絡(luò)配套ChLMBP算法1. 將所有輸入提交網(wǎng)絡(luò)并計算相應的網(wǎng)絡(luò)輸出和誤差。計算所有輸入的誤差平方和F(x).2. 計算Jacobian矩陣。初始化敏感度，用反向傳播算法遞歸計算各層的敏感度。將各個單獨的矩陣增廣到 Marquardt 敏感度中。計算 Jacobian 矩陣的元素。3. 求得權(quán)的改變量。4. 用重復計算誤差平方的和。如果新的和小于第1步中計算的和