神經(jīng)網(wǎng)絡(luò)配套Ch12presMLP精選課件

1、神經(jīng)網(wǎng)絡(luò)配套Ch12presMLP精選課件神經(jīng)網(wǎng)絡(luò)配套Ch12presMLP精選課件BP算法的變形啟發(fā)式改進(jìn)動(dòng)量可變的學(xué)習(xí)速度標(biāo)準(zhǔn)的數(shù)值優(yōu)化共軛梯度牛頓法 (Levenberg-Marquardt)BP算法的變形啟發(fā)式改進(jìn)性能曲面例子網(wǎng)絡(luò)結(jié)構(gòu)指定的函數(shù)參數(shù)值多層非線性網(wǎng)絡(luò)與單層線性網(wǎng)絡(luò)在均方誤差性能曲面上完全不同。后者的均方誤差只有一個(gè)極小點(diǎn)，且具有常數(shù)曲率；前者的均方誤差可能有多個(gè)局部極小點(diǎn)而且在參數(shù)空間不同區(qū)域曲率也是變化的。性能曲面例子網(wǎng)絡(luò)結(jié)構(gòu)指定的函數(shù)參數(shù)值多層非線性網(wǎng)絡(luò)與單層線性性能曲面例子（續(xù)）w11,1w21,1w11,1w21,1w11,1和w21,1變化時(shí)的平方誤差性能曲面例

2、子（續(xù)）w11,1w21,1w11,1w21,1w性能曲面例子（續(xù)） w11,1b11b11w11,1w11,1 and b11變化時(shí)的平方誤差 性能曲面例子（續(xù)） w11,1b11b11w11,1w11,性能曲面例子（續(xù)） b11b21b21b11b11和b12變化時(shí)的平方誤差性能曲面例子（續(xù)） b11b21b21b11b11和b12變性能曲面例子的提示 算法初始參數(shù)不要設(shè)置為(參數(shù)空間的原點(diǎn)趨 向于鞍點(diǎn))算法初始參數(shù)不要設(shè)置過大(在遠(yuǎn)離優(yōu)化點(diǎn)的位 置，性能曲面將變得十分平坦)性能曲面例子的提示 算法初始參數(shù)不要設(shè)置為(參數(shù)空間的收斂性例子w11,1w21,1收斂性例子w11,1w21,1學(xué)

3、習(xí)速度太大情形w11,1w21,1學(xué)習(xí)速度太大情形w11,1w21,1提高收斂速度改變學(xué)習(xí)速度在曲面平坦時(shí)增加學(xué)習(xí)速度，在斜速率增加時(shí)減少學(xué)習(xí)速度。平滑軌跡：當(dāng)算法開始振蕩時(shí)，平滑掉振蕩以產(chǎn)生一個(gè)穩(wěn)定的軌跡。提高收斂速度改變學(xué)習(xí)速度動(dòng)量方法濾波器例子動(dòng)量方法濾波器例子動(dòng)量反向傳播算法最速下降反傳算法(SDBP)動(dòng)量反傳算法(MOBP)w11,1w21,1動(dòng)量反向傳播算法最速下降反傳算法動(dòng)量反傳算法w11,1w21可變的學(xué)習(xí)速度(VLBP)如果誤差平方(在整個(gè)訓(xùn)練集上)在權(quán)值更新后增加了百分?jǐn)?shù)z (典型值為1%至5%)，則取消權(quán)值更新，學(xué)習(xí)速度乘上一個(gè)因子 (1 r 0)，并且動(dòng)量系數(shù) g 置為

4、 0。 如果誤差平方在權(quán)值更新后減少，則接受權(quán)值更新，并且學(xué)習(xí)速度乘上一個(gè)因子 h1，如果動(dòng)量系數(shù) g 先前被置為0，則恢復(fù)到先前的值。如果誤差平方的增加少于z，則接受權(quán)值更新，但是學(xué)習(xí)速度和動(dòng)量系數(shù)不變?？勺兊膶W(xué)習(xí)速度(VLBP)如果誤差平方(在整個(gè)訓(xùn)練集上)在權(quán)例子w11,1w21,1平方誤差學(xué)習(xí)速度例子w11,1w21,1平方誤差學(xué)習(xí)速度啟發(fā)式方法的缺點(diǎn)要設(shè)置一些額外的參數(shù)算法的性能對(duì)這些參數(shù)的改變十分敏感參數(shù)的選擇是與問題相關(guān)的對(duì)某些用最速下降反傳算法能找到解的問題卻不能收斂。算法越復(fù)雜這樣問題越容易發(fā)生啟發(fā)式方法的缺點(diǎn)要設(shè)置一些額外的參數(shù)共軛梯度1.初始搜索方向?yàn)樘荻鹊姆捶较?最速下

5、降)。2.迭代一次，學(xué)習(xí)速度的選取采用沿搜索方向最小化性能函數(shù)。3.選擇下一次的搜索方向：其中或或因?yàn)橥ǔＰ阅苤笖?shù)不是二次的，以下二個(gè)方面需要改進(jìn)： 1. 需要一個(gè)一般的過程去確定函數(shù)在某個(gè)特定方向的極值； 2. 算法在共扼方向迭代過 n 次后，可能要重新設(shè)置搜索方向。4.如果算法不收斂，繼續(xù)第步。共軛梯度1.初始搜索方向?yàn)樘荻鹊姆捶较?最速下降)。2.區(qū)間定位區(qū)間定位區(qū)間縮小區(qū)間縮小黃金分割搜索t=0.618Setc1 = a1 + (1-t)(b1-a1), Fc=F(c1)d1 = b1 - (1-t)(b1-a1), Fd=F(d1)For k=1,2, . repeatIf Fc F

6、d thenSet ak+1 = ak ; bk+1 = dk ; dk+1 = ck c k+1 = a k+1 + (1-t)(b k+1 -a k+1 ) Fd= Fc; Fc=F(c k+1 )elseSet ak+1 = ck ; bk+1 = bk ; ck+1 = dk d k+1 = b k+1 - (1-t)(b k+1 -a k+1 ) Fc= Fd; Fd=F(d k+1 )endend until bk+1 - ak+1 tol黃金分割搜索t=0.618共扼梯度反向傳播法(CGBP)w11,1w21,1w11,1w21,1中間步驟完整軌跡共扼梯度反向傳播法(CGBP)w

7、11,1w21,1w11,1Newton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第 j 個(gè)元素是:Newton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第 j 矩陣形式梯度能寫成矩陣形式:其中J是Jacobian矩陣:Jx()v1x()x1-v1x()x2-v1x()xn-v2x()x1-v2x()x2-v2x()xn-vNx()x1-vNx()x2-vNx()xn-=矩陣形式梯度能寫成矩陣形式:其中J是Jacobian矩陣:JHessian矩陣Hessian矩陣Gauss-Newton方法xkJTxk()Jxk()1JTxk()vxk()=設(shè)S(x)很小，Hessian矩陣近似表示為:Newt

8、on方法成為:Gauss-Newton方法xkJTxk()Jxk()1Levenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩陣如下：這個(gè)矩陣可能奇異, 但是可進(jìn)行如下轉(zhuǎn)換：如果H的特征值和特征向量是：那么G的特征值對(duì)所有i，增加以保證，可使G成為正定，所以矩陣G可逆。由此可導(dǎo)出如下LM算法：Levenberg-Marquardt(LM)算法Gaussmk 的調(diào)整當(dāng)mk0，LM方法變成Gauss-Newton方法：當(dāng)mk, LM方法變成有小的學(xué)習(xí)速度的最速下降算法：所以，開始時(shí)取小的mk值用Gauss-Newton法加速收斂。如果某一步不能獲得較小

9、的F(x)值，那么增加mk值（乘以一個(gè)因子 ）重復(fù)那一步直到F(x)值的減少。F(x)值最終一定會(huì)減少，因?yàn)槲覀儗⒃谧钏傧陆捣较蛏嫌煤苄〉牟介L。mk 的調(diào)整當(dāng)mk0，LM方法變成Gauss-Newton應(yīng)用到多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)的性能指數(shù)是:誤差向量是:參數(shù)向量是:兩個(gè)向量的維數(shù)是:應(yīng)用到多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)的性能指數(shù)是:誤差向量是:參數(shù)向量是:Jacobian矩陣Jx()e11,w11,1-e11,w12,1-e11,wS1R,1-e11,b11-e21,w11,1-e21,w12,1-e21,wS1R,1-e21,b11-eSM1,w11,1-eSM1,w12,1-eeSM1,wS1R,1-eeS

10、M1,b11-e12,w11,1-e12,w12,1-e12,wS1R,1-e12,b11-=Jacobian矩陣Jx()e11,w11,1-計(jì)算Jacobian矩陣標(biāo)準(zhǔn)BP算法計(jì)算公式為：對(duì)于Jacobian矩陣的元素可用下式計(jì)算：使用鏈規(guī)則：其中敏感度：是用反向傳播方法計(jì)算得到。計(jì)算Jacobian矩陣標(biāo)準(zhǔn)BP算法計(jì)算公式為：對(duì)于JacoMarquardt 敏感度如果定義Marquardt敏感度為:Jacobian矩陣能如下算得:權(quán)偏置Marquardt 敏感度如果定義Marquardt敏感度為敏感度計(jì)算SmS1mS2mSQm=反向傳播初始化敏感度計(jì)算SmS1mS2mSQm=反向傳播初始化LMBP算法1. 將所有輸入提交網(wǎng)絡(luò)并計(jì)算相應(yīng)的網(wǎng)絡(luò)輸出和誤差。計(jì)算所有輸入的誤差平方和F(x).2. 計(jì)算Jacobian矩陣。初始化敏感度，用反向傳播算法遞歸計(jì)算各層的敏感度。將各個(gè)單獨(dú)的矩陣增廣到 Marquardt 敏感度中。計(jì)算 Jacobian 矩陣的元素。3. 求得權(quán)的改變量。4. 用重復(fù)計(jì)算誤差平方的和。如果新的和小于第1步中計(jì)算的和，則用 mk 除以 ，并設(shè) ，轉(zhuǎn)第1步；如果