誤差反傳算法

誤差反傳算法及標準BP算法的改進1整理ppt要點BP算法的根本思想基于BP算法的多層感知器模型標準BP算法的改進2整理ppt1、BP算法的根本思想學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。假設(shè)輸出層的實際輸出與期望的輸出不符，那么轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形成通過隱層向輸入層逐層反傳，并將誤差攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權(quán)值的依據(jù)。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復始地進行的。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學習訓練過程。此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進行到預(yù)先設(shè)定的次數(shù)為止。3整理ppt2、基于BP算法的多層感知器模型4整理ppt2、基于BP算法的多層感知器模型三層感知器中，輸入向量為圖中是為隱層神經(jīng)元引入閾值而設(shè)置的；隱層輸出向量為，圖中是為輸出層神經(jīng)元引入閾值而設(shè)置的，輸出層輸出向量為；期望輸出向量為。輸入層到隱層之間的權(quán)值矩陣用V表示，，其中列向量為隱層第個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用表示，，其中列向量為輸出層第個神經(jīng)元對應(yīng)的權(quán)向量。5整理ppt對于輸出層，有對于隱層，有以上兩式中，變換函數(shù)均為單極性Sigmoid函數(shù)具有連續(xù)、可導的特點，且有6整理ppt根據(jù)需要，也可以采用雙極性Sigmoid函數(shù)〔或稱雙曲線正切函數(shù)〕網(wǎng)絡(luò)誤差與權(quán)值調(diào)整當網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差，定義如下將以上誤差定義式展開至隱層，有進一步展開至輸入層，有7整理ppt由以上可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值的函數(shù)，因此調(diào)整權(quán)值可改變誤差顯然，調(diào)整權(quán)值的原那么是使誤差不斷地減少，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即8整理ppt標準BP算法的改進存在的缺陷：易形成局部極小而得不到全局最優(yōu)；訓練次數(shù)多使得學習效率低，收斂速度慢；隱節(jié)點的選取缺乏理論指導；訓練時學習新樣本有遺忘舊樣本的趨勢9整理ppt改進方法：增加動量項；自適應(yīng)調(diào)整學習率；引入陡度因子增加動量項：為了考慮t時刻之前的梯度方向。假設(shè)用W代表某層權(quán)矩陣，X代表某層輸入向量，那么含有動量項的權(quán)值調(diào)整向量表達式為自適應(yīng)調(diào)節(jié)學習率從誤差曲面可以看出，在平坦區(qū)域內(nèi)太小會使訓練次數(shù)增加，因而希望增大值；而在誤差變化劇烈的區(qū)域，太大會因調(diào)整量過大而跨過較窄的“凹坑〞處，使訓練出現(xiàn)振蕩，反而使迭代次數(shù)增加。10整理ppt設(shè)一初始學習率，假設(shè)經(jīng)過一批次權(quán)值調(diào)整后使總誤差增大，那么本次調(diào)整無效，且；假設(shè)經(jīng)過一批次權(quán)值調(diào)整后使總誤差減少，那么本次調(diào)整有效，且引入陡度因子

誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸入了變換函數(shù)的飽和區(qū)。如果在調(diào)整進入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出變換函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀