神經(jīng)網(wǎng)絡-第三章

1、神經(jīng)網(wǎng)絡-第三章3. 自適應線性元件由Widrow和Hoff提出，主要用于線性逼近一個函數(shù)式，因而能用于模式聯(lián)想、信號處理濾波、預測、模型識別和控制等。線性激活函數(shù),可以輸出任意值比感知器具有更快的收斂速度和精度W-H學習規(guī)則(LMS)3.1 自適應線形神經(jīng)元模型和結(jié)構(gòu)網(wǎng)絡結(jié)構(gòu)網(wǎng)絡結(jié)構(gòu) Adaline：一個自適應線性神經(jīng)元模型：一個自適應線性神經(jīng)元模型 .1p2prpnba1w2wrw13.1 自適應線形神經(jīng)元模型和結(jié)構(gòu) Madline：兩個以上自適應神經(jīng)元組成的單層網(wǎng)絡：兩個以上自適應神經(jīng)元組成的單層網(wǎng)絡 1p2prp11wsrw1b2bsb1a2asa1n2nsn.1113.1 自適應線形

2、神經(jīng)元模型和結(jié)構(gòu) 主要特點：主要特點： 神經(jīng)元的激活函數(shù)為線性函數(shù)：ai=f(ni)=ni 注意：注意： 多層線性網(wǎng)絡與單層線性網(wǎng)絡的映射能力相同 MALAB構(gòu)造函數(shù)構(gòu)造函數(shù): newlin() newlind()3.2 W-H學習規(guī)則 W-H學習規(guī)則學習規(guī)則(規(guī)則規(guī)則, LMS算法算法)： 由由Widrow和和Hoff提出的修正權(quán)矢量的學習規(guī)則。提出的修正權(quán)矢量的學習規(guī)則。誤差函數(shù)誤差函數(shù): E(W,B)=1/2SUMT-A2=1/2SUMT-WP-B2考慮多組輸入輸出對考慮多組輸入輸出對qkqkkaktqkeqmse1122)()(1)(13.2 W-H學習規(guī)則修正值修正值:復習復習: 梯

3、度下降法梯度下降法(最速下降法最速下降法)MATLAB工具函數(shù)工具函數(shù): maxlinlr() learnwh() purelin()jiiijijpatwEwjiijpwiib或網(wǎng)絡的訓練過程：網(wǎng)絡的訓練過程：初始化：輸入矢量樣本和其期望的目標輸出，學初始化：輸入矢量樣本和其期望的目標輸出，學習率和目標（期望）誤差，參數(shù)如權(quán)值和偏差的習率和目標（期望）誤差，參數(shù)如權(quán)值和偏差的初始化，最大循環(huán)迭代次數(shù)；初始化，最大循環(huán)迭代次數(shù)；表達式：計算網(wǎng)絡的輸出矢量；表達式：計算網(wǎng)絡的輸出矢量；檢查或比較：進行循環(huán)計算，不斷比較網(wǎng)絡的輸檢查或比較：進行循環(huán)計算，不斷比較網(wǎng)絡的輸出誤差的平方和與期望誤差相比

4、較；若小于期望出誤差的平方和與期望誤差相比較；若小于期望誤差或達到最大迭代次數(shù)，訓練結(jié)束；否則進入誤差或達到最大迭代次數(shù)，訓練結(jié)束；否則進入下一步。下一步。學習：參數(shù)調(diào)整，學習：參數(shù)調(diào)整， 3.3 網(wǎng)絡訓練3.4 例題與分析 例例3.2 模式聯(lián)想：設輸入和目標輸出為模式聯(lián)想：設輸入和目標輸出為 共共16個線性方程，有準確解。但利用其他方個線性方程，有準確解。但利用其他方法麻煩。法麻煩。 實際中，只需要找到一定精度的近似解。實際中，只需要找到一定精度的近似解。 結(jié)論：利用自適應網(wǎng)絡在一定精度下快速逼結(jié)論：利用自適應網(wǎng)絡在一定精度下快速逼近線性映射。近線性映射。9 . 06 . 1125 . 03

5、213 . 02 . 15 . 11P6 . 00 . 11 . 014 . 08 . 12 . 034 . 07 . 12 . 11 . 14 . 12 . 235 . 0T， 3.4 例題與分析 例例3.3 設計訓練一個線性網(wǎng)絡實現(xiàn)下列輸入設計訓練一個線性網(wǎng)絡實現(xiàn)下列輸入到輸出的變換：到輸出的變換： P=1 2 3;4 5 6, T=0.5 1 -1。 演示線性相關(guān)出現(xiàn)的情況。本例中系數(shù)矩陣演示線性相關(guān)出現(xiàn)的情況。本例中系數(shù)矩陣為奇異的。為奇異的。 newlind.m對奇異矩陣效果一般；對非線性對奇異矩陣效果一般；對非線性問題，給出最小均方解，但效果不太理想。問題，給出最小均方解，但效果不

6、太理想。 本例中利用本例中利用newlin.m計算，誤差較計算，誤差較newlind.m小。小。 3.4 例題與分析 例例3.4 在例在例3.1的輸入的輸入/輸出中增加兩組元素，輸出中增加兩組元素，為為 P=10 1.5 3.0 -1.2, T=0.5 1.1 3.0 -1.0。 本例檢驗自適應網(wǎng)絡的線性逼近能力。本例檢驗自適應網(wǎng)絡的線性逼近能力。 方程數(shù)大于未知數(shù)個數(shù)，無準確解。方程數(shù)大于未知數(shù)個數(shù)，無準確解。 結(jié)論：本例用自適應線性網(wǎng)絡解決不太適結(jié)論：本例用自適應線性網(wǎng)絡解決不太適合。合。 例例3.5 查看學習率與訓練收斂及收斂速度的查看學習率與訓練收斂及收斂速度的關(guān)系關(guān)系 3.5 對比與

7、分析 l感知器與自適應網(wǎng)絡的對比：網(wǎng)絡模型結(jié)構(gòu)： 激活函數(shù)不同，取值范圍不同。學習算法 算法不同，完成功能有差異。適用性與局限性 感知器可完成線性可分問題。是否線性可分，事先不知道。 自適應網(wǎng)絡除線性分類外，可進行線性逼近。對一些問題訓練速度太慢。 3.6 單步延遲線及其自適應濾波的實現(xiàn) 自適應濾波是字適應網(wǎng)絡的主要應用領域之一，常用于數(shù)字信號處理領域中。 .DDDP1Pd2Pd3PdNPddelay-1單步延遲線3.6 單步延遲線及其自適應濾波的實現(xiàn) 網(wǎng)絡結(jié)構(gòu)1b2bsb1n2nsn.111.DDD)(kP) 1( kP)2( kP) 1( NkP)(1ka)(2ka)(kas3.6 單步延

8、遲線及其自適應濾波的實現(xiàn) 自適應線性濾波器的網(wǎng)絡輸入/輸出關(guān)系： bikPwbkPdwbPdWkaNiiNiiii1, 11, 1) 1()(*)(其中，,2,1 QPPPP初始輸入2,1,0NPPP 132 1 1 02 1 NQPNPNPQPPPQPPPPd3.6 單步延遲線及其自適應濾波的實現(xiàn) 兩種設計方式：兩種設計方式： 1) 通過輸入P來設計Pd，再按無時延方式來設計網(wǎng)絡； 2)首先確定自適應網(wǎng)絡newlin.m函數(shù)中的延時參數(shù)N，然后給定時延量的賦值： net=newlin(minmax(P),S); net.inputWeights1,1.delays=0,1,2,N-1;3.6

9、 單步延遲線及其自適應濾波的實現(xiàn) 例3.6 假定一個輸入按輸入順序排列，其數(shù)值分別為3，4，5和6。該輸入量自身產(chǎn)生兩次延時，其延時量的初始輸入值分別為1和2。用一個自適應線性網(wǎng)絡對其濾波所獲得的權(quán)矩陣為7 8 9。試計算在給定的輸入值下該網(wǎng)絡的輸出值。 3.7 自適應線性網(wǎng)絡的應用 1.線性化建模 參數(shù)辨識：系統(tǒng)的模型完全有幾個參數(shù)決定，根據(jù)數(shù)據(jù)來求解系統(tǒng)內(nèi)的各個參數(shù)。 系統(tǒng)建模：通過實驗所測得的輸入/輸出數(shù)據(jù)求解系統(tǒng)的最佳匹配模型。 實際物理系統(tǒng)的輸入/輸出關(guān)系式： 線性化建模就是將上述關(guān)系利用線性關(guān)系近似代替)(,),1(),()(kxnkxnkxfky)() 1()()(01kxank

10、xankxakynn3.7 自適應線性網(wǎng)絡的應用 神經(jīng)網(wǎng)絡系統(tǒng)建模設計原理圖被 測 系 統(tǒng))(kx)(kx)(ky)(ke)(ka) 1( kx)(nkxANN1z1z.+-3.7 自適應線性網(wǎng)絡的應用2.預測 已知以前時刻的值已知以前時刻的值 預測當前值預測當前值 預測模型：預測模型： 線性預測模型：線性預測模型： )(,),2(),1(nkxkxkx)(kx)(,),2(),1()()(nkxkxkxfkxka)()2() 1()(21nkxakxakxakxn3.7 自適應線性網(wǎng)絡的應用 神經(jīng)網(wǎng)絡預測模型原理圖 )(kx)(ky)(ke)(ka) 1( kx)(nkxANN1z1z.+-3.7 自適應線性網(wǎng)絡的應用3.消除噪聲 設有效信號為c(k)，噪聲信號為v(k)，混合信號m(k), 引擎噪聲n(k)，誤差e(k) m(k)=v(k)+c(k)