智能控制理論及應用 課件 第7章-線性神經(jīng)網(wǎng)絡

主要內(nèi)容7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)7.2線性神經(jīng)網(wǎng)絡的功能7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法LMS7.4線性神經(jīng)網(wǎng)絡仿真示例7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)是等值映射函數(shù)。此單元的輸出就是它的凈輸入。.第7章7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)…Adaline和Perceptron有什么區(qū)別？？？Adaline:線性神經(jīng)網(wǎng)絡BernardWidrow,19597.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)第7章7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)激勵函數(shù)不同7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)第7章7.1線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)若網(wǎng)絡中包含多個神經(jīng)元節(jié)點，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡叫做Madaline網(wǎng)絡7.2線性神經(jīng)網(wǎng)絡的功能Adaline本質(zhì)上就是一個線性回歸器第7章7.2線性神經(jīng)網(wǎng)絡的功能65輛汽車的樣本數(shù)據(jù)，每個點代表一個樣本，橫坐標為汽車重量（噸），縱坐標為每升汽油可行駛公里數(shù)（公里/升。解決方案：基于給定的數(shù)據(jù)建立線性神經(jīng)網(wǎng)絡模型假設我們給出第66輛汽車的重量，請你根據(jù)上述數(shù)據(jù)預測它的耗油量?7.2線性神經(jīng)網(wǎng)絡的功能第7章7.2線性神經(jīng)網(wǎng)絡的功能哪組參數(shù)是最優(yōu)的？LMS:最小方差算法（LeastMeanSquare）；1960年，由Widrow和Hoff共同提出；又被稱為Widrow-Hoff學習算法或DeltaRule。7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法定義評價函數(shù)（損失函數(shù)）注意:p:訓練樣本的序號。:第p組樣本的目標輸出。:第p組樣本的網(wǎng)絡計算輸出。7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法評價函數(shù)E是關于權(quán)值向量w的函數(shù)7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法以7.2節(jié)中的汽車重量-油耗為例，該例中65組樣本數(shù)據(jù)的誤差平方和E與的函數(shù)關系為7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法以7.2節(jié)中的汽車重量-油耗為例，該例中65組樣本數(shù)據(jù)的誤差平方和E與的函數(shù)關系為線性神經(jīng)網(wǎng)絡的學習目標是找到適當?shù)膚，使得誤差E(w)最小。*梯度下降算法又稱為最速下降法其思路為從空間中的某一點開始，沿著負梯度方向（最陡下降方向）不斷迭代，直到達到目標函數(shù)的最小值。隨機選擇w0,w1的初始值。更新參數(shù)

w0,w1重復步驟2，直到損失函數(shù)E接近于零第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法最佳預測=最小化

E=最優(yōu)參數(shù)

w0,w1梯度定義:梯度通常只指其偏導數(shù)的向量。對于三維坐標系:第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法梯度7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法LMS算法的實現(xiàn)步驟7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法討論1:批量學習vs增量學習批量學習:在更新權(quán)重之前，累積訓練集中所有數(shù)據(jù)點的梯度貢獻。增量學習:在看到每個數(shù)據(jù)點后立即更新權(quán)重。第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法討論1:批量學習vs增量學習當訓練集數(shù)量巨大時，建議使用增量式梯度下降算法Initializew0,w1Update,untilconvergeforp=1:N(numberoftrainingexamples){fori=1:n(numberofinputs)

{wi:=wi-learning_rate*Gradient;}}第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法討論2:學習率如果

太小,該算法需要很長時間才能收斂如果

太大,最終可能會在誤差曲面上來回跳動，最終發(fā)散lr=maxlinlr(P)P:輸入向量輸入向量組成的協(xié)方差矩陣的最大特征值第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法討論2:學習率第7章7.3線性神經(jīng)網(wǎng)絡的參數(shù)學習算法學習率隨著學習次數(shù)的增加逐漸下降比保持不變更加合理。在學習的初期，用較大的學習率保證搜索效率，隨著迭代次數(shù)增加，減少學習率以保證精度。線性下降法指數(shù)下降法課堂練習推導損失函數(shù)E的梯度。假設我們有以下訓練樣本，請計算w1和w0的第一次迭代更新后的值。x1d-1.250.8-0.90.3-0.50.2w1

,w0

的初始值為0.1和0.2學習率=0.017.4線性神經(jīng)網(wǎng)絡仿真示例第7章7.4線性神經(jīng)網(wǎng)絡仿真示例%清除操作Clear,

clc,closeall;%樣本數(shù)據(jù)的散點圖繪制loadcardata%導入數(shù)據(jù)，第一列為汽車重量，第二列為每升汽油可行駛的公里數(shù)plot(cardata(:,1),cardata(:,2),'.','MarkerSize',14);%繪制樣本數(shù)據(jù)xlabel('carweight/ton');%設置x軸標簽ylabel('kmperliter')%設置y軸標簽axis([0.62.4211.6])%設置坐標軸的范圍

%構(gòu)建線性神經(jīng)網(wǎng)絡并進行訓練cardata=cardata';%數(shù)據(jù)轉(zhuǎn)置lr=maxlinlr(cardata(1,:),'bias')%根據(jù)輸入矩陣求解最大學習率net=linearlayer(0,lr);%建立線性神經(jīng)網(wǎng)絡，第一個參數(shù)為輸入延遲量net=train(net,cardata(1,:),cardata(2,:));%訓練網(wǎng)絡view(net);%顯示網(wǎng)絡結(jié)構(gòu)y=net(cardata(1,:));%基于訓練好的網(wǎng)絡進行預測perf=perform(net,cardata(2,:),y)