神經(jīng)網(wǎng)絡(luò)課件

神經(jīng)網(wǎng)絡(luò)課件第一頁，共四十三頁，編輯于2023年，星期三1一、內(nèi)容回顧二、感知機三、自適應(yīng)線性元件四、內(nèi)容小結(jié)內(nèi)容安排第二頁，共四十三頁，編輯于2023年，星期三2生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧

第三頁，共四十三頁，編輯于2023年，星期三3生物神經(jīng)元生物神經(jīng)元模型突觸信息處理信息傳遞功能與特點人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧第四頁，共四十三頁，編輯于2023年，星期三4生物神經(jīng)元模型一、內(nèi)容回顧第五頁，共四十三頁，編輯于2023年，星期三5生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧第六頁，共四十三頁，編輯于2023年，星期三6生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法權(quán)值確定Hebb學(xué)習(xí)規(guī)則誤差校正學(xué)習(xí)規(guī)則相近（無教師）學(xué)習(xí)規(guī)則一、內(nèi)容回顧第七頁，共四十三頁，編輯于2023年，星期三7Hebb學(xué)習(xí)規(guī)則DonallHebb根據(jù)生理學(xué)中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強a為學(xué)習(xí)速率，Vi,Vj為神經(jīng)元i和j的輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形第八頁，共四十三頁，編輯于2023年，星期三8誤差校正規(guī)則用已知樣本作為教師對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對樣本地表示次序變化比較敏感第九頁，共四十三頁，編輯于2023年，星期三9無教師學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部輸入可以為連續(xù)值，對噪聲有較強抗干擾能力對較少輸入樣本，結(jié)果可能要依賴于輸入序列在ART、Kohonen等自組織競爭型網(wǎng)絡(luò)中采用第十頁，共四十三頁，編輯于2023年，星期三102.1感知機簡介2.2神經(jīng)元模型2.3網(wǎng)絡(luò)結(jié)構(gòu)2.4功能解釋2.5學(xué)習(xí)和訓(xùn)練2.6局限性二、感知機第十一頁，共四十三頁，編輯于2023年，星期三11感知器由美國計算機科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出收斂定理F.Roseblatt證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），則算法一定收斂感知器特別適用于簡單的模式分類問題，也可用于基于模式分類的學(xué)習(xí)控制中本講中感知器特指單層感知器2.1感知機簡介第十二頁，共四十三頁，編輯于2023年，星期三122.2神經(jīng)元模型第十三頁，共四十三頁，編輯于2023年，星期三132.3網(wǎng)絡(luò)結(jié)構(gòu)ni第i個神經(jīng)元加權(quán)輸入和ai第i個神經(jīng)元輸出,i＝1,2,…,s第十四頁，共四十三頁，編輯于2023年，星期三142.4功能解釋感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出根據(jù)輸出值通過測試加權(quán)輸入和值落在閾值函數(shù)的左右對輸入數(shù)據(jù)進(jìn)行分類第十五頁，共四十三頁，編輯于2023年，星期三152.4功能解釋這一功能可以通過在輸人矢量空間里的作圖來加以解釋以輸入矢量r＝2為例對選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0的軌跡它是一條直線，此直線上及其線以上部分的所有p1、p2值均使w1p1十w2p2十b＞0，這些點通過由w1、w2和b構(gòu)成的感知器的輸出為1；該直線以下部分的點通過感知器的輸出為0第十六頁，共四十三頁，編輯于2023年，星期三162.4功能解釋第十七頁，共四十三頁，編輯于2023年，星期三17當(dāng)采用感知器對不同的輸入矢量進(jìn)行期望輸出為0或1的分類時，其問題可轉(zhuǎn)化為對已知輸入矢量在輸入空間形成的不同點的位置，設(shè)計感知器的權(quán)值W和b感知器權(quán)值參數(shù)設(shè)計目的，就是根據(jù)學(xué)習(xí)法則設(shè)計一條W*P+b＝0的軌跡，使其對輸入矢量能夠達(dá)到所期望的劃分2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第十八頁，共四十三頁，編輯于2023年，星期三18學(xué)習(xí)規(guī)則用來計算新的權(quán)值矩陣W及新的偏差B的算法權(quán)值的變化量等于輸入矢量假定輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第十九頁，共四十三頁，編輯于2023年，星期三19如果第i個神經(jīng)元的輸出是正確的，即ai＝ti，那么與第i個神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變?nèi)绻趇個神經(jīng)元的輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；新的偏差bi為舊偏差bi加上1如果第i個神經(jīng)元的輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時權(quán)值修正算法，新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；新的偏差bi為舊偏差bi減去12.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十頁，共四十三頁，編輯于2023年，星期三20上述用來修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標(biāo)矢量（P、A和T）調(diào)用命令為：[dW，dB]＝learnp(P，A，T)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十一頁，共四十三頁，編輯于2023年，星期三21訓(xùn)練思想在輸入矢量P的作用下，計算網(wǎng)絡(luò)的實際輸出A，并與相應(yīng)的目標(biāo)矢量T進(jìn)行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和偏差的調(diào)整重新計算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達(dá)到事先設(shè)置的最大值時訓(xùn)練結(jié)束2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十二頁，共四十三頁，編輯于2023年，星期三22訓(xùn)練算法對于所要解決的問題，確定輸入矢量P，目標(biāo)矢量T，并確定各矢量的維數(shù)及神經(jīng)元數(shù)目：r，s和q；（1）參數(shù)初始化

a)賦給權(quán)矢量w在(—l，1)的隨機非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；（2）初始化網(wǎng)絡(luò)表達(dá)式。根據(jù)輸人矢量P以及最新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量A；（3）檢查過程。檢查輸出矢量A與目標(biāo)矢量T是否相同。如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入（4）（4）學(xué)習(xí)過程。根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十三頁，共四十三頁，編輯于2023年，星期三23由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題感知器僅能夠線性地將輸入矢量進(jìn)行分類當(dāng)輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度2.6局限性第二十四頁，共四十三頁，編輯于2023年，星期三24三、自適應(yīng)線性元件3.1Adline簡介3.2網(wǎng)絡(luò)結(jié)構(gòu)3.3網(wǎng)絡(luò)學(xué)習(xí)3.4網(wǎng)絡(luò)訓(xùn)練3.5應(yīng)用舉例3.6局限性第二十五頁，共四十三頁，編輯于2023年，星期三253.1Adline簡介自適應(yīng)線性元件(AdaptiveLinearElement簡稱Adaline)由威德羅(Widrow)和霍夫(Hoff)首先提出自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進(jìn)行模式聯(lián)想。

它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1它采用的是W-H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進(jìn)行訓(xùn)練第二十六頁，共四十三頁，編輯于2023年，星期三263.2網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元(a)與網(wǎng)絡(luò)(b)第二十七頁，共四十三頁，編輯于2023年，星期三273.3學(xué)習(xí)規(guī)則W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學(xué)習(xí)規(guī)則采用W-H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個函數(shù)式而進(jìn)行模式聯(lián)想(PatternAssociation)定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù)目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點開始，沿著E(W，B)的斜面向下滑行第二十八頁，共四十三頁，編輯于2023年，星期三283.3學(xué)習(xí)規(guī)則根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對于第i個輸出節(jié)點有：或表示為第二十九頁，共四十三頁，編輯于2023年，星期三293.3學(xué)習(xí)規(guī)則η為學(xué)習(xí)速率。在一般的實際運用中，實踐表明，η通常取一接近1的數(shù)，或取值為：自適應(yīng)線性網(wǎng)絡(luò)還有另一個潛在的困難，當(dāng)學(xué)習(xí)速率取得較大時，可導(dǎo)致訓(xùn)練過程的不穩(wěn)定采用W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象第三十頁，共四十三頁，編輯于2023年，星期三303.4

網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可歸納為以下四個步驟初始化。權(quán)值W,B和T表達(dá)。計算訓(xùn)練的輸出矢量A=W*P+B，以及與期望輸出之間的誤差E=T-A檢查。將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)學(xué)習(xí)。采用W-H學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回到“表達(dá)”過程第三十一頁，共四十三頁，編輯于2023年，星期三313.5應(yīng)用舉例考慮一個較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計問題輸入矢量P和目標(biāo)矢量T第三十二頁，共四十三頁，編輯于2023年，星期三323.5應(yīng)用舉例求解－精確解這個問題的求解同樣可以采用線性方程組求出，即對每一個輸出節(jié)點寫出輸入和輸出之間的關(guān)系等式第三十三頁，共四十三頁，編輯于2023年，星期三333.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差記錄訓(xùn)練后權(quán)值第三十四頁，共四十三頁，編輯于2023年，星期三343.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)由輸入矢量和目標(biāo)輸出矢量可得：r＝3，s＝4，q＝4。網(wǎng)絡(luò)的結(jié)構(gòu)如下圖示第三十五頁，共四十三頁，編輯于2023年，星期三353.5應(yīng)用舉例分析－Adline與方程求解求解前述16個方程不太容易，需要一定時間對一些實際問題，如果不需要求出其完美的零誤差時的解，也即允許存在一定的誤差時，采用自適應(yīng)線性網(wǎng)絡(luò)求解可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值如果輸入矢量具有奇異性，用函數(shù)solvelin.m求解精確解時將產(chǎn)生問題。而神經(jīng)網(wǎng)絡(luò)則能得到較好的性能第三十六頁，共四十三頁，編輯于2023年，星期三363.6Adline與感知機網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在于激活函數(shù)，分別為二值型和線性學(xué)習(xí)算法

感知器的算法是最早提出的可收斂的算法它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法在BP算法中得到進(jìn)一步的推廣，它們屬于同一類算法適用性與局限性

感知器僅能夠進(jìn)行簡單的分類。感知器可以將輸入分成兩類或四類等，但僅能對線性可分的輸入進(jìn)行分類。自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進(jìn)行線性分類外，還可以實現(xiàn)線性逼近，因為其激活函數(shù)可以連續(xù)取值而不同于感知器的僅能取0或1的緣故第三十七頁，共四十三頁，編輯于2023年，星期三37四、內(nèi)容小結(jié)內(nèi)容回顧感知機自適應(yīng)線性元件下次講課內(nèi)容第三十八頁，共四十三頁，編輯于2023年，星期三38四、內(nèi)容小結(jié)內(nèi)容回顧生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法感知機自適應(yīng)線性元件下次講課內(nèi)容第三十九頁，共四十三頁，編輯于2023年，星期三39四、內(nèi)容小結(jié)內(nèi)容回顧感知機感知機簡介神經(jīng)元模型網(wǎng)絡(luò)