神經(jīng)網(wǎng)絡(luò)課件

神經(jīng)網(wǎng)絡(luò)課件第一頁(yè)，共四十三頁(yè)，2022年，8月28日1一、內(nèi)容回顧二、感知機(jī)三、自適應(yīng)線性元件四、內(nèi)容小結(jié)內(nèi)容安排第二頁(yè)，共四十三頁(yè)，2022年，8月28日2生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧

第三頁(yè)，共四十三頁(yè)，2022年，8月28日3生物神經(jīng)元生物神經(jīng)元模型突觸信息處理信息傳遞功能與特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧第四頁(yè)，共四十三頁(yè)，2022年，8月28日4生物神經(jīng)元模型一、內(nèi)容回顧第五頁(yè)，共四十三頁(yè)，2022年，8月28日5生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧第六頁(yè)，共四十三頁(yè)，2022年，8月28日6生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法權(quán)值確定Hebb學(xué)習(xí)規(guī)則誤差校正學(xué)習(xí)規(guī)則相近（無(wú)教師）學(xué)習(xí)規(guī)則一、內(nèi)容回顧第七頁(yè)，共四十三頁(yè)，2022年，8月28日7Hebb學(xué)習(xí)規(guī)則DonallHebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)a為學(xué)習(xí)速率，Vi,Vj為神經(jīng)元i和j的輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形第八頁(yè)，共四十三頁(yè)，2022年，8月28日8誤差校正規(guī)則用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一種梯度方法不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對(duì)樣本地表示次序變化比較敏感第九頁(yè)，共四十三頁(yè)，2022年，8月28日9無(wú)教師學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個(gè)特殊映射的表示，而是將事件空間分類為輸入活動(dòng)區(qū)域，并有選擇地對(duì)這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部輸入可以為連續(xù)值，對(duì)噪聲有較強(qiáng)抗干擾能力對(duì)較少輸入樣本，結(jié)果可能要依賴于輸入序列在ART、Kohonen等自組織競(jìng)爭(zhēng)型網(wǎng)絡(luò)中采用第十頁(yè)，共四十三頁(yè)，2022年，8月28日102.1感知機(jī)簡(jiǎn)介2.2神經(jīng)元模型2.3網(wǎng)絡(luò)結(jié)構(gòu)2.4功能解釋2.5學(xué)習(xí)和訓(xùn)練2.6局限性二、感知機(jī)第十一頁(yè)，共四十三頁(yè)，2022年，8月28日11感知器由美國(guó)計(jì)算機(jī)科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出收斂定理F.Roseblatt證明，如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開），則算法一定收斂感知器特別適用于簡(jiǎn)單的模式分類問(wèn)題，也可用于基于模式分類的學(xué)習(xí)控制中本講中感知器特指單層感知器2.1感知機(jī)簡(jiǎn)介第十二頁(yè)，共四十三頁(yè)，2022年，8月28日122.2神經(jīng)元模型第十三頁(yè)，共四十三頁(yè)，2022年，8月28日132.3網(wǎng)絡(luò)結(jié)構(gòu)ni第i個(gè)神經(jīng)元加權(quán)輸入和ai第i個(gè)神經(jīng)元輸出,i＝1,2,…,s第十四頁(yè)，共四十三頁(yè)，2022年，8月28日142.4功能解釋感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出根據(jù)輸出值通過(guò)測(cè)試加權(quán)輸入和值落在閾值函數(shù)的左右對(duì)輸入數(shù)據(jù)進(jìn)行分類第十五頁(yè)，共四十三頁(yè)，2022年，8月28日152.4功能解釋這一功能可以通過(guò)在輸人矢量空間里的作圖來(lái)加以解釋以輸入矢量r＝2為例對(duì)選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0的軌跡它是一條直線，此直線上及其線以上部分的所有p1、p2值均使w1p1十w2p2十b＞0，這些點(diǎn)通過(guò)由w1、w2和b構(gòu)成的感知器的輸出為1；該直線以下部分的點(diǎn)通過(guò)感知器的輸出為0第十六頁(yè)，共四十三頁(yè)，2022年，8月28日162.4功能解釋第十七頁(yè)，共四十三頁(yè)，2022年，8月28日17當(dāng)采用感知器對(duì)不同的輸入矢量進(jìn)行期望輸出為0或1的分類時(shí)，其問(wèn)題可轉(zhuǎn)化為對(duì)已知輸入矢量在輸入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知器的權(quán)值W和b感知器權(quán)值參數(shù)設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法則設(shè)計(jì)一條W*P+b＝0的軌跡，使其對(duì)輸入矢量能夠達(dá)到所期望的劃分2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第十八頁(yè)，共四十三頁(yè)，2022年，8月28日18學(xué)習(xí)規(guī)則用來(lái)計(jì)算新的權(quán)值矩陣W及新的偏差B的算法權(quán)值的變化量等于輸入矢量假定輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第十九頁(yè)，共四十三頁(yè)，2022年，8月28日19如果第i個(gè)神經(jīng)元的輸出是正確的，即ai＝ti，那么與第i個(gè)神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變?nèi)绻趇個(gè)神經(jīng)元的輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時(shí)權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；新的偏差bi為舊偏差bi加上1如果第i個(gè)神經(jīng)元的輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時(shí)權(quán)值修正算法，新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；新的偏差bi為舊偏差bi減去12.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十頁(yè)，共四十三頁(yè)，2022年，8月28日20上述用來(lái)修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標(biāo)矢量（P、A和T）調(diào)用命令為：[dW，dB]＝learnp(P，A，T)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十一頁(yè)，共四十三頁(yè)，2022年，8月28日21訓(xùn)練思想在輸入矢量P的作用下，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出A，并與相應(yīng)的目標(biāo)矢量T進(jìn)行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和偏差的調(diào)整重新計(jì)算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過(guò)程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達(dá)到事先設(shè)置的最大值時(shí)訓(xùn)練結(jié)束2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十二頁(yè)，共四十三頁(yè)，2022年，8月28日22訓(xùn)練算法對(duì)于所要解決的問(wèn)題，確定輸入矢量P，目標(biāo)矢量T，并確定各矢量的維數(shù)及神經(jīng)元數(shù)目：r，s和q；（1）參數(shù)初始化

a)賦給權(quán)矢量w在(—l，1)的隨機(jī)非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；（2）初始化網(wǎng)絡(luò)表達(dá)式。根據(jù)輸人矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A；（3）檢查過(guò)程。檢查輸出矢量A與目標(biāo)矢量T是否相同。如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入（4）（4）學(xué)習(xí)過(guò)程。根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練第二十三頁(yè)，共四十三頁(yè)，2022年，8月28日23由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來(lái)解決簡(jiǎn)單的分類問(wèn)題感知器僅能夠線性地將輸入矢量進(jìn)行分類當(dāng)輸入矢量中有一個(gè)數(shù)比其他數(shù)都大或小得很多時(shí)，可能導(dǎo)致較慢的收斂速度2.6局限性第二十四頁(yè)，共四十三頁(yè)，2022年，8月28日24三、自適應(yīng)線性元件3.1Adline簡(jiǎn)介3.2網(wǎng)絡(luò)結(jié)構(gòu)3.3網(wǎng)絡(luò)學(xué)習(xí)3.4網(wǎng)絡(luò)訓(xùn)練3.5應(yīng)用舉例3.6局限性第二十五頁(yè)，共四十三頁(yè)，2022年，8月28日253.1Adline簡(jiǎn)介自適應(yīng)線性元件(AdaptiveLinearElement簡(jiǎn)稱Adaline)由威德羅(Widrow)和霍夫(Hoff)首先提出自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想。

它與感知器的主要不同之處在于其神經(jīng)元有一個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1它采用的是W-H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對(duì)權(quán)值進(jìn)行訓(xùn)練第二十六頁(yè)，共四十三頁(yè)，2022年，8月28日263.2網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元(a)與網(wǎng)絡(luò)(b)第二十七頁(yè)，共四十三頁(yè)，2022年，8月28日273.3學(xué)習(xí)規(guī)則W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來(lái)修正權(quán)矢量的學(xué)習(xí)規(guī)則采用W-H學(xué)習(xí)規(guī)則可以用來(lái)訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想(PatternAssociation)定義一個(gè)線性網(wǎng)絡(luò)的輸出誤差函數(shù)目的是通過(guò)調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點(diǎn)開始，沿著E(W，B)的斜面向下滑行第二十八頁(yè)，共四十三頁(yè)，2022年，8月28日283.3學(xué)習(xí)規(guī)則根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對(duì)于第i個(gè)輸出節(jié)點(diǎn)有：或表示為第二十九頁(yè)，共四十三頁(yè)，2022年，8月28日293.3學(xué)習(xí)規(guī)則η為學(xué)習(xí)速率。在一般的實(shí)際運(yùn)用中，實(shí)踐表明，η通常取一接近1的數(shù)，或取值為：自適應(yīng)線性網(wǎng)絡(luò)還有另一個(gè)潛在的困難，當(dāng)學(xué)習(xí)速率取得較大時(shí)，可導(dǎo)致訓(xùn)練過(guò)程的不穩(wěn)定采用W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨(dú)立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象第三十頁(yè)，共四十三頁(yè)，2022年，8月28日303.4

網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過(guò)程可歸納為以下四個(gè)步驟初始化。權(quán)值W,B和T表達(dá)。計(jì)算訓(xùn)練的輸出矢量A=W*P+B，以及與期望輸出之間的誤差E=T-A檢查。將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)學(xué)習(xí)。采用W-H學(xué)習(xí)規(guī)則計(jì)算新的權(quán)值和偏差，并返回到“表達(dá)”過(guò)程第三十一頁(yè)，共四十三頁(yè)，2022年，8月28日313.5應(yīng)用舉例考慮一個(gè)較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計(jì)問(wèn)題輸入矢量P和目標(biāo)矢量T第三十二頁(yè)，共四十三頁(yè)，2022年，8月28日323.5應(yīng)用舉例求解－精確解這個(gè)問(wèn)題的求解同樣可以采用線性方程組求出，即對(duì)每一個(gè)輸出節(jié)點(diǎn)寫出輸入和輸出之間的關(guān)系等式第三十三頁(yè)，共四十三頁(yè)，2022年，8月28日333.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差記錄訓(xùn)練后權(quán)值第三十四頁(yè)，共四十三頁(yè)，2022年，8月28日343.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)由輸入矢量和目標(biāo)輸出矢量可得：r＝3，s＝4，q＝4。網(wǎng)絡(luò)的結(jié)構(gòu)如下圖示第三十五頁(yè)，共四十三頁(yè)，2022年，8月28日353.5應(yīng)用舉例分析－Adline與方程求解求解前述16個(gè)方程不太容易，需要一定時(shí)間對(duì)一些實(shí)際問(wèn)題，如果不需要求出其完美的零誤差時(shí)的解，也即允許存在一定的誤差時(shí)，采用自適應(yīng)線性網(wǎng)絡(luò)求解可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值如果輸入矢量具有奇異性，用函數(shù)solvelin.m求解精確解時(shí)將產(chǎn)生問(wèn)題。而神經(jīng)網(wǎng)絡(luò)則能得到較好的性能第三十六頁(yè)，共四十三頁(yè)，2022年，8月28日363.6Adline與感知機(jī)網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在于激活函數(shù)，分別為二值型和線性學(xué)習(xí)算法

感知器的算法是最早提出的可收斂的算法它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法在BP算法中得到進(jìn)一步的推廣，它們屬于同一類算法適用性與局限性

感知器僅能夠進(jìn)行簡(jiǎn)單的分類。感知器可以將輸入分成兩類或四類等，但僅能對(duì)線性可分的輸入進(jìn)行分類。自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進(jìn)行線性分類外，還可以實(shí)現(xiàn)線性逼近，因?yàn)槠浼せ詈瘮?shù)可以連續(xù)取值而不同于感知器的僅能取0或1的緣故第三十七頁(yè)，共四十三頁(yè)，2022年，8月28日37四、內(nèi)容小結(jié)內(nèi)容回顧感知機(jī)自適應(yīng)線性元件下次講課內(nèi)容第三十八頁(yè)，共四十三頁(yè)，2022年，8月28日38四、內(nèi)容小結(jié)內(nèi)容回顧生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法感知機(jī)自適應(yīng)線性元件下次講課內(nèi)容第三十九頁(yè)，共四十三頁(yè)，2022年，8月28日39四、內(nèi)容小結(jié)內(nèi)容回顧感知機(jī)感知機(jī)簡(jiǎn)介神經(jīng)元模型