神經(jīng)網(wǎng)絡(luò)的介紹

神經(jīng)網(wǎng)絡(luò)的介紹第1頁/共50頁一、歷史回顧二、單層感知機與多層感知機三、BP網(wǎng)絡(luò)四、卷積神經(jīng)網(wǎng)絡(luò)五、內(nèi)容小結(jié)內(nèi)容安排2第2頁/共50頁

歷史回顧

(1)第一次熱潮(40-60年代未)1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初)

20世紀(jì)60年代以后，數(shù)字計算機的發(fā)展達到全盛時期，人們誤以為數(shù)字計算機可以解決人工智能、專家系統(tǒng)、模式識別問題，而放松了對“感知器”的研究。人工神經(jīng)網(wǎng)絡(luò)進入低潮期。3第3頁/共50頁(3)第二次熱潮

1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield網(wǎng)絡(luò).1986年Rumelhart等提出的誤差反向傳播法，即BP法影響最為廣泛。直到今天，BP算法仍然是自動控制上最重要、應(yīng)用最多的有效算法。(4)低潮(90年代初-2000年初)

SVM算法誕生，與神經(jīng)網(wǎng)絡(luò)相比：無需調(diào)參；高效；全局最優(yōu)解?；谝陨戏N種理由，SVM成為主流，人工神經(jīng)網(wǎng)絡(luò)再次陷入冰河期。第4頁/共50頁(5)第三次熱潮（2006年開始）在被人摒棄的10年中，有幾個學(xué)者仍然在堅持研究。這其中的棋手就是加拿大多倫多大學(xué)的GeofferyHinton教授。2006年，Hinton在《Science》和相關(guān)期刊上發(fā)表了論文，首次提出了“深度學(xué)習(xí)”的概念。很快，深度學(xué)習(xí)在語音識別領(lǐng)域暫露頭角。接著，2012年，深度學(xué)習(xí)技術(shù)又在圖像識別領(lǐng)域大展拳腳。Hinton與他的學(xué)生在ImageNet競賽中，用多層的卷積神經(jīng)網(wǎng)絡(luò)成功地對包含一千類別的一百萬張圖片進行了訓(xùn)練，取得了分類錯誤率15%的好成績，這個成績比第二名高了近11個百分點，充分證明了多層神經(jīng)網(wǎng)絡(luò)識別效果的優(yōu)越性。第5頁/共50頁

單層感知機的介紹

單層感知器是用于線性可分模式分類的最簡單的神經(jīng)網(wǎng)絡(luò)模型。用來調(diào)整這個神經(jīng)網(wǎng)絡(luò)中自由參數(shù)的算法最早出現(xiàn)F.Roseblatt（1958,1962）提出的用于腦感知模型的一個學(xué)習(xí)過程中。6第6頁/共50頁網(wǎng)絡(luò)模型結(jié)構(gòu)第7頁/共50頁其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：b為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．第8頁/共50頁單位階躍函數(shù)：S型激發(fā)函數(shù)：

tanh型激發(fā)函數(shù)：

常見的三類激發(fā)函數(shù)第9頁/共50頁單層感知器工作原理

對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的結(jié)果，當(dāng)它用于兩類模式的分類時，相當(dāng)于在高維樣本空間中，用一個超平面將兩類樣本分開。第10頁/共50頁感知機的學(xué)習(xí)策略：感知機的算法是基于梯度下降法的對損失函數(shù)的最優(yōu)化算法。第11頁/共50頁單層感知器是線性可分模型感知器的輸出只能取-1或1（0或1）.只能用來解決簡單的分類問題。當(dāng)感知器輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度。單層感知機的缺點第12頁/共50頁

多層感知機的介紹

多層感知器相對于單層感知器，輸出端從一個變到了多個；輸入端和輸出端之間也不光只有一層，可以有多層:輸出層和隱藏層。第13頁/共50頁網(wǎng)絡(luò)模型結(jié)構(gòu)第14頁/共50頁例：如圖是一個含有兩個輸入，三個感知機隱層神經(jīng)元和一個輸出神經(jīng)元的三層感知機網(wǎng)絡(luò)，若取y1y2zx1x2y3y1=sgn(2x1+2x2+1)y2=sgn(-x1+0.25x2+0.8)y3=sgn(0.75x1-2x2+1.4)z=sgn(y1+y2+y3-2.5)實現(xiàn)了非線性分類y1y2y3第15頁/共50頁隱藏神經(jīng)元的功能

隱藏神經(jīng)元扮演者著特征檢測算子的角色。隨著學(xué)習(xí)過程通過多層感知器不斷進行，隱藏神經(jīng)元開始逐步“發(fā)現(xiàn)”刻畫訓(xùn)練數(shù)據(jù)的突出特征。它們是通過輸入數(shù)據(jù)非線性變換到新的稱為特征空間的空間而實現(xiàn)的。第16頁/共50頁BP網(wǎng)絡(luò)與多層感知機的差別感知機和BP網(wǎng)絡(luò)都可具有一層或多層隱含層，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)BP網(wǎng)絡(luò)的尋找最優(yōu)參數(shù)w和b,采用的是實際輸出和期望輸出的誤差的最佳平方逼近的思路17第17頁/共50頁BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò)第18頁/共50頁激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出第19頁/共50頁BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。第20頁/共50頁BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值第21頁/共50頁BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第22頁/共50頁BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,

輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;第23頁/共50頁輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):誤差函數(shù)：第24頁/共50頁第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值

和最大學(xué)習(xí)次數(shù)M。第二步,隨機選取第個輸入樣本及對應(yīng)期望輸出第25頁/共50頁第三步，計算隱含層各神經(jīng)元的輸入和輸出第26頁/共50頁第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。第27頁/共50頁第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)。

第28頁/共50頁第29頁/共50頁第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。第30頁/共50頁第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。第31頁/共50頁第八步，計算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進入下一輪學(xué)習(xí)。第32頁/共50頁應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

第33頁/共50頁輸入數(shù)據(jù)有15個，即p=1,…,15;j=1,2;對應(yīng)15個輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個？）建立神經(jīng)網(wǎng)絡(luò)第34頁/共50頁規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值

其中第35頁/共50頁分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為激勵函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

第36頁/共50頁則有：取激勵函數(shù)為=則同樣，取

第37頁/共50頁（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第38頁/共50頁?。?）計算因為所以

（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第39頁/共50頁(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,3第40頁/共50頁(6)p=p+1，轉(zhuǎn)（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結(jié)果是：第41頁/共50頁即網(wǎng)絡(luò)模型的解為：

=第42頁/共50頁BP網(wǎng)絡(luò)特點輸入和輸出是并行的模擬量網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)43第43頁/共50頁

網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果44第44頁/共50頁

網(wǎng)絡(luò)設(shè)計3.1網(wǎng)絡(luò)的層數(shù)3.2隱含層神經(jīng)元數(shù)3.3初始權(quán)值的選取3.4學(xué)習(xí)速率3.5期望誤差的選取3.6應(yīng)用舉例3.7局限性45第45頁/共50頁

網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)定理：增加層數(shù)主要可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù)僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好線性問題非線性問題46第46頁/共50頁

隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，