多層神經(jīng)網(wǎng)絡(luò).x-

第第頁(yè)多層神經(jīng)網(wǎng)絡(luò).pptx1、第六章多層神經(jīng)網(wǎng)絡(luò)6.1引言神經(jīng)網(wǎng)絡(luò)定義一個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由簡(jiǎn)潔處理元構(gòu)成的規(guī)模宏大的并行分布式處理器。自然?具有存儲(chǔ)閱歷學(xué)問(wèn)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)與人腦的相像性：a.神經(jīng)網(wǎng)絡(luò)獲取的學(xué)問(wèn)是從外界環(huán)境中學(xué)習(xí)得來(lái)。b.互連神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于存儲(chǔ)獲取的學(xué)問(wèn)。生物神經(jīng)元示意圖神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體、樹(shù)突、軸突和突觸四部分組成。1.細(xì)胞體(cellbody)神經(jīng)元的主體，由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜3部分組成。細(xì)胞體的外部是細(xì)胞膜，將膜內(nèi)外細(xì)胞液分開(kāi)。由于細(xì)胞膜對(duì)細(xì)胞液中的不同離子具有不同的通透性，這使得膜內(nèi)外存在著離子濃度差，從而出現(xiàn)內(nèi)負(fù)外正的靜息電位。這種電位差稱為膜電位。2.樹(shù)突(dendrite)從細(xì)胞體向外延長(zhǎng)出很多突起的神經(jīng)纖維。負(fù)責(zé)接收來(lái)自其他神經(jīng)元的輸入信號(hào)

2、，相當(dāng)于細(xì)胞體的輸入端(input)。3.軸突(axon)由細(xì)胞體伸出的最長(zhǎng)的一條突起稱為軸突。軸突比樹(shù)突長(zhǎng)而細(xì)。軸突也叫神經(jīng)纖維，末端處有許多細(xì)的分支稱為神經(jīng)末梢，每一條神經(jīng)末梢可以向四面八方傳出信號(hào)，相當(dāng)于細(xì)胞體的輸出端(output)。4.突觸(synapse)一個(gè)神經(jīng)元通過(guò)其軸突的神經(jīng)末梢和和另一個(gè)神經(jīng)元的細(xì)胞體或樹(shù)突進(jìn)行通信連接，稱為突觸。人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的進(jìn)展基本功能應(yīng)用領(lǐng)域神經(jīng)元模型a.突觸權(quán)值b.加法器—凈激活c.激活函數(shù)輸入信號(hào)突觸權(quán)值偏置輸出求和結(jié)點(diǎn)激活函數(shù)6.2前饋運(yùn)算和分類(lèi)前饋運(yùn)算定義：a.無(wú)反饋，可用一有向無(wú)環(huán)圖表示。b.圖的節(jié)點(diǎn)分為兩類(lèi)，即輸入節(jié)點(diǎn)與計(jì)算單元。c.每個(gè)計(jì)算單元可有任意個(gè)輸入，但只有一個(gè)輸出，而輸出可耦合到任意多

3、個(gè)其他節(jié)點(diǎn)的輸入。前饋網(wǎng)絡(luò)通常分為不同的層，第i層的輸入只與第i-1層的輸出相聯(lián)。d.輸入和輸出節(jié)點(diǎn)由于可與外界相連，直接受環(huán)境影響，稱為可見(jiàn)層，而其他的中間層則稱為隱層。如圖。每一個(gè)二維輸入向量都提供給輸人層，而每一個(gè)輸入單元的輸出結(jié)果則等于輸入向量中對(duì)應(yīng)的那個(gè)重量。隱單元對(duì)它的各個(gè)輸入進(jìn)行加權(quán)求和運(yùn)算而形成“凈激活〔netactivation〕”簡(jiǎn)稱為net。為簡(jiǎn)潔起見(jiàn)，我們?cè)鰪V輸入向量和權(quán)向量可將凈激活寫(xiě)成如下形式下表i是輸入層單元的索引值，j是隱含層單元的索引，表示輸入層單元i到隱含層單元j的權(quán)值，，類(lèi)比于神經(jīng)元，這種權(quán)被稱為“突觸”，連接的值叫“突觸權(quán)”。每一個(gè)隱含層單元激發(fā)出一個(gè)輸出重量，這個(gè)重量是它激活的非線性函數(shù)，常用的激活函數(shù)符號(hào)函數(shù)：netk0netk－0.

4、50.5分段線性函數(shù)：Ｓigmoid函數(shù)：0最簡(jiǎn)潔的神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器拓?fù)浣Y(jié)構(gòu)單層感知器僅對(duì)線性問(wèn)題具有分類(lèi)能力線性問(wèn)題：簡(jiǎn)潔來(lái)講，就是用一條直線可分的圖形。比方：1.規(guī)律“與”2.規(guī)律“或”我們可以用一條直線來(lái)分隔0和1。規(guī)律“與”的真值表及二維樣本分類(lèi)圖規(guī)律“或”的真值表及二維樣本分類(lèi)圖為什么感知器就可以解決線性問(wèn)題呢？這是由它的傳遞函數(shù)確定的。這里以兩個(gè)輸入重量x1和x2組成的二維空間為例，此時(shí)節(jié)點(diǎn)j的輸出為所以，方程確定的直線就是二維輸入樣本空間上的一條分界線“異或”的真值表及二維樣本分類(lèi)圖假如要讓它來(lái)處理非線性的問(wèn)題，單層感知器網(wǎng)就無(wú)能為力了。例如下面的“異或”，就無(wú)法用一條直線來(lái)分割開(kāi)來(lái)，因此單層感知器網(wǎng)就沒(méi)方法實(shí)現(xiàn)“異或”的功能。解決異或問(wèn)題的多層感知器

5、輸入層隱含層輸出層6.2.1一般的前饋運(yùn)算明顯，我們可以把之前的商量推廣為更多的更多的輸入單元、其他的非線性函數(shù)、任意多個(gè)輸出單元。在分類(lèi)方面，我們有c個(gè)輸出單元，每個(gè)類(lèi)別一個(gè)，每個(gè)輸出單元產(chǎn)生的信號(hào)就是判別式函數(shù)gk(x).判別函數(shù)如下：6.2.2多層網(wǎng)絡(luò)的表達(dá)能力戈?duì)柲炅_夫證明了：只要選取適當(dāng)?shù)暮瘮?shù)，任何連續(xù)函數(shù)g(x)都呆以定義在單位超立方體上,即可以表示為：惋惜的是，上述構(gòu)造性的描述的確顯示任期望函數(shù)都可以通過(guò)一個(gè)三層網(wǎng)絡(luò)來(lái)執(zhí)行，但它更多的價(jià)值在理論方面，而有用意義不大。雖然一個(gè)兩層網(wǎng)絡(luò)分類(lèi)器只能實(shí)現(xiàn)一個(gè)線性判決邊界，假如給出足夠數(shù)量的隱單元，三層，四層及更多層網(wǎng)絡(luò)就可以實(shí)現(xiàn)任意的判決邊界6.3反向傳播算法〔BP算法〕怎樣訓(xùn)練輸入層到隱含層的權(quán)值？反向傳播算法允許我們

6、對(duì)每一個(gè)隱單元計(jì)算有效誤差，并且由此推導(dǎo)出一個(gè)輸入層到隱含層權(quán)值的學(xué)習(xí)法則關(guān)鍵問(wèn)題：依據(jù)訓(xùn)練樣本和期望輸出來(lái)設(shè)置合適的權(quán)值神經(jīng)元j的輸出神經(jīng)元j的凈激活連接權(quán)初始化學(xué)習(xí)模式提供給網(wǎng)絡(luò)計(jì)算輸出層的輸入輸出模式順傳播:對(duì)于隱層利用式〔11〕可得隨機(jī)反傳算法6.3.2訓(xùn)練協(xié)議1.隨機(jī)訓(xùn)練：模式積累地從訓(xùn)練集中取出，網(wǎng)絡(luò)權(quán)值也依據(jù)不同的模式進(jìn)行更新2.成批訓(xùn)練：全部模式在訓(xùn)練之前全部送往網(wǎng)絡(luò)中。3.在線訓(xùn)練：每種模式只提供一次，不需要存儲(chǔ)器來(lái)保存模式目前我們只考慮了訓(xùn)練集中單個(gè)模式的的誤差，但事實(shí)上我們要考慮一個(gè)定義在訓(xùn)練集里所以模式的誤差。我們可以吧這個(gè)總訓(xùn)練誤差寫(xiě)成n個(gè)單獨(dú)模式誤差的總和在隨機(jī)訓(xùn)練中，一個(gè)權(quán)值的更新可能削減某個(gè)單模式的誤差，然而卻增加了訓(xùn)練全集上的誤差。但是假如大量

7、的這種單詞更新，卻可以降低上述的總誤差成批反傳算法權(quán)值在全部模式出現(xiàn)一次后才更新學(xué)習(xí)曲線顯示的是誤差準(zhǔn)則函數(shù)作為訓(xùn)練總量的一個(gè)函數(shù)。每個(gè)模式的“驗(yàn)證誤差”和“測(cè)試誤差”事實(shí)上總是比“訓(xùn)練誤差”大。在有些協(xié)議中，訓(xùn)練在驗(yàn)證集誤差最小的時(shí)候停止?！脖确綀D中靠近5的位置〕6.3.3BP網(wǎng)絡(luò)——學(xué)習(xí)曲線6.3.4誤差曲面網(wǎng)絡(luò)初始權(quán)值隨機(jī)，通過(guò)隨機(jī)訓(xùn)練，誤差降到全局微小值。這里存在一個(gè)低誤差的解，它對(duì)應(yīng)的判決邊界把訓(xùn)練點(diǎn)正確的分為兩類(lèi)。這里誤差曲面有一個(gè)單一微小值。誤差曲面上不同的平坦區(qū)域粗略的對(duì)應(yīng)不同數(shù)量的恰當(dāng)分類(lèi)面模式；這個(gè)例子中錯(cuò)誤分類(lèi)的模式的數(shù)目最大是4.用上面的三層非線性網(wǎng)絡(luò)來(lái)解決一個(gè)一維線性不行分問(wèn)題?？梢园l(fā)覺(jué)誤差曲面總比上圖的稍高一些，因?yàn)闊o(wú)論怎么分都會(huì)導(dǎo)致一個(gè)模式被錯(cuò)誤分

8、類(lèi)。從曲面上可以看到兩種形式的微小誤差解；分別對(duì)應(yīng)-2x-1和1x2,其中一個(gè)模式被誤分。通過(guò)這些例子能清晰的顯示出權(quán)值，判決邊界以及誤差之間的對(duì)應(yīng)關(guān)系?？梢园l(fā)覺(jué)當(dāng)存在一組權(quán)對(duì)應(yīng)幾乎相同的判決邊界時(shí)就會(huì)出現(xiàn)平坦區(qū)。6.4.3較大型的網(wǎng)絡(luò)高對(duì)于一個(gè)具有許多權(quán)值，解決較冗雜的高維分類(lèi)問(wèn)題的網(wǎng)絡(luò)，隨單個(gè)權(quán)值的改變，誤差的改變將十分緩慢。盡管低維空間里局部微小值特別多，高維空間里局部微小值卻不同：在學(xué)習(xí)過(guò)程中，高維空間可以給系統(tǒng)提供更多的方式〔維數(shù)，自由度〕以“避開(kāi)”障礙或局部極大值。權(quán)值個(gè)數(shù)越過(guò)剩，網(wǎng)絡(luò)越不行能陷入局部微小值。6.4.4關(guān)于多重微小在高維權(quán)值空間中，找到一個(gè)全局微小值的可能性很小，我們不盼望網(wǎng)絡(luò)陷入具有高的訓(xùn)練誤差的局部微小值，在許多問(wèn)題

9、中，當(dāng)誤差較低時(shí)，非全局微小是可以接受的。6.5反向傳播作為特征映射6.5.1隱含層的內(nèi)部表示-權(quán)值底部圖為一個(gè)二維兩類(lèi)非線性可分分類(lèi)問(wèn)題的7種模式。左上圖是一個(gè)已經(jīng)把誤差訓(xùn)練到全局微小值的2-2-1S型網(wǎng)絡(luò)〔含偏置〕的隱單元表示。右上圖是模擬一個(gè)完全訓(xùn)練的2-3-1網(wǎng)絡(luò)。由于隱含層的高維表示能力，如今類(lèi)別變的線性可分，學(xué)習(xí)過(guò)的隱含層到輸出層的權(quán)值的確得出了一個(gè)將類(lèi)別分開(kāi)的平面右圖所示為輸入層到隱含層的權(quán)值，顯示為圖像，用來(lái)完成簡(jiǎn)潔的字符識(shí)別。上部的圖形表示的是從用來(lái)訓(xùn)練對(duì)3個(gè)字符進(jìn)行分類(lèi)的64-2-3S型網(wǎng)絡(luò)的訓(xùn)練集中選出的一些模式。下部的圖形顯示的是訓(xùn)練后兩個(gè)隱單元的輸入層到隱含層的權(quán)值。但是在大型網(wǎng)絡(luò)中，這些學(xué)習(xí)后的權(quán)值的模式卻很難用上述方式解釋。6.6反向傳播貝葉斯理論及

10、概率6.10其他網(wǎng)絡(luò)和訓(xùn)練算法6.10.1徑向基函數(shù)網(wǎng)絡(luò)正則化RBF網(wǎng)絡(luò)的學(xué)習(xí)算法6.10.3匹配濾波器如何對(duì)某個(gè)特定的已知模式設(shè)計(jì)一個(gè)最優(yōu)檢測(cè)器？6.10.4卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的討論熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的冗雜度，削減了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避開(kāi)了傳統(tǒng)識(shí)別算法中冗雜的特征提取和數(shù)據(jù)重建過(guò)程。CNN是第一個(gè)真正勝利訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。它利用空間關(guān)系削減需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能。在CNN中，圖像的一小部分〔局部感受區(qū)域

11、〕作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過(guò)一個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允