第11章 人工神經(jīng)網(wǎng)絡

模式識別

徐蔚然北京郵電大學信息工程學院11.1引言研究模式識別與人工智能的兩個方面自頂向下：從實際的功能出發(fā)自底向上：模擬人腦人工神經(jīng)網(wǎng)絡與傳統(tǒng)模式識別相同點要解決的問題是相同的人工神經(jīng)網(wǎng)絡的不同點計算是體現(xiàn)在一種網(wǎng)絡結(jié)構(gòu)中實現(xiàn)的網(wǎng)絡結(jié)構(gòu)中的參數(shù)是通過學習而逐漸修正的引言人工神經(jīng)網(wǎng)絡發(fā)展1943年，心理學家McCulloch和數(shù)學家Pitts，形似神經(jīng)元的數(shù)學模型；1949年，心理學家D.O.Hebb，神經(jīng)網(wǎng)絡的學習準則，為神經(jīng)網(wǎng)絡的學習奠定了基礎(chǔ)20世紀50年代末，Rosenblatt，感知器模型1969年，Minsky和Papert，《感知器》進入低谷引言人工神經(jīng)網(wǎng)絡發(fā)展1982年，Hopfield，神經(jīng)網(wǎng)絡的數(shù)學模型能量函數(shù)概念，網(wǎng)絡的動力學特性電子線路實現(xiàn)這一網(wǎng)絡方案1986年，Rumelhart和LeCun，多層感知器的反向傳播算法引言人工神經(jīng)元網(wǎng)絡方法神經(jīng)元網(wǎng)絡的復興與發(fā)展，它在信息領(lǐng)域，以及其它領(lǐng)域都得到廣泛的應用傳統(tǒng)的模式識別方法人工神經(jīng)元網(wǎng)絡方法解決模式識別問題引言學習目標(1)通過本章學習要掌握人工神經(jīng)元網(wǎng)絡實現(xiàn)各種計算功能的原理，及通過學習方法確定網(wǎng)絡參數(shù)的原理(2)典型的人工神經(jīng)元網(wǎng)絡結(jié)構(gòu)：前饋網(wǎng)絡(3)了解誤差回傳算法的原理11.2人工神經(jīng)元人工神經(jīng)元網(wǎng)絡的組成基本組成部分:結(jié)點和網(wǎng)絡11.2人工神經(jīng)元11.2人工神經(jīng)元結(jié)點作為人工神經(jīng)元網(wǎng)絡的結(jié)點是仿照生物細胞結(jié)構(gòu)而造出的典型的結(jié)點模型是1940年提出的McCulloch-Pitts模型人工神經(jīng)元結(jié)點這種模型所實現(xiàn)的功能正是前面提到的線性分類器。非線性的映射單元人工神經(jīng)元結(jié)點幾十年來，結(jié)點模型變化不大主要的變化是所使用的非線性映射函數(shù)非線性映射函數(shù):如S型，高斯型

S型函數(shù)(0,1)(-1,1)Sigmoid函數(shù)人工神經(jīng)元Sigmoid函數(shù)人工神經(jīng)元S型函數(shù)好處非線性單調(diào)性無限次可微當權(quán)值很大時可近似閾值函數(shù)當權(quán)值很小時可近似線性函數(shù)使用哪一種非線性函數(shù)取決于具體的網(wǎng)絡結(jié)構(gòu)及應用而使用McCulloch-Pitts模型只能實現(xiàn)二值的映射人工神經(jīng)元人工神經(jīng)網(wǎng)絡：也就是結(jié)點之間的連接人工神經(jīng)元網(wǎng)絡之所以能有許多復雜的功能，主要體現(xiàn)在將這些結(jié)點組合成網(wǎng)絡將執(zhí)行最簡單計算的結(jié)點組合起來，實現(xiàn)復雜的運算，這就是人工神經(jīng)元網(wǎng)絡最根本的特點而之所以能將簡單的運算組合成復雜的運算，最主要是一條是結(jié)點的運算中具有的非線性映射有了結(jié)點運算的非線性映射，才使得人工神經(jīng)元網(wǎng)絡作為一個整體能實現(xiàn)復雜的非線性映射功能能夠?qū)崿F(xiàn)任意復雜的函數(shù)人工神經(jīng)元人工神經(jīng)網(wǎng)絡人工神經(jīng)元網(wǎng)絡的成功體現(xiàn)在通過學習機制確定參數(shù)這一點感知準則函數(shù)方法在人工神經(jīng)元網(wǎng)絡中就是單層感知器學習確定網(wǎng)絡各參數(shù)則成為人工神經(jīng)元網(wǎng)絡確定參數(shù)的最基本方法神經(jīng)網(wǎng)絡為什么會實現(xiàn)復雜計算感知器(perceptron)感知器:感知準則函數(shù)方法設計的分類器只能實現(xiàn)對兩類樣本的線性分類或者說他只能將特征空間用線性函數(shù)劃分成兩個區(qū)域f(x)是x的一個線性函數(shù)McCulloch-Pitts模型中的閾值函數(shù)，可以寫成人工神經(jīng)元網(wǎng)絡工作原理復雜一些的判別函數(shù)將特征空間劃分成兩個區(qū)域兩條射線組成的折線來劃分在折線的一邊為y=1，在折線的另一邊y=0顯然用一個神經(jīng)元是不行人工神經(jīng)元網(wǎng)絡工作原理復雜一些的判別函數(shù)整個空間將因這兩個函數(shù)值的極性不同分成四個區(qū)域y=0這個區(qū)域所具有的特點是

與

都小于零需要增加一個邏輯運算才能解決問題三個運算可以通過三個神經(jīng)元結(jié)點人工神經(jīng)元網(wǎng)絡工作原理復雜一些的判別函數(shù)Whereasatwo-layernetworkclassifiercanonlyimplementalineardecisionboundary,givenanadequatenumberofhiddenunits,three-,four-andhigher-layernetworkscanimplementarbitrarydecisionboundaries.Thedecisionregionsneednotbeconvexorsimplyconnected.From:RichardO.Duda,PeterE.Hart,andDavidG.Stork,PatternClassification.Copyrightc2001byJohnWiley&Sons,Inc.人工神經(jīng)元網(wǎng)絡工作原理人工神經(jīng)元網(wǎng)絡的工作原理與特點：(1)人工神經(jīng)元網(wǎng)絡由數(shù)量較多的結(jié)點(每個結(jié)點是一個神經(jīng)元)以適當?shù)姆绞较嗷ミB接組成，每個結(jié)點的輸入可以是輸入數(shù)據(jù)的某一個分量，也可以是其他結(jié)點的輸出。(2)每個結(jié)點都執(zhí)行簡單的兩步運算：對輸入信號實現(xiàn)加權(quán)和；對加權(quán)和執(zhí)行非線性映射。(3)由于結(jié)點之間的相互連接，可實現(xiàn)對簡單運算的組合，而實現(xiàn)復雜的運算。(4)人工神經(jīng)元網(wǎng)絡實現(xiàn)各種功能取決于所采用的結(jié)點間連接方式以及每個結(jié)點的參數(shù)值的選擇。11.3前饋網(wǎng)絡感知器的局限性解決不了異或(XOR)或奇偶校驗如果在輸入端與輸出結(jié)點之間引入隱含層，則上述一些運算的執(zhí)行就不成問題問題在于在人工神經(jīng)網(wǎng)絡研究的早期，人們還不知道如何用訓練方式確定含隱含層結(jié)點網(wǎng)絡的所有參數(shù)1985年前后分別發(fā)表了基于誤差回傳的訓練算法，從而在原理上解決了多層網(wǎng)格的訓練問題前饋網(wǎng)絡多層前饋網(wǎng)絡的結(jié)構(gòu)特點及基本功能結(jié)構(gòu)特點是將結(jié)點分層安排處于最低層的輸入端子從外界接收輸入信號，并將輸入信號各分量經(jīng)過不同加權(quán)往送第一隱含層該層的運算結(jié)果又依次送往其高一層，直至輸出層前饋網(wǎng)絡多層前饋網(wǎng)絡的結(jié)構(gòu)特點及基本功能由于在這種網(wǎng)絡中信息具有沿單方向傳送的特點，因此被稱為前饋網(wǎng)絡。

習慣上把含有一個隱含層的網(wǎng)絡稱為兩層網(wǎng)絡前饋網(wǎng)絡多層前饋網(wǎng)絡的結(jié)構(gòu)特點及基本功能前饋網(wǎng)絡前饋網(wǎng)絡學習的任務已知網(wǎng)絡的結(jié)構(gòu)即，網(wǎng)絡層數(shù)和每層結(jié)點個數(shù)已知結(jié)點的數(shù)學模型非線性函數(shù)的數(shù)學模型問題:確定各個結(jié)點之間的連接系數(shù)Wij利用訓練樣本使得經(jīng)驗誤差最小前饋網(wǎng)絡:反向傳播算法反向傳播算法基本思想(1)設計一個代價函數(shù)作為迭代學習過程的目標函數(shù)。(2)利用代價函數(shù)對各參數(shù)的偏導數(shù)來確定各參數(shù)的修正量。(3)利用網(wǎng)絡計算的分層結(jié)構(gòu)導出計算的分層表示