第2章 前向多層人工神經(jīng)網(wǎng)絡(luò)課件

第二章前向多層人工神經(jīng)網(wǎng)絡(luò)§2.1概述

ANN的主要功能之一——模式識(shí)別

(PatternRecognition)

模式識(shí)別是人類的一項(xiàng)基本智能行為，在日常生活中，我們幾乎時(shí)刻在進(jìn)行著“模式識(shí)別”。模式：

廣義地說，存在于時(shí)間和空間中可觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱之為模式；

狹義地說，模式是通過對(duì)具體的個(gè)別事物進(jìn)行觀測所得到的具有時(shí)間和空間分布的信息；

模式類：把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類);

模式識(shí)別：在一定量度或觀測基礎(chǔ)上把待識(shí)模式劃分到各自的模式類中去的過程叫作模式識(shí)別；

模式識(shí)別——

對(duì)表征事物或現(xiàn)象的各種形式的（數(shù)值的，文字的和邏輯關(guān)系的）信息進(jìn)行處理和分析，以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。

買西瓜：西瓜可分為生、熟兩類，此時(shí)，研究的范疇是“西瓜”，在此范疇上定義了兩類模式：熟瓜和生瓜；種西瓜：西瓜分早熟品種、晚熟品種兩類，即定義了兩類模式：早熟和晚熟；河北省早熟品種分類：河北省常見品種有“新紅寶”、“蜜梅”、“京欣”、“冀早2號(hào)”…等；此時(shí)，研究范疇是“河北常見早熟西瓜品種”，在此范疇上定義了多類模式：新紅寶、蜜梅、京欣、冀早2號(hào)等等買西瓜：兩類模式分類問題，通過聲音的頻率x1和聲音持續(xù)時(shí)間長度x2來判斷瓜的生熟。對(duì)編號(hào)為

i的瓜進(jìn)行敲擊測試，得到矢量元素Xi=(x1i，x2i)T

，對(duì)N個(gè)有生有熟的瓜進(jìn)行實(shí)驗(yàn)可以得到N個(gè)數(shù)據(jù)：X={X1,X2,X3,…,XN}

，根據(jù)瓜的生熟可以將X中的元素劃分為兩類，一類對(duì)應(yīng)于生瓜一類對(duì)應(yīng)于熟瓜。于是，模式其實(shí)就是具有特定性質(zhì)的矢量/數(shù)據(jù)。用C1代表生瓜類，C2代表熟瓜類，則X中的任意一個(gè)元素Xn必然滿足:Xn屬于C1或者Xn屬于C2。2024/11/111第2章前向多層人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別，舉例：水果分級(jí)系統(tǒng)。水果品質(zhì)參數(shù)：重量、大小、比重、果形、顏色等特征矢量：X

=[x1,x2,x3,x4,x5]T特征空間：用參數(shù)張成。模式：每個(gè)蘋果為一個(gè)模式，其特征矢量為特征空間中的一個(gè)點(diǎn)；模式類：一個(gè)級(jí)別為一個(gè)類，一類模式分布在特征空間的某個(gè)特定區(qū)域；模式識(shí)別：找出各類之間的分界面。2024/11/112第2章前向多層人工神經(jīng)網(wǎng)絡(luò)ANN的主要功能之二——聯(lián)想

(AssociativeMemory)聯(lián)想的心理學(xué)定義：當(dāng)一個(gè)事物的表象被激活時(shí)，也就是說該表象所包含的若干屬性單元同時(shí)有效時(shí)，我們的注意力焦點(diǎn)就集中在這個(gè)表象上，如果對(duì)該表象的處理使的表象被否決時(shí)，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻），導(dǎo)致該表象無法成立的時(shí)候，剩余的屬性單元或許可以構(gòu)成另一種事物的表象，或許還需要結(jié)合那些被激活了的新的屬性（或是由外界事物具有的新的屬性所激活，或是因降低了對(duì)一些屬性的抑制所導(dǎo)致的激活）。

例如：看到檸檬，感覺到嘴里口水增多。因?yàn)?，由檸檬?lián)想到了酸味。

字符識(shí)別：2024/11/113第2章前向多層人工神經(jīng)網(wǎng)絡(luò)再論模式識(shí)別：對(duì)表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進(jìn)行處理和分析，以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程稱為“模式識(shí)別”，是信息科學(xué)和人工智能的重要組成部分。

人在分辨不同類別的事物時(shí)，抽取了同類事物之間的相同點(diǎn)以及不同類事物之間的不同點(diǎn)；字符識(shí)別：例如漢字“中”可以有各種寫法，但都屬于同一類別。更為重要的是，即使對(duì)于某個(gè)“中”的具體寫法從未見過，也能把它分到“中”這一類別。識(shí)別目標(biāo)：人們走向一個(gè)目的地的時(shí)候，總是在不斷的觀察周圍的景物，判斷所選擇的路線是否正確。實(shí)際上，是對(duì)眼睛看到的圖象做“正確”和“不正確”的分類判斷。人腦的這種思維能力就構(gòu)成了“模式”的概念和“模式識(shí)別”的過程。

模式是和類別（集合）的概念分不開的，只要認(rèn)識(shí)這個(gè)集合的有限數(shù)量的事物或現(xiàn)象，就可以識(shí)別這個(gè)集合中的任意多的事物或現(xiàn)象。為了強(qiáng)調(diào)能從具體的事物或現(xiàn)象中推斷出總體，我們就把個(gè)別的事物或現(xiàn)象稱作“模式”，而把總體稱作類別或范疇。特征矢量：最簡單的情況是用一組稱為“特征參數(shù)”的數(shù)值信息表示一個(gè)客觀對(duì)象。例如，水果品質(zhì)分類中用到的大小、重量、比重、果型、顏色，其取值均為數(shù)值。表示成特征矢量形式：Xi=[xi1,xi2,xi3,xi4,xi5]；樣本：對(duì)一個(gè)具體對(duì)象進(jìn)行觀測得到的一個(gè)特征矢量稱為一個(gè)“樣本”，Xi稱為第i個(gè)樣本，或者第i個(gè)樣本的特征矢量。特征空間：即特征矢量張成的空間，每個(gè)樣本對(duì)應(yīng)于特征空間上的一點(diǎn)。針對(duì)一個(gè)具體的模式識(shí)別問題，選定特征參數(shù)非常重要，關(guān)乎模式識(shí)別的成敗。著名國際大師傅京孫教授曾說過模式識(shí)別問題的關(guān)鍵是特征提取。特征參數(shù)應(yīng)能區(qū)分所定義的模式，同時(shí)有沒有過多的重復(fù)，即：完備而不冗余。選定特征參數(shù)的過程稱“為特征提取”。特征提取沒有統(tǒng)一的方法，事實(shí)上，特征提取是一個(gè)不同專業(yè)領(lǐng)域范疇內(nèi)的問題。正因?yàn)槿绱?，模式識(shí)別應(yīng)用問題往往是跨專業(yè)領(lǐng)域的工程。傅京孫(1930—1985)麗水縣城人。1954年畢業(yè)于臺(tái)灣大學(xué)電機(jī)系獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大學(xué)獲應(yīng)用科學(xué)碩士學(xué)位，1956年轉(zhuǎn)入美國伊利諾斯大學(xué)，獲博士學(xué)位。1961年起任美國普渡大學(xué)電機(jī)工程系助教、副教授、教授，加州大學(xué)柏克萊分校及斯坦福大學(xué)訪問教授。1971年起當(dāng)選為美國電機(jī)工程學(xué)會(huì)榮譽(yù)會(huì)員。同年得顧根漢基金研究獎(jiǎng)助金。1975年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)概率論，創(chuàng)立圖形識(shí)別科學(xué)，影像處理及其在遙測、醫(yī)學(xué)方面的應(yīng)用，曾任第一屆國際圖形識(shí)別會(huì)議主席。1976年當(dāng)選為美國國家工程學(xué)院院士，獲得麥考艾科學(xué)貢獻(xiàn)獎(jiǎng)。1977年獲得美國計(jì)算機(jī)學(xué)會(huì)杰出論文獎(jiǎng)。1978年任臺(tái)灣“中央研究院”院士。2024/11/114第2章前向多層人工神經(jīng)網(wǎng)絡(luò)模式類：特征參數(shù)選擇合理時(shí)，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；模式識(shí)別所要做的事情，包含兩個(gè)方面：在不同類別樣本點(diǎn)集之間，尋找合理的分界面，或稱作“判別函數(shù)（DecisionFunction）”——因?yàn)榕袆e函數(shù)來自于實(shí)際觀測數(shù)據(jù)，因此稱此階段為“學(xué)習(xí)”或“訓(xùn)練”；給定未知模式，判斷該樣本所屬類別，稱為“工作”或“應(yīng)用”。

特征選擇的好壞是模式識(shí)別成敗的關(guān)鍵，但如何選擇“特征”，即，選擇什么物理量作為特征，是具體專業(yè)“領(lǐng)域”的問題，需要運(yùn)用“領(lǐng)域”的專業(yè)知識(shí)來解決。例如，語音識(shí)別，如何從自然語音中提取“特征”，是語音識(shí)別的專業(yè)問題；圖象識(shí)別，如何從CCD圖象獲取適當(dāng)?shù)奶卣?，是圖象處理領(lǐng)域的問題，即使在圖象處理領(lǐng)域，不同應(yīng)用目的所取的特征也不同。模式識(shí)別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要講到的有關(guān)智能方法，都只涉及到特征提取之后的工作。以上所說的“學(xué)習(xí)”或“訓(xùn)練”，是根據(jù)若干已知樣本在空間找到合適的分類面。對(duì)于一個(gè)樣本Xi，用yi表示它所屬的類別，例如，它屬于第k類。樣本已知，意思是{Xi

，

yi}已知。這種“學(xué)習(xí)”又稱為“有監(jiān)督”學(xué)習(xí)，即，通過對(duì)已知樣本{Xi

，yi}的學(xué)習(xí)找到合理的判別函數(shù)。所謂“工作”，指的是給定類別未知的樣本Xi

，求yi的值。Xi是對(duì)某個(gè)客觀對(duì)象觀測的結(jié)果，其取值無法事先限定。但類別yi的取值是離散的、有限的，是事先主觀規(guī)定的。2024/11/115第2章前向多層人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型

神經(jīng)元的輸入：

所完成的運(yùn)算為：式中：稱為神經(jīng)元的“權(quán)值矢量”；稱為神經(jīng)元的“功能函數(shù)”；稱為神經(jīng)元的“凈輸入”；稱為神經(jīng)元的“輸出”；稱為神經(jīng)元的“閾值”；2024/11/116第2章前向多層人工神經(jīng)網(wǎng)絡(luò)常用的神經(jīng)元功能函數(shù)類型

線性函數(shù)又稱為“恒同函數(shù)”

硬限幅函數(shù)

S函數(shù)(Sigmoid)fs

取值于[0,1]之間。2024/11/117第2章前向多層人工神經(jīng)網(wǎng)絡(luò)前項(xiàng)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

前層的輸出作為后層的輸入；

各層的神經(jīng)元個(gè)數(shù)可以不同；

層數(shù)兩層以上，目前大多為3層；

輸入矢量X代表從客觀對(duì)象觀測得到的特征；輸出層包含一個(gè)或多個(gè)神經(jīng)元，用于表達(dá)更為復(fù)雜的運(yùn)算結(jié)果；

同層神經(jīng)元不能連接，后層不能向前層反向連接；

連接強(qiáng)度（即，權(quán)值大小）可以為0，強(qiáng)度為0實(shí)際上就是沒有連接；2024/11/118第2章前向多層人工神經(jīng)網(wǎng)絡(luò)§2.2采用硬限幅函數(shù)時(shí)單個(gè)神經(jīng)元的分類功能

線性可分性(LinearSeparable

)設(shè)有C0和C1兩類模式R0：C0類模式的樣本集；R1：C1類模式的樣本集；分類的第一步：在兩類樣本分布區(qū)域之間尋找一個(gè)分類函數(shù)（分類線、面）使得兩類樣本各處在一邊；

實(shí)現(xiàn)這一目標(biāo)的過程，稱為“學(xué)習(xí)”或“訓(xùn)練”，所用到的計(jì)算策略稱為“學(xué)習(xí)算法”；樣本集合R0和R1稱為學(xué)習(xí)樣本集合。分類的第二步：當(dāng)獲得了分類函數(shù)l以后，就可以進(jìn)入工作階段了。任給未知模式X，若它位于R0一側(cè)，則判定其為C0類；若它位于R1一側(cè)，則判定其為C1類；若它落在分類線l

上，則不可識(shí)別。

給定兩類C0和C1的學(xué)習(xí)樣本集合R0和R1，若存在線性分類函數(shù)（直線、平面、超平面）l，將兩類學(xué)習(xí)樣本無誤差地分開，則稱該分類問題為“線性可分問題”。2024/11/119第2章前向多層人工神經(jīng)網(wǎng)絡(luò)假設(shè)，二維分類問題的分類函數(shù)為l：任給樣本X=[x1,x2]，l應(yīng)該滿足：令：則模式識(shí)別問題可以表達(dá)成：把看作權(quán)值，看作閾值，用一個(gè)神經(jīng)元來表示以上二維分類問題，則：任意輸入一個(gè)模式X，若X屬于C0則y=1；若X屬于C1則y=0；其中：X=

[x1,x2]是任意樣本，W=[w0,w1]是權(quán)值矢量。

WT.X–q=w0.x0+w1.x1–q=0

是直線的矢量方程，若W為單位矢量，即：w02+w12

=1則q的意義如圖所示。2024/11/1110第2章前向多層人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

將輸入矢量X

和權(quán)矢量W

作如下擴(kuò)張：

神經(jīng)元模型成為：(2-7)

學(xué)習(xí)的目的，就是要找到權(quán)矢量W。對(duì)于前面的例子，就是尋找能夠無誤差分開兩類樣本的直線參數(shù)[w0,w1,q]。

學(xué)習(xí)是針對(duì)給定的學(xué)習(xí)樣本集合進(jìn)行的，不同的樣本集合可以得到不同的學(xué)習(xí)結(jié)果。對(duì)于兩類可分問題，能夠無誤差地分開學(xué)習(xí)樣本的結(jié)果都是正確的。2024/11/1111第2章前向多層人工神經(jīng)網(wǎng)絡(luò)設(shè)二維分類問題，有學(xué)習(xí)樣本：其中

訓(xùn)練樣本k；訓(xùn)練樣本的值；起初，我們隨意指定一個(gè)權(quán)矢量：這相當(dāng)于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個(gè)樣本X(k)，用y(k)表示得到的輸出，顯然y(k)不一定等于X(k)的實(shí)際類別值d(k)，令：若fh為硬限幅函數(shù)，則必有：(2-29)2024/11/1112第2章前向多層人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：為了找到正確的W，依次向神經(jīng)元輸入學(xué)習(xí)樣本X(k)，k=0,1,2,…，并且依照誤差e

(k)的正負(fù)來修正W

：式中a

稱為“步幅”，用來控制每次調(diào)整的步長。如此不斷重復(fù)，W(k)隨著迭代次數(shù)k的增加，逐漸趨于正確答案。(2-7)

若輸出y(k)與樣本類別值d(k)相同，即，則:W(k+1)=W(k)，不調(diào)整W。

若輸出y(k)與樣本類別值d(k)不同，即，則:W根據(jù)e

(k)的正負(fù)被調(diào)整；2024/11/1113第2章前向多層人工神經(jīng)網(wǎng)絡(luò)算法的幾何原理：為直觀起見，設(shè)：理想分類線過原點(diǎn)，即：，閾值q為0。訓(xùn)練樣本：權(quán)值矢量：由直線方程可知，W(k)是直線l

的法線，即:

若，X恰好位于l上，則：

若，Xa位于l

上方，則：

若，Xb位于l下方，則：2024/11/1114第2章前向多層人工神經(jīng)網(wǎng)絡(luò)假設(shè)已經(jīng)輸入了k個(gè)樣本，運(yùn)行到了第

k

步，當(dāng)前的權(quán)值W(k)。假設(shè)輸入X(k)

得到y(tǒng)(k)=1，但給定的X(k)屬于C1類，即，d(k)=0，則：于是，有：可見，分類線

l得到了合理的調(diào)整。再假設(shè)，接下來輸入的X(k+1)屬于

C0類，即d(k)=1，被錯(cuò)分為C1類，即，由X(k+1)和W(k+1)計(jì)算得到y(tǒng)(k+1)=0

：于是，有：錯(cuò)把C1

當(dāng)C0;2024/11/1115第2章前向多層人工神經(jīng)網(wǎng)絡(luò)§2.3線性函數(shù)神經(jīng)元的最小二乘分類算法

線性不可分

在誤差最小的前提下，尋找分類函數(shù)，給定樣本集：其中

2024/11/1116第2章前向多層人工神經(jīng)網(wǎng)絡(luò)采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：權(quán)值矢量：神經(jīng)元完成的運(yùn)算為：判別規(guī)則：注意到，理想值為：

對(duì)于權(quán)矢量W的某個(gè)具體取值，其誤差定義為：學(xué)習(xí)的目的是，針對(duì)所有學(xué)習(xí)樣本，尋找x最小的W取值，它即為誤差最小的分類函數(shù)。(2-10)2024/11/1117第2章前向多層人工神經(jīng)網(wǎng)絡(luò)設(shè)學(xué)習(xí)樣本集{(X0,d0)，(X1,d1)，…，(XK-1,dK-1)，則x

的估計(jì)為：以

x

最小為目標(biāo)的優(yōu)化過程，統(tǒng)稱為“最小二乘法(LeastMeanSquare)”。顯然，樣本的分布給定后x

是權(quán)矢量W的函數(shù)，即：x=x(W)；

首先需要證明，存在W*使得x

min=x(W*)

成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：(2-11)代入(2-10)得到：(2-12)2024/11/1118第2章前向多層人工神經(jīng)網(wǎng)絡(luò)用下列符號(hào)代表式中一些參量：

為了簡化，我們考慮二維并且閾值q=0的情況，有：(2-13)(2-14)顯然，R是隨機(jī)矢量X的相關(guān)矩陣，它是一個(gè)對(duì)稱矩陣，且正定。將以上符號(hào)代入(2-12)，得到：(2-15)2024/11/1119第2章前向多層人工神經(jīng)網(wǎng)絡(luò)

顯然，若存W*在

使得x

min=x(W*)

成立。并且，在W*點(diǎn)上x關(guān)于W的所有元素w0,w1,…(二維情況下只有w0和w1)的偏導(dǎo)數(shù)都為0，或者，說x關(guān)于矢量W的梯度在W*點(diǎn)為零矢量。即，對(duì)(2-15)求梯度得到：(2-16)或用多元函數(shù)微分求梯度，重寫誤差公式：2024/11/1120第2章前向多層人工神經(jīng)網(wǎng)絡(luò)令：注意到，R是正定的，它的逆存在，于是，得到：(2-17)代回(2.15)式可以得到最小誤差平方和：

(2-18)命題得證，并且找到了最佳的W：解(2-17)式即可得到W*。但這還不是我們想要的學(xué)習(xí)算法，為了實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)，必須找到求解W*的迭代算法。2024/11/1121第2章前向多層人工神經(jīng)網(wǎng)絡(luò)LMS學(xué)習(xí)問題的最陡梯度算法

k表示迭代學(xué)習(xí)過程的序號(hào)；p=0,1,2,……表示樣本序號(hào)，Xp(k)表示當(dāng)前一輪迭代時(shí)的第p個(gè)輸入的學(xué)習(xí)樣本，即，第k步的第p個(gè)樣本。

定義誤差平方和為：(2-38)當(dāng)兩類樣本的分布不變時(shí)（統(tǒng)計(jì)意義上），J(k)是W的函數(shù)。LMS學(xué)習(xí)的最陡梯度法就是以J(k)為目標(biāo)函數(shù)，尋找使得J(k)最小的權(quán)值矢量W。

W(k)表示迭代學(xué)習(xí)第k步時(shí)的權(quán)值矢量，dp(k)和yp(k)分別為輸入學(xué)習(xí)樣本Xp(k)

的實(shí)際類別值(dp取+1或–1)和當(dāng)前神經(jīng)元的輸出(-1<

yp<1)。

Xp(k)

的誤差為：ep(k)=

dp(k)-yp(k)2024/11/1122第2章前向多層人工神經(jīng)網(wǎng)絡(luò)

函數(shù)J(W)的圖象稱為“誤差響應(yīng)面”。

尋優(yōu)的策略：從某個(gè)隨意選定的起始點(diǎn)W(0)開始，沿著梯度最大的反方向，一步一步前行，走到梯度為0的點(diǎn)的時(shí)候，得到的W就是W*；用表示第k步時(shí)的梯度，學(xué)習(xí)算法為：2024/11/1123第2章前向多層人工神經(jīng)網(wǎng)絡(luò)梯度算法的正確性：(2-39)(2-40)為了逐步走向W的最小點(diǎn)，選擇其增量為：，即：或者：(2-41)當(dāng)很小時(shí)，誤差平方和的增量可以用其全微分來近似：2024/11/1124第2