第2節(jié)前向多層人工神經(jīng)網(wǎng)絡(luò)

1、第2節(jié)前向多層人工神經(jīng)網(wǎng)絡(luò)2022-4-25第2頁第二章第二章 前向多層人工神經(jīng)網(wǎng)絡(luò)前向多層人工神經(jīng)網(wǎng)絡(luò) 2.1 概概 述述 ANN的主要功能之一的主要功能之一 模式識別模式識別 ( Pattern Recognition ) 模式識別是人類的一項基本智能行為，在日常生活中，我們幾乎時刻在進行著“模式識別”。模式： 廣義地說，存在于時間和空間中可觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱之為模式； 狹義地說，模式是通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息； 模式類：把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類); 模式識別：在一定量度或觀測基礎(chǔ)上把待

2、識模式劃分到各自的模式類中去的過程叫作模式識別； 模式識別 對表征事物或現(xiàn)象的各種形式的（數(shù)值的，文字的和邏輯關(guān)系的）信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。 買西瓜：西瓜可分為生、熟兩類，此時，研究的范疇是“”，在此范疇上定義了兩類模式：熟瓜和生瓜；種西瓜：西瓜分早熟品種、晚熟品種兩類，即定義了兩類模式：早熟和晚熟；河北省早熟品種分類：河北省常見品種有“新紅寶”、“蜜梅”、“京欣”、“2號”等；此時，研究范疇是“河北常見早熟西瓜品種”，在此范疇上定義了多類模式：新紅寶、蜜梅、京欣、冀早2號等等買西瓜：兩類模式分類問題，通過聲音的

3、頻率x1和聲音持續(xù)時間x2來判斷瓜的生熟。對編號為 i 的瓜進行敲擊測試，得到矢量元素 Xi=(x1i，x2i) T ，對N個有生有熟的瓜進行實驗可以得到N個數(shù)據(jù)：X=X1,X2,X3,XN ，根據(jù)瓜的生熟可以將X中的元素劃分為兩類，一類對應(yīng)于一類對應(yīng)于熟瓜。于是，模式其實就是具有特定性質(zhì)的矢量/數(shù)據(jù)。用C1代表生瓜類，C2代表熟瓜類，則X中的任意一個元素Xn必然滿足: Xn屬于C1或者Xn屬于C2。2022-4-25第3頁 模式識別，舉例：水果分級系統(tǒng)。模式識別，舉例：水果分級系統(tǒng)。水果品質(zhì)參數(shù)：重量、大小、比重、果形、顏色等特征矢量：X = x1, x2, x3, x4, x5T特征空間：

4、用參數(shù)張成。模式：每個蘋果為一個模式，其特征矢量 為特征空間中的一個點；模式類：一個級別為一個類，一類模式分 布在特征空間的某個特定區(qū)域；模式識別：找出各類之間的分界面。2022-4-25第4頁 ANN的主要功能之二的主要功能之二 聯(lián)想聯(lián)想 ( Associative Memory )聯(lián)想的心理學(xué)定義： 當(dāng)一個事物的表象被激活時，也就是說該表象所包含的若干屬性單元同時有效時，我們的注意力焦點就集中在這個表象上，如果對該表象的處理使的表象被否決時，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻），導(dǎo)致該表象無法成立的時候，剩余的屬性單元或許可以構(gòu)成另一種事物的表象，或許還需要結(jié)合那些被激活

5、了的新的屬性（或是由外界事物具有的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活）。 例如：看到檸檬，感覺到嘴里口水增多。因為，由檸檬聯(lián)想到了酸味。 字符識別：2022-4-25第5頁 再論模式識別：再論模式識別：對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程稱為行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程稱為“模式識別模式識別”，是信息科學(xué)和人工智能的重要組成部分。是信息科學(xué)和人工智能的重要組成部分。 v 人在分辨不同類別的事物時，抽

6、取了同類事物之間的相同點以及不同類事物之間的不同點；字符識別：例如漢字“中”可以有各種寫法，但都屬于同一類別。更為重要的是，即使對于某個“中”的具體寫法從未見過，也能把它分到“中”這一類別。識別目標(biāo)：人們走向一個目的地的時候，總是在不斷的觀察周圍的景物，判斷所選擇的路線是否正確。實際上，是對眼睛看到的圖象做 “正確”和“不正確”的分類判斷。人腦的這種思維能力就構(gòu)成了“模式”的概念和“模式識別”的過程。 模式是和類別（集合）的概念分不開的，只要認識這個集合的有限數(shù)量的事物或現(xiàn)象，就可以識別這個集合中的任意多的事物或現(xiàn)象。為了強調(diào)能從具體的事物或現(xiàn)象中推斷出總體，我們就把個別的事物或現(xiàn)象稱作“模式

7、”，而把總體稱作類別或范疇。特征矢量：最簡單的情況是用一組稱為“特征參數(shù)”的數(shù)值信息表示一個客觀對象。例如，水果品質(zhì)分類中用到的大小、重量、比重、果型、顏色，其取值均為數(shù)值。表示成特征矢量形式：Xi = xi1, xi2, xi3, xi4, xi5 ；樣本：對一個具體對象進行觀測得到的一個特征矢量稱為一個“樣本”， Xi 稱為第i個樣本，或者第i個樣本的特征矢量。特征空間：即特征矢量張成的空間，每個樣本對應(yīng)于特征空間上的一點。針對一個具體的模式識別問題，選定特征參數(shù)非常重要，關(guān)乎模式識別的成敗。著名國際大師傅京孫教授曾說過模式識別問題的關(guān)鍵是特征提取。特征參數(shù)應(yīng)能區(qū)分所定義的模式，同時有沒有

8、過多的重復(fù)，即：完備而不冗余。選定特征參數(shù)的過程稱“為特征提取”。特征提取沒有統(tǒng)一的方法，事實上，特征提取是一個不同專業(yè)領(lǐng)域范疇內(nèi)的問題。正因為如此，模式識別應(yīng)用問題往往是跨專業(yè)領(lǐng)域的工程。傅京孫(1930202X)麗水縣城人。1954年畢業(yè)于臺灣大學(xué)電機系獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大學(xué)獲應(yīng)用科學(xué)碩士學(xué)位，1956年轉(zhuǎn)入美國伊利諾斯大學(xué)，獲博士學(xué)位。1961年起任美國普渡大學(xué)電機工程系助教、副教授、教授，加州大學(xué)柏克萊分校及斯坦福大學(xué)訪問教授。1971年起當(dāng)選為美國電機工程學(xué)會榮譽會員。同年得顧根漢基金研究獎助金。1975年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)概率論，創(chuàng)立圖形識別科學(xué)，影

9、像處理及其在遙測、醫(yī)學(xué)方面的應(yīng)用，曾任第一屆國際圖形識別會議主席。1976年當(dāng)選為美國國家工程學(xué)院院士，獲得麥考艾科學(xué)貢獻獎。1977年獲得美國計算機學(xué)會杰出論文獎。1978年任臺灣“中央研究院”院士。2022-4-25第6頁模式類：特征參數(shù)選擇合理時，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；模式類：特征參數(shù)選擇合理時，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；模式識別所要做的事情，包含兩個方面：在不同類別樣本點集之間，尋找合理的分界面，或稱作“判別函數(shù)（Decision Function）” 因為判別函數(shù)來自于實際觀測數(shù)據(jù)，因此稱此階段為 “學(xué)習(xí)” 或 “訓(xùn)練” ；給定未知模式，判

10、斷該樣本所屬類別，稱為“工作”或“應(yīng)用”。 特征選擇的好壞是模式識別成敗的關(guān)鍵，但如何選擇“特征”，即，選擇什么物理量作為特征，是具體專業(yè)“領(lǐng)域”的問題，需要運用“領(lǐng)域”的專業(yè)知識來解決。 例如，語音識別，如何從自然語音中提取“特征”，是語音識別的專業(yè)問題；圖象識別，如何從CCD圖象獲取適當(dāng)?shù)奶卣鳎菆D象處理領(lǐng)域的問題，即使在圖象處理領(lǐng)域，不同應(yīng)用目的所取的特征也不同。 模式識別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要講到的有關(guān)智能方法，都只涉及到特征提取之后的工作。以上所說的 “學(xué)習(xí)” 或 “訓(xùn)練”，是根據(jù)若干已知樣本在空間找到合適的分類面。對于一個樣本Xi，用yi表示它所屬的類別

11、，例如，它屬于第k類。樣本已知，意思是Xi ， yi已知。這種“學(xué)習(xí)”又稱為“有監(jiān)督”學(xué)習(xí)，即，通過對已知樣本Xi ，yi的學(xué)習(xí)找到合理的判別函數(shù)。所謂“工作”，指的是給定類別未知的樣本Xi ，求yi 的值。Xi是對某個客觀對象觀測的結(jié)果，其取值無法事先限定。但類別yi的取值是離散的、有限的，是事先主觀規(guī)定的。2022-4-25第7頁 神經(jīng)元模型神經(jīng)元模型 神經(jīng)元的輸入： 所完成的運算為：式中：稱為神經(jīng)元的“權(quán)值矢量”；稱為神經(jīng)元的“功能函數(shù)”；稱為神經(jīng)元的“凈輸入”；稱為神經(jīng)元的“輸出”；稱為神經(jīng)元的“閾值”；2022-4-25第8頁 常用的神經(jīng)元功能函數(shù)類型常用的神經(jīng)元功能函數(shù)類型 線性函

12、數(shù)又稱為“恒同函數(shù)” 硬限幅函數(shù) S函數(shù)(Sigmoid) fs 取值于0,1之間。2022-4-25第9頁 前項人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)前項人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu) 前層的輸出作為后層的輸入； 各層的神經(jīng)元個數(shù)可以不同； 層數(shù)兩層以上，目前大多為3層； 輸入矢量X代表從客觀對象觀測得到的特征；輸出層包含一個或多個神經(jīng)元，用于表達更為復(fù)雜的運算結(jié)果； 同層神經(jīng)元不能連接，后層不能向前層反向連接； 連接強度（即，權(quán)值大小）可以為0，強度為0實際上就是沒有連接；2022-4-25第10頁 2.2 采用硬限幅函數(shù)時單個神經(jīng)元的分類功能采用硬限幅函數(shù)時單個神經(jīng)元的分類功能 線性可分性( Linear Se

13、parable )設(shè)有C0和C1兩類模式R0：C0類模式的樣本集；R1：C1類模式的樣本集；分類的第一步：在兩類樣本分布區(qū)域之間尋找一個分類函數(shù)（分類線、面）使得兩類樣本各處在一邊； 實現(xiàn)這一目標(biāo)的過程，稱為“學(xué)習(xí)”或“訓(xùn)練”，所用到的計算策略稱為“學(xué)習(xí)算法”；樣本集合R0和R1稱為學(xué)習(xí)樣本集合。分類的第二步：當(dāng)獲得了分類函數(shù) l 以后，就可以進入工作階段了。任給未知模式X，若它位于R0一側(cè)，則判定其為C0類；若它位于R1一側(cè)，則判定其為C1類；若它落在分類線l 上，則不可識別。 給定兩類C0和C1的學(xué)習(xí)樣本集合R0和R1，若存在線性分類函數(shù)（直線、平面、超平面）l，將兩類學(xué)習(xí)樣本無誤差地分開

14、，則稱該分類問題為“線性可分問題”。2022-4-25第11頁假設(shè)，二維分類問題的分類函數(shù)為 l：任給樣本 X = x1, x2 ，l 應(yīng)該滿足：令：則模式識別問題可以表達成：把 看作權(quán)值， 看作閾值，用一個神經(jīng)元來表示以上二維分類問題，則：10, ww任意輸入一個模式 X，若X屬于C0則 y = 1；若X屬于C1則 y = 0；其中：X = x1, x2是任意樣本，W=w0, w1是權(quán)值矢量。 WT.X = w0.x0 + w1.x1 =0 是直線的矢量方程，若W為單位矢量，即： w02 + w12 = 1 則 的意義如圖所示。2022-4-25第12頁 學(xué)習(xí)算法學(xué)習(xí)算法 將輸入矢量 X 和

15、權(quán)矢量 W 作如下擴張： 神經(jīng)元模型成為：NetfyxwNetNnnnh10XW(2-7) 學(xué)習(xí)的目的，就是要找到權(quán)矢量W。對于前面的例子，就是尋找能夠無誤差分開兩類樣本的直線參數(shù) w0, w1, 。 學(xué)習(xí)是針對給定的學(xué)習(xí)樣本集合進行的，不同的樣本集合可以得到不同的學(xué)習(xí)結(jié)果。對于兩類可分問題，能夠無誤差地分開學(xué)習(xí)樣本的結(jié)果都是正確的。2022-4-25第13頁設(shè)二維分類問題，有學(xué)習(xí)樣本：其中 訓(xùn)練樣本 k ；訓(xùn)練樣本的值；起初，我們隨意指定一個權(quán)矢量：這相當(dāng)于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個樣本X(k)，用y(k)表示得到的輸出，顯然y(k)不一定等于X(k)的實際類別值d(k)，

16、令：若 fh 為硬限幅函數(shù)， 則必有：(2-29)2022-4-25第14頁學(xué)習(xí)算法：為了找到正確的W，依次向神經(jīng)元輸入學(xué)習(xí)樣本X(k)，k = 0, 1, 2, ，并且依照誤差e (k)的正負來修正W ：式中a 稱為“步幅”，用來控制每次調(diào)整的步長。如此不斷重復(fù)，W(k)隨著迭代次數(shù)k的增加，逐漸趨于正確答案。( 2-7 ) 若輸出y (k)與樣本類別值d (k)相同，即， 則: W(k+1)=W(k)，不調(diào)整W。 0ke 0ke 若輸出y(k)與樣本類別值d (k)不同，即， 則: W 根據(jù) e (k)的正負被調(diào)整； kkkWkWX)(1ea2022-4-25第15頁算法的幾何原理：算法的

17、幾何原理：為直觀起見，設(shè)：理想分類線過原點，即： ，閾值 為0。01100 xwxw訓(xùn)練樣本：權(quán)值矢量：由直線方程可知，W(k)是直線 l 的法線 ，即: 若，X恰好位于 l 上，則： 若，Xa位于 l 上方，則： 若，Xb位于 l 下方，則：2022-4-25第16頁假設(shè)已經(jīng)輸入了k個樣本，運行到了第 k 步，當(dāng)前的權(quán)值W(k)。假設(shè)輸入 X(k) 得到y(tǒng)(k)=1，但給定的 X(k)屬于C1類，即，d(k) = 0 ，則：于是，有：可見，分類線 l 得到了合理的調(diào)整。再假設(shè)，接下來輸入的X(k+1)屬于 C0類，即d(k) = 1，被錯分為C1類，即， 由X(k+1) 和W(k+1)計算得

18、到 y(k+1)=0 ：于是，有：錯把 C1 當(dāng) C0 ;2022-4-25第17頁 2.3 線性函數(shù)神經(jīng)元的最小二乘分類算法線性函數(shù)神經(jīng)元的最小二乘分類算法 線性不可分 在誤差最小的前提下，尋找分類函數(shù)，給定樣本集：其中 2022-4-25第18頁采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：權(quán)值矢量：神經(jīng)元完成的運算為：判別規(guī)則：注意到，理想值為： 對于權(quán)矢量W的某個具體取值，其誤差定義為：學(xué)習(xí)的目的是，針對所有學(xué)習(xí)樣本，尋找 x最小的W取值，它即為誤差最小的分類函數(shù)。(2-10)2022-4-25第19頁設(shè)學(xué)習(xí)樣本集設(shè)學(xué)習(xí)樣本集X0,d0)，(X1,d1)，(XK-1,dK-1)， 則則 x

19、x 的估計為：的估計為：以 x 最小為目標(biāo)的優(yōu)化過程，統(tǒng)稱為“最小二乘法( Least Mean Square )”。 顯然，樣本的分布給定后 x 是權(quán)矢量W的函數(shù)，即： x = x (W)； 首先需要證明，存在W*使得x min= x (W*) 成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：(2-11)代入(2-10)得到：(2-12)2022-4-25第20頁用下列符號代表式中一些參量：用下列符號代表式中一些參量： 為了簡化，我們考慮二維并且閾值 = 0 的情況，有：(2-13)(2-14)顯然，R是隨機矢量X的相關(guān)矩陣，它是一個對稱矩陣，且正定。將以上符號代入(2-12)，得到：(2

20、-15)2022-4-25第21頁 顯然，若存W*在 使得 x min= x (W*) 成立。并且，在W*點上x關(guān)于W的所有元素w0, w1, (二維情況下只有w 0和w 1)的偏導(dǎo)數(shù)都為0，或者，說x關(guān)于矢量W的梯度在W*點為零矢量。即，對(2-15)求梯度得到： (2-16)或用多元函數(shù)微分求梯度，重寫誤差公式：2022-4-25第22頁令：注意到，R是正定的，它的逆存在，于是，得到：(2-17)代回(2.15)式可以得到最小誤差平方和： (2-18)命題得證，并且找到了最佳的W：解(2-17)式即可得到W*。但這還不是我們想要的學(xué)習(xí)算法，為了實現(xiàn)自適應(yīng)學(xué)習(xí)，必須找到求解W*的迭代算法。2022-4-25第23頁 LMS學(xué)習(xí)問題的最陡梯度算法學(xué)習(xí)問題的最陡梯度算法 k表示迭代學(xué)習(xí)過程的序號； p = 0, 1, 2, 表示樣本序號，Xp(k)表示當(dāng)前一輪迭代時的第p個輸入的學(xué)習(xí)樣本，即，第k步的第p個樣本。 定義誤差平方和為：(2-38)當(dāng)兩類樣本的分布不變時（統(tǒng)計意義上），J(k)是W的函數(shù)。LMS學(xué)習(xí)的最陡梯度法就是以J(k)為目標(biāo)函數(shù)，尋找使得J(k)最小的權(quán)值矢量W。 W(k)表示迭代學(xué)習(xí)第k步時的權(quán)值矢量，dp(k)和yp(k)分別為輸入學(xué)習(xí)樣本Xp(k) 的實際類別值(dp取 +1或 1 )和當(dāng)前神經(jīng)元的輸出(-1 yp 0