第2節(jié)-前向多層人工神經(jīng)網(wǎng)絡(luò)01

1、2022-4-7第1頁第二章第二章 前向多層人工神經(jīng)網(wǎng)絡(luò)前向多層人工神經(jīng)網(wǎng)絡(luò) 2.1 概概 述述 ANN的主要功能之一的主要功能之一 模式識(shí)別模式識(shí)別 ( Pattern Recognition ) 模式識(shí)別是人類的一項(xiàng)基本智能行為，在日常生活中，我們幾乎模式識(shí)別是人類的一項(xiàng)基本智能行為，在日常生活中，我們幾乎時(shí)刻在進(jìn)行著時(shí)刻在進(jìn)行著“模式識(shí)別模式識(shí)別”。模式：模式： 廣義地說，存在于時(shí)間和空間中可觀察的事物，如果可以區(qū)別它們是廣義地說，存在于時(shí)間和空間中可觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱之為模式；否相同或相似，都可以稱之為模式； 狹義地說，模式是通過對具體的個(gè)別事物進(jìn)行觀

2、測所得到的具有時(shí)間和狹義地說，模式是通過對具體的個(gè)別事物進(jìn)行觀測所得到的具有時(shí)間和空間分布的信息；空間分布的信息； 模式類：模式類：把模式所屬的類別或同一類中模式的總體稱為模式類把模式所屬的類別或同一類中模式的總體稱為模式類( (或簡稱為類或簡稱為類);); 模式識(shí)別：模式識(shí)別：在一定量度或觀測基礎(chǔ)上把待識(shí)模式劃分到各自的模式類中去在一定量度或觀測基礎(chǔ)上把待識(shí)模式劃分到各自的模式類中去的過程叫作模式識(shí)別；的過程叫作模式識(shí)別； 模式識(shí)別模式識(shí)別 對表征事物或現(xiàn)象的各種形式的（數(shù)值的，文字的和邏對表征事物或現(xiàn)象的各種形式的（數(shù)值的，文字的和邏輯關(guān)系的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨

3、認(rèn)、分類輯關(guān)系的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。 買西瓜：西瓜可分為買西瓜：西瓜可分為生生、熟熟兩類，此時(shí)，研究的范疇是兩類，此時(shí)，研究的范疇是“西瓜西瓜”，在此范疇，在此范疇上定義了上定義了兩類兩類模式：模式：熟瓜和生瓜熟瓜和生瓜；種西瓜：西瓜分種西瓜：西瓜分早熟品種、晚熟品種早熟品種、晚熟品種兩類，即定義了兩類，即定義了兩類兩類模式：模式：早熟和晚熟早熟和晚熟；河北省早熟品種分類：河北省常見品種有河北省早熟品種分類：河北省常見品種有“新紅寶新紅寶”、“蜜梅蜜梅”、“京

4、欣京欣”、“冀早冀早2號(hào)號(hào)”等；此時(shí)，研究范疇是等；此時(shí)，研究范疇是“河北常見早熟西瓜品種河北常見早熟西瓜品種”，在此范疇，在此范疇上定義了多類模式：上定義了多類模式：新紅寶、蜜梅、京欣、冀早新紅寶、蜜梅、京欣、冀早2號(hào)號(hào)等等等等買西瓜：買西瓜：兩類模式分類問題，通過兩類模式分類問題，通過聲音聲音的的頻率頻率x1和聲音持續(xù)時(shí)間和聲音持續(xù)時(shí)間長度長度x2來判來判斷瓜的生熟。對編號(hào)為斷瓜的生熟。對編號(hào)為 i 的瓜進(jìn)行敲擊測試，得到矢量元素的瓜進(jìn)行敲擊測試，得到矢量元素 Xi=(x1i，x2i) T ，對對N個(gè)有生有熟的瓜進(jìn)行實(shí)驗(yàn)可以得到個(gè)有生有熟的瓜進(jìn)行實(shí)驗(yàn)可以得到N個(gè)數(shù)據(jù)：個(gè)數(shù)據(jù)：X=X1,X2

5、,X3,XN ，根，根據(jù)瓜的生熟可以將據(jù)瓜的生熟可以將X中的元素劃分為兩類，一類對應(yīng)于中的元素劃分為兩類，一類對應(yīng)于生瓜生瓜一類對應(yīng)于一類對應(yīng)于熟瓜熟瓜。于是，于是，模式模式其實(shí)就是具有其實(shí)就是具有特定性質(zhì)的矢量特定性質(zhì)的矢量/數(shù)據(jù)數(shù)據(jù)。用。用C1代表生瓜類，代表生瓜類，C2代表代表熟瓜類，則熟瓜類，則X中的任意一個(gè)元素中的任意一個(gè)元素Xn必然滿足必然滿足: Xn屬于屬于C1或者或者Xn屬于屬于C2。2022-4-7第2頁 模式識(shí)別，舉例：水果分級(jí)系統(tǒng)。模式識(shí)別，舉例：水果分級(jí)系統(tǒng)。水果品質(zhì)參數(shù)：重量、大小、比重、果形、顏色等水果品質(zhì)參數(shù)：重量、大小、比重、果形、顏色等特征矢量特征矢量：X =

6、 x1, x2, x3, x4, x5T特征空間特征空間：用參數(shù)張成。用參數(shù)張成。模式模式：每個(gè)蘋果為一個(gè)模式，其特征矢量每個(gè)蘋果為一個(gè)模式，其特征矢量 為特征空間中的一個(gè)點(diǎn)；為特征空間中的一個(gè)點(diǎn)；模式類模式類：一個(gè)級(jí)別為一個(gè)類，一類模式分一個(gè)級(jí)別為一個(gè)類，一類模式分 布在特征空間的某個(gè)特定區(qū)域；布在特征空間的某個(gè)特定區(qū)域；模式識(shí)別模式識(shí)別：找出各類之間的分界面。找出各類之間的分界面。2022-4-7第3頁 ANN的主要功能之二的主要功能之二 聯(lián)想聯(lián)想 ( Associative Memory )聯(lián)想的心理學(xué)定義：聯(lián)想的心理學(xué)定義： 當(dāng)一個(gè)事物的表象被激活時(shí)，也就是說該表象所包含的若干屬性單元

7、同當(dāng)一個(gè)事物的表象被激活時(shí)，也就是說該表象所包含的若干屬性單元同時(shí)有效時(shí)，我們的注意力焦點(diǎn)就集中在這個(gè)表象上，如果對該表象的處理使時(shí)有效時(shí)，我們的注意力焦點(diǎn)就集中在這個(gè)表象上，如果對該表象的處理使的表象被否決時(shí)，也就是說由于一些屬性單元的失效（或被抑制，或處于高的表象被否決時(shí)，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻），導(dǎo)致該表象無法成立的時(shí)候，剩余的屬性單元或許可以構(gòu)成另一種事阻），導(dǎo)致該表象無法成立的時(shí)候，剩余的屬性單元或許可以構(gòu)成另一種事物的表象，或許還需要結(jié)合那些被激活了的新的屬性（或是由外界事物具有物的表象，或許還需要結(jié)合那些被激活了的新的屬性（或是由外界事物具有的新的屬

8、性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活）。的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活）。 例如：看到檸檬，感覺到嘴里口水增多。因?yàn)?，由檸檬?lián)想到了酸味。例如：看到檸檬，感覺到嘴里口水增多。因?yàn)椋蓹幟事?lián)想到了酸味。 字符識(shí)別：字符識(shí)別：2022-4-7第4頁 再論模式識(shí)別：再論模式識(shí)別：對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和輯的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程稱為解釋的過程稱為“模式識(shí)別模式識(shí)別”，是信息科學(xué)和人

9、工智能的重要組成部分。，是信息科學(xué)和人工智能的重要組成部分。 v 人在分辨不同類別的事物時(shí)，抽取了人在分辨不同類別的事物時(shí)，抽取了同類事物之間的相同點(diǎn)同類事物之間的相同點(diǎn)以及以及不不同類事物之間的不同點(diǎn)同類事物之間的不同點(diǎn)；字符識(shí)別字符識(shí)別：例如漢字例如漢字“中中”可以有各種寫法，但都屬于同一類別?？梢杂懈鞣N寫法，但都屬于同一類別。更為重要的是，即使對于某個(gè)更為重要的是，即使對于某個(gè)“中中”的具體寫法從未見過，也能把的具體寫法從未見過，也能把它分到它分到“中中”這一類別。這一類別。識(shí)別目標(biāo)識(shí)別目標(biāo)：人們走向一個(gè)目的地的時(shí)候，總是在不斷的觀察周圍的人們走向一個(gè)目的地的時(shí)候，總是在不斷的觀察周圍的

10、景物，判斷所選擇的路線是否正確。實(shí)際上，是對眼睛看到的圖象景物，判斷所選擇的路線是否正確。實(shí)際上，是對眼睛看到的圖象做做 “正確正確”和和“不正確不正確”的分類判斷。的分類判斷。人腦的這種思維能力就構(gòu)成了人腦的這種思維能力就構(gòu)成了“模式模式”的概念和的概念和“模式識(shí)別模式識(shí)別”的過的過程。程。 模式是和類別（集合）的概念分不開的，只要認(rèn)識(shí)這個(gè)集合的有限數(shù)量的事模式是和類別（集合）的概念分不開的，只要認(rèn)識(shí)這個(gè)集合的有限數(shù)量的事物或現(xiàn)象，就可以識(shí)別這個(gè)集合中的任意多的事物或現(xiàn)象。為了強(qiáng)調(diào)能從具物或現(xiàn)象，就可以識(shí)別這個(gè)集合中的任意多的事物或現(xiàn)象。為了強(qiáng)調(diào)能從具體的事物或現(xiàn)象中推斷出總體，我們就把個(gè)別

11、的事物或現(xiàn)象稱作體的事物或現(xiàn)象中推斷出總體，我們就把個(gè)別的事物或現(xiàn)象稱作“模式模式”，而把總體稱作類別或范疇。而把總體稱作類別或范疇。特征矢量特征矢量：最簡單的情況是用一組稱為最簡單的情況是用一組稱為“特征參數(shù)特征參數(shù)”的數(shù)值信息表示一個(gè)客觀的數(shù)值信息表示一個(gè)客觀對象。例如，水果品質(zhì)分類中用到的大小、重量、比重、果型、顏色，其取值對象。例如，水果品質(zhì)分類中用到的大小、重量、比重、果型、顏色，其取值均為數(shù)值。表示成均為數(shù)值。表示成特征矢量特征矢量形式：形式：Xi = xi1, xi2, xi3, xi4, xi5 ；樣本樣本：對一個(gè)具體對象進(jìn)行觀測得到的一個(gè)對一個(gè)具體對象進(jìn)行觀測得到的一個(gè)特征矢

12、量特征矢量稱為一個(gè)稱為一個(gè)“樣本樣本”， Xi 稱稱為第為第i個(gè)樣本，或者第個(gè)樣本，或者第i個(gè)樣本的特征矢量。個(gè)樣本的特征矢量。特征空間特征空間：即特征矢量張成的空間，每個(gè)樣本對應(yīng)于特征空間上的一點(diǎn)。即特征矢量張成的空間，每個(gè)樣本對應(yīng)于特征空間上的一點(diǎn)。針對一個(gè)具體的模式識(shí)別問題，選定特征參數(shù)非針對一個(gè)具體的模式識(shí)別問題，選定特征參數(shù)非常重要，關(guān)乎模式識(shí)別的成敗。著名國際大師常重要，關(guān)乎模式識(shí)別的成敗。著名國際大師傅傅京孫京孫教授曾說過模式識(shí)別問題的關(guān)鍵是特征提取。教授曾說過模式識(shí)別問題的關(guān)鍵是特征提取。特征參數(shù)應(yīng)能區(qū)分所定義的模式，同時(shí)有沒有過特征參數(shù)應(yīng)能區(qū)分所定義的模式，同時(shí)有沒有過多的重

13、復(fù)，即：完備而不冗余。選定特征參數(shù)的多的重復(fù)，即：完備而不冗余。選定特征參數(shù)的過程稱過程稱“為特征提取為特征提取”。特征提取沒有統(tǒng)一的方。特征提取沒有統(tǒng)一的方法，事實(shí)上，特征提取是一個(gè)不同專業(yè)領(lǐng)域范疇法，事實(shí)上，特征提取是一個(gè)不同專業(yè)領(lǐng)域范疇內(nèi)的問題。正因?yàn)槿绱?，模式識(shí)別應(yīng)用問題往往內(nèi)的問題。正因?yàn)槿绱?，模式識(shí)別應(yīng)用問題往往是跨專業(yè)領(lǐng)域的工程。是跨專業(yè)領(lǐng)域的工程。傅京孫傅京孫(19301985)麗水縣城人。麗水縣城人。1954年畢業(yè)于臺(tái)灣年畢業(yè)于臺(tái)灣大學(xué)大學(xué)電機(jī)系電機(jī)系獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大學(xué)獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大學(xué)獲獲應(yīng)用科學(xué)應(yīng)用科學(xué)碩士學(xué)位，碩士學(xué)位，1956年轉(zhuǎn)入美國

14、伊利諾斯大年轉(zhuǎn)入美國伊利諾斯大學(xué)，獲博士學(xué)位。學(xué)，獲博士學(xué)位。1961年起任美國普渡大學(xué)年起任美國普渡大學(xué)電機(jī)工電機(jī)工程程系助教、副教授、教授，加州大學(xué)柏克萊分校及系助教、副教授、教授，加州大學(xué)柏克萊分校及斯坦福大學(xué)訪問教授。斯坦福大學(xué)訪問教授。1971年起當(dāng)選為美國年起當(dāng)選為美國電機(jī)工電機(jī)工程學(xué)會(huì)程學(xué)會(huì)榮譽(yù)會(huì)員。同年得顧根漢基金研究獎(jiǎng)助金。榮譽(yù)會(huì)員。同年得顧根漢基金研究獎(jiǎng)助金。1975年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)概率論概率論，創(chuàng)立，創(chuàng)立圖形識(shí)別科學(xué)圖形識(shí)別科學(xué)，影像處理影像處理及其在及其在遙測、遙測、醫(yī)學(xué)方面的應(yīng)用醫(yī)學(xué)方面的應(yīng)用，曾任第一屆

15、國際，曾任第一屆國際圖形識(shí)別會(huì)議主圖形識(shí)別會(huì)議主席席。1976年當(dāng)選為美國國家工程學(xué)院院士，獲得麥年當(dāng)選為美國國家工程學(xué)院院士，獲得麥考艾科學(xué)貢獻(xiàn)獎(jiǎng)?？及茖W(xué)貢獻(xiàn)獎(jiǎng)。1977年獲得美國年獲得美國計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)學(xué)會(huì)杰出杰出論文獎(jiǎng)。論文獎(jiǎng)。1978年任臺(tái)灣年任臺(tái)灣“中央研究院中央研究院”院士。院士。2022-4-7第5頁 模式類：模式類：特征參數(shù)選擇合理時(shí)，不同類的模式，在特征空間中占據(jù)不特征參數(shù)選擇合理時(shí)，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；同的分布區(qū)域；模式識(shí)別所要做的事情，包含兩個(gè)方面：模式識(shí)別所要做的事情，包含兩個(gè)方面：1.在不同類別樣本點(diǎn)集之間，尋找合理的分界面，或稱作在不同

16、類別樣本點(diǎn)集之間，尋找合理的分界面，或稱作“判別函數(shù)判別函數(shù)（Decision Function）” 因?yàn)榕袆e函數(shù)來自于實(shí)際觀測數(shù)據(jù)，因?yàn)榕袆e函數(shù)來自于實(shí)際觀測數(shù)據(jù)，因此稱此階段為因此稱此階段為 “學(xué)習(xí)學(xué)習(xí)” 或或 “訓(xùn)練訓(xùn)練” ；2.給定未知模式，判斷該樣本所屬類別，稱為給定未知模式，判斷該樣本所屬類別，稱為“工作工作”或或“應(yīng)用應(yīng)用”。 特征選擇的好壞是模式識(shí)別成敗的關(guān)鍵，但如何選擇特征選擇的好壞是模式識(shí)別成敗的關(guān)鍵，但如何選擇“特征特征”，即，即，選擇什么物理量作為特征，是具體專業(yè)選擇什么物理量作為特征，是具體專業(yè)“領(lǐng)域領(lǐng)域”的問題，需要運(yùn)用的問題，需要運(yùn)用“領(lǐng)領(lǐng)域域”的專業(yè)知識(shí)來解決。

17、的專業(yè)知識(shí)來解決。 例如，語音識(shí)別，如何從自然語音中提取例如，語音識(shí)別，如何從自然語音中提取“特征特征”，是語音識(shí)別的，是語音識(shí)別的專業(yè)問題；圖象識(shí)別，如何從專業(yè)問題；圖象識(shí)別，如何從CCD圖象獲取適當(dāng)?shù)奶卣鳎菆D象處理圖象獲取適當(dāng)?shù)奶卣?，是圖象處理領(lǐng)域的問題，即使在圖象處理領(lǐng)域，不同應(yīng)用目的所取的特征也不同。領(lǐng)域的問題，即使在圖象處理領(lǐng)域，不同應(yīng)用目的所取的特征也不同。 模式識(shí)別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要模式識(shí)別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要講到的有關(guān)智能方法，都只涉及到特征提取之后的工作。講到的有關(guān)智能方法，都只涉及到特征提取之后的工作。以上所說

18、的以上所說的 “學(xué)習(xí)學(xué)習(xí)” 或或 “訓(xùn)練訓(xùn)練”，是根據(jù)若干已知樣本在空間找到合，是根據(jù)若干已知樣本在空間找到合適的分類面。對于一個(gè)樣本適的分類面。對于一個(gè)樣本Xi，用用yi表示它所屬的類別，例如，它屬于表示它所屬的類別，例如，它屬于第第k類類。樣本。樣本已知已知，意思是，意思是 Xi ， yi 已知。這種已知。這種“學(xué)習(xí)學(xué)習(xí)”又稱為又稱為“有監(jiān)有監(jiān)督督”學(xué)習(xí)，即學(xué)習(xí)，即，通過對已知樣本，通過對已知樣本 Xi ，yi 的學(xué)習(xí)找到合理的判別函數(shù)。的學(xué)習(xí)找到合理的判別函數(shù)。所謂所謂“工作工作”，指的是給定類別未知的，指的是給定類別未知的樣本樣本Xi ，求，求yi 的值。的值。Xi是對某個(gè)是對某個(gè)客觀

19、對象觀測的結(jié)果，客觀對象觀測的結(jié)果，其取值無法事先限定。其取值無法事先限定。但類別但類別yi的取值的取值是離散的、是離散的、有限的有限的，是事先，是事先主觀規(guī)定的。主觀規(guī)定的。2022-4-7第6頁神經(jīng)元模型神經(jīng)元模型 神經(jīng)元的輸入：神經(jīng)元的輸入：110NxxxX 所完成的運(yùn)算為：所完成的運(yùn)算為：NetfyxwNetiii1 -N0TXW式中：式中：110NwwwW稱為神經(jīng)元的稱為神經(jīng)元的“權(quán)值矢量權(quán)值矢量”； f稱為神經(jīng)元的稱為神經(jīng)元的“功能函數(shù)功能函數(shù)”；Net稱為神經(jīng)元的稱為神經(jīng)元的“凈輸入凈輸入”；y稱為神經(jīng)元的稱為神經(jīng)元的“輸出輸出”；稱為神經(jīng)元的稱為神經(jīng)元的“閾值閾值”；2022-

20、4-7第7頁常用的神經(jīng)元功能函數(shù)類型常用的神經(jīng)元功能函數(shù)類型 線性函數(shù)線性函數(shù) uuf又稱為又稱為“恒同函數(shù)恒同函數(shù)” 硬限幅函數(shù)硬限幅函數(shù) 0, 00, 1huuufaueuf11s S S函數(shù)函數(shù)(Sigmoid) fs 取值于取值于0,1之間。之間。aueuf11s2022-4-7第8頁前項(xiàng)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)前項(xiàng)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 前層的輸出作為后層的輸入；前層的輸出作為后層的輸入； 各層的神經(jīng)元個(gè)數(shù)可以不同；各層的神經(jīng)元個(gè)數(shù)可以不同； 層數(shù)兩層以上，目前大多為層數(shù)兩層以上，目前大多為3層；層； 輸入矢量輸入矢量X代表從客觀對象觀測代表從客觀對象觀測得到的特征；輸出層包含一個(gè)或多

21、得到的特征；輸出層包含一個(gè)或多個(gè)神經(jīng)元，用于表達(dá)更為復(fù)雜的運(yùn)個(gè)神經(jīng)元，用于表達(dá)更為復(fù)雜的運(yùn)算結(jié)果；算結(jié)果； 同層神經(jīng)元不能連接，后層不同層神經(jīng)元不能連接，后層不能向前層反向連接；能向前層反向連接； 連接強(qiáng)度（即，權(quán)值大?。┛蛇B接強(qiáng)度（即，權(quán)值大?。┛梢詾橐詾?，強(qiáng)度為，強(qiáng)度為0實(shí)際上就是沒有實(shí)際上就是沒有連接；連接；2022-4-7第9頁2.2 采用硬限幅函數(shù)時(shí)單個(gè)神經(jīng)元的分類功能采用硬限幅函數(shù)時(shí)單個(gè)神經(jīng)元的分類功能 線性可分性線性可分性( Linear Separable )設(shè)有設(shè)有C0和和C1兩類模式兩類模式R0：C0類模式的樣本集；類模式的樣本集；R1：C1類模式的樣本集；類模式的樣本集

22、；分類的第一步分類的第一步：在兩類樣本分布區(qū)域在兩類樣本分布區(qū)域之間尋找一個(gè)分類函數(shù)（分類線、面）之間尋找一個(gè)分類函數(shù)（分類線、面）使得兩類樣本各處在一邊；使得兩類樣本各處在一邊； 實(shí)現(xiàn)這一目標(biāo)的過程，稱為實(shí)現(xiàn)這一目標(biāo)的過程，稱為“學(xué)習(xí)學(xué)習(xí)”或或“訓(xùn)練訓(xùn)練”，所用到的計(jì)算策所用到的計(jì)算策略稱為略稱為“學(xué)習(xí)算法學(xué)習(xí)算法”；樣本集合樣本集合R R0 0和和R R1 1稱為稱為學(xué)習(xí)樣本學(xué)習(xí)樣本集合。集合。分類的第二步分類的第二步：當(dāng)獲得了分類函數(shù)當(dāng)獲得了分類函數(shù) l 以后，就可以進(jìn)入工作階段了。任給以后，就可以進(jìn)入工作階段了。任給未知模式未知模式X，若它位于，若它位于R0一側(cè)，則判定其為一側(cè)，則判定

23、其為C0類；若它位于類；若它位于R1一側(cè)，則一側(cè)，則判定其為判定其為C1類；若它落在分類線類；若它落在分類線l 上，則不可識(shí)別。上，則不可識(shí)別。 給定兩類給定兩類C0和和C1的學(xué)習(xí)樣本集合的學(xué)習(xí)樣本集合R0和和R1，若存在線性分類函數(shù)（直線、，若存在線性分類函數(shù)（直線、平面、超平面）平面、超平面）l，將兩類學(xué)習(xí)樣本無，將兩類學(xué)習(xí)樣本無誤差地分開，則稱該分類問題為誤差地分開，則稱該分類問題為“線線性可分問題性可分問題”。2022-4-7第10頁假設(shè)，二維分類問題的分類函數(shù)為假設(shè)，二維分類問題的分類函數(shù)為 l：01100 xwxwXWT任給樣本任給樣本 X = x1, x2 ，l 應(yīng)該滿足：應(yīng)該滿

24、足：111000110000CXxwxwCXxwxw令：令：1100 xwxwNet則模式識(shí)別則模式識(shí)別問題可以表達(dá)成：問題可以表達(dá)成：1000CXNetCXNet把把 看作權(quán)值，看作權(quán)值， 看作閾值，用看作閾值，用一個(gè)神經(jīng)元來表示以上二維分類問題，則：一個(gè)神經(jīng)元來表示以上二維分類問題，則：10, wwNetfyxwxwNeth1100任意輸入一個(gè)模式任意輸入一個(gè)模式 X，若若X屬于屬于C0則則 y = 1；若若X屬于屬于C1則則 y = 0；01110h010hRXRXiiiiiixwfyxwfy其中：其中：X = x1, x2是任意樣本，是任意樣本，W=w0, w1是權(quán)值矢量。是權(quán)值矢量。

25、 WT.X = w0.x0 + w1.x1 =0 是直線的矢量方程，是直線的矢量方程，若若W為單位矢量，即：為單位矢量，即： w02 + w12 = 1 則則 的意義如圖所示。的意義如圖所示。2022-4-7第11頁學(xué)習(xí)算法學(xué)習(xí)算法 將輸入矢量將輸入矢量 X X 和權(quán)矢量和權(quán)矢量 WW 作如下擴(kuò)張：作如下擴(kuò)張： ,1,1N101N10wwwxxxWX 神經(jīng)元模型成為：神經(jīng)元模型成為：NetfyxwNetNnnnh10XW(2-7) 學(xué)習(xí)的目的，就是要找到權(quán)矢量學(xué)習(xí)的目的，就是要找到權(quán)矢量W。對于前面的例子，就是尋找能夠無。對于前面的例子，就是尋找能夠無誤差分開兩類樣本的直線參數(shù)誤差分開兩類樣本

26、的直線參數(shù) w0, w1, 。 學(xué)習(xí)是針對給定的學(xué)習(xí)樣本集合進(jìn)行的，不同的樣本集合可以得到不同學(xué)習(xí)是針對給定的學(xué)習(xí)樣本集合進(jìn)行的，不同的樣本集合可以得到不同的學(xué)習(xí)結(jié)果。對于兩類可分問題，能夠無誤差地分開學(xué)習(xí)樣本的結(jié)果都的學(xué)習(xí)結(jié)果。對于兩類可分問題，能夠無誤差地分開學(xué)習(xí)樣本的結(jié)果都是正確的。是正確的。2022-4-7第12頁設(shè)二維分類問題，有學(xué)習(xí)樣本：設(shè)二維分類問題，有學(xué)習(xí)樣本： kddk00XX其中其中 1010011CkCkkdkxkxkXXX訓(xùn)練樣本訓(xùn)練樣本 k ；訓(xùn)練樣本的值；訓(xùn)練樣本的值；起初，我們隨意指定一個(gè)權(quán)矢量：起初，我們隨意指定一個(gè)權(quán)矢量： 000010wwW這相當(dāng)于在特征空間

27、上隨意畫了一條線。向神經(jīng)元這相當(dāng)于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個(gè)樣本輸入一個(gè)樣本X(k)，用，用y(k)表示得到的輸出，顯然表示得到的輸出，顯然y(k)不一定等于不一定等于X(k)的實(shí)際類別值的實(shí)際類別值d(k)，令：，令： kykd若若 fh 為硬限幅函數(shù)，為硬限幅函數(shù)， 則必有：則必有：0110110CCCC判為錯(cuò)將判為錯(cuò)將輸出正確(2-29)2022-4-7第13頁學(xué)習(xí)算法學(xué)習(xí)算法：為了找到正確的為了找到正確的W，依次向神經(jīng)元輸入學(xué)習(xí)樣本，依次向神經(jīng)元輸入學(xué)習(xí)樣本X(k)，k = 0, 1, 2, ，并且依照誤差，并且依照誤差 (k)的正負(fù)來修正的正負(fù)來修正W ：式中式中a

28、 a 稱為稱為“步幅步幅”，用來控制每次調(diào)整的步長。如此不斷重，用來控制每次調(diào)整的步長。如此不斷重復(fù)，復(fù)，W(k)隨著迭代次數(shù)隨著迭代次數(shù)k的增加，逐漸趨于正確答案。的增加，逐漸趨于正確答案。任意設(shè)置)0(W( 2-7 ) 若輸出若輸出y (k)與樣本類別值與樣本類別值d (k)相同，即，相同，即， 則則: W(k+1)=W(k)，不調(diào)整不調(diào)整W。 0k 0k 若輸出若輸出y(k)與樣本類別值與樣本類別值d (k)不同，即，不同，即， 則則: W 根據(jù)根據(jù) (k)的正負(fù)被調(diào)整；的正負(fù)被調(diào)整； kkkWkWX)(1a kkykdkkXWWa1 kkXWa，210k2022-4-7第14頁算法的幾

29、何原理：算法的幾何原理：為直觀起見，設(shè)：理想分類線過原點(diǎn)，即：為直觀起見，設(shè)：理想分類線過原點(diǎn)，即： ，閾值，閾值 為為0。01100 xwxw訓(xùn)練樣本：訓(xùn)練樣本： 101001CkCkkdkxkxkXXX權(quán)值矢量：權(quán)值矢量： kwkwk10W由直線方程可知，由直線方程可知，W(k)是直線是直線 l 的法線的法線 ，即，即:0 :1100TxwxwlXW 若，若，X恰好位于恰好位于 l 上，則：上，則：01100TxwxwXW 若，若，Xa位于位于 l 上方，則：上方，則：; 01100TaaaxwxwXW 1ky 若，若，Xb位于位于 l 下方，則：下方，則：; 01100TbbbxwxwX

30、W 0ky2022-4-7第15頁假設(shè)已經(jīng)輸入了假設(shè)已經(jīng)輸入了k個(gè)樣本，運(yùn)行到了第個(gè)樣本，運(yùn)行到了第 k 步，當(dāng)前的權(quán)值步，當(dāng)前的權(quán)值W(k)。假設(shè)。假設(shè)輸入輸入 X(k) 得到得到y(tǒng)(k)=1，但給定的，但給定的 X(k)屬于屬于C1類，即，類，即，d(k) = 0 ，則：則： 1kykd于是，有：于是，有： kkkkkXWXWWaa1可見，分類線可見，分類線 l 得到了合理的調(diào)整。得到了合理的調(diào)整。再假設(shè)，接下來輸入的再假設(shè)，接下來輸入的X(k+1)屬于屬于 C0類，即類，即d(k) = 1，被錯(cuò)分，被錯(cuò)分為為C1類，即，類，即， 由由X(k+1) 和和W(k+1)計(jì)算得到計(jì)算得到 y(k

31、+1)=0 ： 1kykd于是，有：于是，有：11112kkkkkXWXWWaa錯(cuò)把錯(cuò)把 C1 當(dāng)當(dāng) C0 ;2022-4-7第16頁2.3 線性函數(shù)神經(jīng)元的最小二乘分類算法線性函數(shù)神經(jīng)元的最小二乘分類算法 線性不可分線性不可分 在誤差最小的前提下，尋找分類函數(shù)，給定樣本集：在誤差最小的前提下，尋找分類函數(shù)，給定樣本集： kddk00XX其中其中 10110111CkCkkdkxkxkxkNXXX2022-4-7第17頁采用線性函數(shù)的神經(jīng)元，即：采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：輸入樣本矢量：110NxxX10NwwW權(quán)值矢量：權(quán)值矢量：神經(jīng)元完成的運(yùn)算為：神經(jīng)元完成的運(yùn)算為：TNnnn

32、xwyXW10判別規(guī)則：判別規(guī)則：10RXRX00y注意到，理想值為：注意到，理想值為：10RXRX11d 對于權(quán)矢量對于權(quán)矢量W的某個(gè)具體取值，其誤差定義為：的某個(gè)具體取值，其誤差定義為： 22ydEE學(xué)習(xí)的目的是，針對所有學(xué)習(xí)樣本，尋找學(xué)習(xí)的目的是，針對所有學(xué)習(xí)樣本，尋找 最小的最小的W取值，它即為誤差最小取值，它即為誤差最小的分類函數(shù)。的分類函數(shù)。(2-10)2022-4-7第18頁設(shè)學(xué)習(xí)樣本集設(shè)學(xué)習(xí)樣本集X0,d0)，(X1,d1)，(XK-1,dK-1)， 則則 的估計(jì)為：的估計(jì)為：1021KkkTkdKXW以以 最小為目標(biāo)的優(yōu)化過程，統(tǒng)稱為最小為目標(biāo)的優(yōu)化過程，統(tǒng)稱為“最小二乘法最

33、小二乘法( Least Mean Square )”。 顯然，樣本的分布給定后顯然，樣本的分布給定后 是權(quán)矢量是權(quán)矢量W的函數(shù)，即：的函數(shù)，即： = (W)； 首先需要證明，存在首先需要證明，存在W*使得使得 min= (W*) 成立。由于是線性函數(shù)，所成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：以，神經(jīng)元的輸出可以寫成：10TNnnnxwNetyWX(2-11)代入代入(2-10)得到：得到： TTT2TTT2TTT222222WXWXXWXWWXXWXWXWXWWXdEEdEddEddEdEydET(2-12)2022-4-7第19頁用下列符號(hào)代表式中一些參量：用下列符號(hào)代表式中一些

34、參量： 2dEXXRTEXPdE為了簡化，我們考慮二維并且閾值為了簡化，我們考慮二維并且閾值 = 0 的情況，有：的情況，有： 1110010021011020210110201010rrrrxExxExxExExxxxxxExxxxER(2-13)1010PPxdExdEP(2-14)顯然，顯然，R是隨機(jī)矢量是隨機(jī)矢量X的相關(guān)矩陣，它是一個(gè)的相關(guān)矩陣，它是一個(gè)對稱矩陣對稱矩陣，且，且正定正定。將以上符號(hào)代入將以上符號(hào)代入(2-12)，得到：，得到：TT2WPWRW(2-15)1100112101100020222PwPwrwrwwrw2022-4-7第20頁 顯然，顯然，若存若存W*在在 使

35、得使得 min= (W*) 成立。并且，在成立。并且，在W*點(diǎn)上點(diǎn)上 關(guān)于關(guān)于W的的所有元素所有元素w0, w1, ( (二維情況下只有二維情況下只有w 0和和w 1) )的偏導(dǎo)數(shù)都為的偏導(dǎo)數(shù)都為0，或者，說或者，說 關(guān)于矢量關(guān)于矢量W的梯度在的梯度在W*點(diǎn)為零矢量。即，對點(diǎn)為零矢量。即，對(2-15)求梯度得到：求梯度得到： PWRWPWRWWWW22210TTddddww(2-16)或用多元函數(shù)微分求梯度，重寫誤差公式：或用多元函數(shù)微分求梯度，重寫誤差公式：0011000110011210110002000222222PrwrwPwPwrwrwwrwww110011210110002022

36、2PwPwrwrwwrw1111010110011210110002011222222PrwrwPwPwrwrwwrwww2022-4-7第21頁令：令：022*PRWWWW注意到，注意到，R是正定的，它的逆存在，于是，得到：是正定的，它的逆存在，于是，得到：1*RPW(2-17)代回代回(2.15)式可以得到最小誤差平方和：式可以得到最小誤差平方和： T*T*T*T*2*minPWPWPWRWWWW(2-18)命題得證，并且找到了最佳的命題得證，并且找到了最佳的W：解解(2-17)式即可得到式即可得到W*。但這還不是我們。但這還不是我們想要的學(xué)習(xí)算法，為了實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)，必須找到求解想要的學(xué)

37、習(xí)算法，為了實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)，必須找到求解W*的迭代算法。的迭代算法。 PRW2222222222101110010010111010001100010PPrrrrwwPrwrwPrwrwww2022-4-7第22頁 LMS學(xué)習(xí)問題的最陡梯度算法學(xué)習(xí)問題的最陡梯度算法 k表示迭代學(xué)習(xí)過程的序號(hào)；表示迭代學(xué)習(xí)過程的序號(hào)； p = 0, 1, 2, 表示樣本序號(hào)，表示樣本序號(hào)，Xp(k)表示表示當(dāng)前一輪迭代時(shí)的第當(dāng)前一輪迭代時(shí)的第p個(gè)輸入的學(xué)習(xí)樣本，即，第個(gè)輸入的學(xué)習(xí)樣本，即，第k步的第步的第p個(gè)樣本。個(gè)樣本。 定義誤差平方和為：定義誤差平方和為： ppppppppkkkdkykdkk222)()(

38、XWJ(2-38)當(dāng)兩類樣本的分布不變時(shí)（統(tǒng)計(jì)意義上），當(dāng)兩類樣本的分布不變時(shí)（統(tǒng)計(jì)意義上），J(k)是是W的函數(shù)。的函數(shù)。LMS學(xué)習(xí)的最學(xué)習(xí)的最陡梯度法就是以陡梯度法就是以J(k)為目標(biāo)函數(shù)，尋找使得為目標(biāo)函數(shù)，尋找使得J(k)最小的權(quán)值矢量最小的權(quán)值矢量W。 W(k)表示迭代學(xué)習(xí)第表示迭代學(xué)習(xí)第k步時(shí)的權(quán)值矢量，步時(shí)的權(quán)值矢量，dp(k)和和yp(k)分別為輸入學(xué)習(xí)樣分別為輸入學(xué)習(xí)樣本本Xp(k) 的實(shí)際類別值的實(shí)際類別值(dp取取 +1或或 1 )和當(dāng)前神經(jīng)元的輸出和當(dāng)前神經(jīng)元的輸出(-1 yp 0，將此結(jié)果代入到，將此結(jié)果代入到(2-40)，得到：，得到：0)()(102iiwkkJJa此結(jié)