前向多層人工神經(jīng)網(wǎng)絡(luò)01ppt課件

1、2021-12-12第1頁第二章第二章 前向多層人工神經(jīng)網(wǎng)絡(luò)前向多層人工神經(jīng)網(wǎng)絡(luò) 2.1 2.1 概概 述述 ANN ANN的主要功能之一的主要功能之一 方式識別方式識別 ( Pattern ( Pattern Recognition )Recognition ) 方式識別是人類的一項根本智能行為，在日常生活中，方式識別是人類的一項根本智能行為，在日常生活中，我們幾乎時辰在進展著我們幾乎時辰在進展著“方式識別。方式識別。方式：方式： 廣義地說，存在于時間和空間中可察看的事物，假設(shè)可以區(qū)別它們能廣義地說，存在于時間和空間中可察看的事物，假設(shè)可以區(qū)別它們能否一樣或類似，都可以稱之為方式；否一樣或類

2、似，都可以稱之為方式； 狹義地說，方式是經(jīng)過對詳細的個別事物進展觀測所得到的具有時間和狹義地說，方式是經(jīng)過對詳細的個別事物進展觀測所得到的具有時間和空間分布的信息；空間分布的信息； 方式類：把方式所屬的類別或同一類中方式的總體稱為方式類方式類：把方式所屬的類別或同一類中方式的總體稱為方式類(或簡稱為類或簡稱為類); 方式識別：在一定量度或觀測根底上把待識方式劃分到各自的方式類中去方式識別：在一定量度或觀測根底上把待識方式劃分到各自的方式類中去的過程叫作方式識別；的過程叫作方式識別； 方式識別方式識別 對表征事物或景象的各種方式的數(shù)值的，文字的和邏對表征事物或景象的各種方式的數(shù)值的，文字的和邏輯

3、關(guān)系的信息進展處置和分析，以對事物或景象進展描畫、識別、分類輯關(guān)系的信息進展處置和分析，以對事物或景象進展描畫、識別、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。 買西瓜：西瓜可分為生、熟兩類，此時，研討的范疇是買西瓜：西瓜可分為生、熟兩類，此時，研討的范疇是“西瓜西瓜，在此范疇，在此范疇上定義了兩類方式：熟瓜和生瓜；上定義了兩類方式：熟瓜和生瓜；種西瓜：西瓜分早熟種類、晚熟種類兩類，即定義了兩類方式：早熟和晚熟；種西瓜：西瓜分早熟種類、晚熟種類兩類，即定義了兩類方式：早熟和晚熟；河北省早熟種類分類：河北省常見種類有河北省早熟種類分類

4、：河北省常見種類有“新紅寶新紅寶、“蜜梅蜜梅、“京欣京欣、“冀早冀早2號號等；此時，研討范疇是等；此時，研討范疇是“河北常見早熟西瓜種類河北常見早熟西瓜種類，在此范疇，在此范疇上定義了多類方式：新紅寶、蜜梅、京欣、冀早上定義了多類方式：新紅寶、蜜梅、京欣、冀早2號等等號等等買西瓜：兩類方式分類問題，經(jīng)過聲音的頻率買西瓜：兩類方式分類問題，經(jīng)過聲音的頻率x1和聲音繼續(xù)時間長度和聲音繼續(xù)時間長度x2來判來判別瓜的生熟。對編號為別瓜的生熟。對編號為 i 的瓜進展敲擊測試，得到矢量元素的瓜進展敲擊測試，得到矢量元素 Xi=(x1i，x2i) T ，對對N個有生有熟的瓜進展實驗可以得到個有生有熟的瓜進展

5、實驗可以得到N個數(shù)據(jù)：個數(shù)據(jù)：X=X1,X2,X3,XN ，根，根據(jù)瓜的生熟可以將據(jù)瓜的生熟可以將X中的元素劃分為兩類，一類對應(yīng)于生瓜一類對應(yīng)于熟瓜。中的元素劃分為兩類，一類對應(yīng)于生瓜一類對應(yīng)于熟瓜。于是，方式其實就是具有特定性質(zhì)的矢量于是，方式其實就是具有特定性質(zhì)的矢量/數(shù)據(jù)。用數(shù)據(jù)。用C1代表生瓜類，代表生瓜類，C2代表代表熟瓜類，那么熟瓜類，那么X中的恣意一個元素中的恣意一個元素Xn必然滿足必然滿足: Xn屬于屬于C1或者或者Xn屬于屬于C2。2021-12-12第2頁 方式識別，舉例：水果分級系統(tǒng)。方式識別，舉例：水果分級系統(tǒng)。水果質(zhì)量參數(shù)：分量、大小、比重、果形、顏色等水果質(zhì)量參數(shù)：

6、分量、大小、比重、果形、顏色等特征矢量：特征矢量：X = x1, x2, x3, x4, x5T特征空間：用參數(shù)張成。特征空間：用參數(shù)張成。方式：每個蘋果為一個方式，其特征矢量方式：每個蘋果為一個方式，其特征矢量 為特征空間中的一個點；為特征空間中的一個點；方式類：一個級別為一個類，一類方式分方式類：一個級別為一個類，一類方式分 布在特征空間的某個特定區(qū)域；布在特征空間的某個特定區(qū)域；方式識別：找出各類之間的分界面。方式識別：找出各類之間的分界面。2021-12-12第3頁 ANN的主要功能之二的主要功能之二 聯(lián)想聯(lián)想 ( Associative Memory )聯(lián)想的心思學(xué)定義：聯(lián)想的心思學(xué)

7、定義： 當一個事物的表象被激活時，也就是說該表象所包含的假設(shè)干屬性單元當一個事物的表象被激活時，也就是說該表象所包含的假設(shè)干屬性單元同時有效時，我們的留意力焦點就集中在這個表象上，假設(shè)對該表象的處置同時有效時，我們的留意力焦點就集中在這個表象上，假設(shè)對該表象的處置使的表象被否決時，也就是說由于一些屬性單元的失效或被抑制，或處于使的表象被否決時，也就是說由于一些屬性單元的失效或被抑制，或處于高阻，導(dǎo)致該表象無法成立的時候，剩余的屬性單元或答應(yīng)以構(gòu)成另一種高阻，導(dǎo)致該表象無法成立的時候，剩余的屬性單元或答應(yīng)以構(gòu)成另一種事物的表象，或許還需求結(jié)合那些被激活了的新的屬性或是由外界事物具事物的表象，或許

8、還需求結(jié)合那些被激活了的新的屬性或是由外界事物具有的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活。有的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活。 例如：看到檸檬，覺得到嘴里口水增多。由于，由檸檬聯(lián)想到了酸味。例如：看到檸檬，覺得到嘴里口水增多。由于，由檸檬聯(lián)想到了酸味。 字符識別：字符識別：2021-12-12第4頁 再論方式識別：對表征事物或景象的各種方式的數(shù)值的、文字的或邏再論方式識別：對表征事物或景象的各種方式的數(shù)值的、文字的或邏輯的信息進展處置和分析，以對事物或景象進展描畫、識別、分類和輯的信息進展處置和分析，以對事物或景象進展描畫、識別、分類和解釋的過程稱

9、為解釋的過程稱為“方式識別，是信息科學(xué)和人工智能的重要組成部分。方式識別，是信息科學(xué)和人工智能的重要組成部分。 v 人在分辨不同類別的事物時，抽取了同類事物之間的一樣點以及不人在分辨不同類別的事物時，抽取了同類事物之間的一樣點以及不同類事物之間的不同點；同類事物之間的不同點；字符識別：例如漢字字符識別：例如漢字“中可以有各種寫法，但都屬于同一類別。中可以有各種寫法，但都屬于同一類別。更為重要的是，即使對于某個更為重要的是，即使對于某個“中的詳細寫法從未見過，也能把中的詳細寫法從未見過，也能把它分到它分到“中這一類別。中這一類別。識別目的：人們走向一個目的地的時候，總是在不斷的察看周圍的識別目的

10、：人們走向一個目的地的時候，總是在不斷的察看周圍的景物，判別所選擇的道路能否正確。實踐上，是對眼睛看到的圖象景物，判別所選擇的道路能否正確。實踐上，是對眼睛看到的圖象做做 “正確和正確和“不正確的分類判別。不正確的分類判別。人腦的這種思想才干就構(gòu)成了人腦的這種思想才干就構(gòu)成了“方式的概念和方式的概念和“方式識別的過方式識別的過程。程。 方式是和類別集合的概念分不開的，只需認識這個集合的有限數(shù)量的事方式是和類別集合的概念分不開的，只需認識這個集合的有限數(shù)量的事物或景象，就可以識別這個集合中的恣意多的事物或景象。為了強調(diào)能從詳物或景象，就可以識別這個集合中的恣意多的事物或景象。為了強調(diào)能從詳細的事

11、物或景象中推斷出總體，我們就把個別的事物或景象稱作細的事物或景象中推斷出總體，我們就把個別的事物或景象稱作“方式，方式，而把總體稱作類別或范疇。而把總體稱作類別或范疇。特征矢量：最簡單的情況是用一組稱為特征矢量：最簡單的情況是用一組稱為“特征參數(shù)的數(shù)值信息表示一個客觀特征參數(shù)的數(shù)值信息表示一個客觀對象。例如，水果質(zhì)量分類中用到的大小、分量、比重、果型、顏色，其取值對象。例如，水果質(zhì)量分類中用到的大小、分量、比重、果型、顏色，其取值均為數(shù)值。表示成特征矢量方式：均為數(shù)值。表示成特征矢量方式：Xi = xi1, xi2, xi3, xi4, xi5 ；樣本：對一個詳細對象進展觀測得到的一個特征矢量

12、稱為一個樣本：對一個詳細對象進展觀測得到的一個特征矢量稱為一個“樣本，樣本， Xi 稱稱為第為第i個樣本，或者第個樣本，或者第i個樣本的特征矢量。個樣本的特征矢量。特征空間：即特征矢量張成的空間，每個樣本對應(yīng)于特征空間上的一點。特征空間：即特征矢量張成的空間，每個樣本對應(yīng)于特征空間上的一點。針對一個詳細的方式識別問題，選定特征參數(shù)非針對一個詳細的方式識別問題，選定特征參數(shù)非常重要，關(guān)乎方式識別的成敗。著名國際巨匠傅常重要，關(guān)乎方式識別的成敗。著名國際巨匠傅京孫教授曾說過方式識別問題的關(guān)鍵是特征提取。京孫教授曾說過方式識別問題的關(guān)鍵是特征提取。特征參數(shù)應(yīng)能區(qū)分所定義的方式，同時有沒有過特征參數(shù)應(yīng)

13、能區(qū)分所定義的方式，同時有沒有過多的反復(fù)，即：完備而不冗余。選定特征參數(shù)的多的反復(fù)，即：完備而不冗余。選定特征參數(shù)的過程稱過程稱“為特征提取。特征提取沒有一致的方為特征提取。特征提取沒有一致的方法，現(xiàn)實上，特征提取是一個不同專業(yè)領(lǐng)域范疇法，現(xiàn)實上，特征提取是一個不同專業(yè)領(lǐng)域范疇內(nèi)的問題。正由于如此，方式識別運用問題往往內(nèi)的問題。正由于如此，方式識別運用問題往往是跨專業(yè)領(lǐng)域的工程。是跨專業(yè)領(lǐng)域的工程。傅京孫傅京孫(19301985)麗水縣城人。麗水縣城人。1954年畢業(yè)于臺年畢業(yè)于臺灣大學(xué)電機系獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大灣大學(xué)電機系獲學(xué)士學(xué)位，后留學(xué)加拿大多倫多大學(xué)獲運用科學(xué)碩士學(xué)位，學(xué)獲

14、運用科學(xué)碩士學(xué)位，1956年轉(zhuǎn)入美國伊利諾斯年轉(zhuǎn)入美國伊利諾斯大學(xué)，獲博士學(xué)位。大學(xué)，獲博士學(xué)位。1961年起任美國普渡大學(xué)電機年起任美國普渡大學(xué)電機工程系助教、副教授、教授，加州大學(xué)柏克萊分校工程系助教、副教授、教授，加州大學(xué)柏克萊分校及斯坦福大學(xué)訪問教授。及斯坦福大學(xué)訪問教授。1971年起中選為美國電機年起中選為美國電機工程學(xué)會榮譽會員。同年得顧根漢基金研討?yīng)勚稹９こ虒W(xué)會榮譽會員。同年得顧根漢基金研討?yīng)勚稹?975年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)年起任普渡大學(xué)高斯工程講座教授。以后開設(shè)概率論，創(chuàng)建圖形識別科學(xué)，影像處置及其在遙測、概率論，創(chuàng)建圖形識別科學(xué)，影像處置及其在遙測、醫(yī)

15、學(xué)方面的運用，曾任第一屆國際圖形識別會議主醫(yī)學(xué)方面的運用，曾任第一屆國際圖形識別會議主席。席。1976年中選為美國國家工程學(xué)院院士，獲得麥年中選為美國國家工程學(xué)院院士，獲得麥考艾科學(xué)奉獻獎?？及茖W(xué)奉獻獎。1977年獲得美國計算機學(xué)會出色年獲得美國計算機學(xué)會出色論文獎。論文獎。1978年任臺灣年任臺灣“中央研討院院士。中央研討院院士。2021-12-12第5頁 方式類：特征參數(shù)選擇合理時，不同類的方式，在特征空間中占據(jù)不方式類：特征參數(shù)選擇合理時，不同類的方式，在特征空間中占據(jù)不同的分布區(qū)域；同的分布區(qū)域；方式識別所要做的事情，包含兩個方面：方式識別所要做的事情，包含兩個方面：在不同類別樣本點

16、集之間，尋覓合理的分界面，或稱作在不同類別樣本點集之間，尋覓合理的分界面，或稱作“判別函數(shù)判別函數(shù)Decision Function 由于判別函數(shù)來自于實踐觀測數(shù)據(jù)，因由于判別函數(shù)來自于實踐觀測數(shù)據(jù)，因此稱此階段為此稱此階段為 “學(xué)習(xí)學(xué)習(xí) 或或 “訓(xùn)練訓(xùn)練 ；給定未知方式，判別該樣本所屬類別，稱為給定未知方式，判別該樣本所屬類別，稱為“任務(wù)或任務(wù)或“運用。運用。 特征選擇的好壞是方式識別成敗的關(guān)鍵，但如何選擇特征選擇的好壞是方式識別成敗的關(guān)鍵，但如何選擇“特征，即，特征，即，選擇什么物理量作為特征，是詳細專業(yè)選擇什么物理量作為特征，是詳細專業(yè)“領(lǐng)域的問題，需求運用領(lǐng)域的問題，需求運用“領(lǐng)域領(lǐng)域

17、的專業(yè)知識來處理。的專業(yè)知識來處理。 例如，語音識別，如何從自然語音中提取例如，語音識別，如何從自然語音中提取“特征，是語音識別的特征，是語音識別的專業(yè)問題；圖象識別，如何從專業(yè)問題；圖象識別，如何從CCD圖象獲取適當?shù)奶卣?，是圖象處置圖象獲取適當?shù)奶卣?，是圖象處置領(lǐng)域的問題，即使在圖象處置領(lǐng)域，不同運用目的所取的特征也不同。領(lǐng)域的問題，即使在圖象處置領(lǐng)域，不同運用目的所取的特征也不同。 方式識別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要方式識別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要講到的有關(guān)智能方法，都只涉及到特征提取之后的任務(wù)。講到的有關(guān)智能方法，都只涉及到特征提取之后

18、的任務(wù)。以上所說的以上所說的 “ “學(xué)習(xí)學(xué)習(xí) 或或 “ “訓(xùn)練，是根據(jù)假設(shè)干知樣本在空間找到適訓(xùn)練，是根據(jù)假設(shè)干知樣本在空間找到適宜的分類面。對于一個樣本宜的分類面。對于一個樣本XiXi，用，用yi yi表示它所屬的類別，例如，它屬于表示它所屬的類別，例如，它屬于第第k k類。樣本知，意思是類。樣本知，意思是Xi Xi ， yi yi知。這種知。這種“學(xué)習(xí)又稱為學(xué)習(xí)又稱為“有監(jiān)視有監(jiān)視學(xué)習(xí)，即，經(jīng)過對知樣本學(xué)習(xí)，即，經(jīng)過對知樣本Xi Xi ，yiyi的學(xué)習(xí)找到合理的判別函數(shù)。的學(xué)習(xí)找到合理的判別函數(shù)。所謂所謂“任務(wù)，指的是給定類別未知的樣本任務(wù)，指的是給定類別未知的樣本Xi Xi ，求，求yi

19、 yi 的值。的值。XiXi是對某個是對某個客觀對象觀測的結(jié)果，其取值無法事先限定。但類別客觀對象觀測的結(jié)果，其取值無法事先限定。但類別yi yi的取值是離散的、的取值是離散的、有限的，是事先客觀規(guī)定的。有限的，是事先客觀規(guī)定的。2021-12-12第6頁神經(jīng)元模型神經(jīng)元模型 神經(jīng)元的輸入：神經(jīng)元的輸入：110NxxxX 所完成的運算為：NetfyxwNetiii1 -N0TXW式中：式中：110NwwwW稱為神經(jīng)元的稱為神經(jīng)元的“權(quán)值矢量；權(quán)值矢量； f稱為神經(jīng)元的稱為神經(jīng)元的“功能函數(shù)；功能函數(shù)；Net稱為神經(jīng)元的稱為神經(jīng)元的“凈輸入；凈輸入；y稱為神經(jīng)元的稱為神經(jīng)元的“輸出；輸出；稱為神

20、經(jīng)元的稱為神經(jīng)元的“閾值；閾值；2021-12-12第7頁常用的神經(jīng)元功能函數(shù)類型常用的神經(jīng)元功能函數(shù)類型 線性函數(shù) uuf又稱為又稱為“恒同函數(shù)恒同函數(shù) 硬限幅函數(shù)硬限幅函數(shù) 0, 00, 1huuufaueuf11s S S函數(shù)函數(shù)(Sigmoid)(Sigmoid) fs 取值于取值于0,1之間。之間。aueuf11s2021-12-12第8頁前項人工神經(jīng)網(wǎng)絡(luò)的拓撲構(gòu)造前項人工神經(jīng)網(wǎng)絡(luò)的拓撲構(gòu)造 前層的輸出作為后層的輸入；前層的輸出作為后層的輸入； 各層的神經(jīng)元個數(shù)可以不同；各層的神經(jīng)元個數(shù)可以不同； 層數(shù)兩層以上，目前大多為層數(shù)兩層以上，目前大多為3層；層； 輸入矢量輸入矢量X代表從客

21、觀對象觀測代表從客觀對象觀測得到的特征；輸出層包含一個或多得到的特征；輸出層包含一個或多個神經(jīng)元，用于表達更為復(fù)雜的運個神經(jīng)元，用于表達更為復(fù)雜的運算結(jié)果；算結(jié)果； 同層神經(jīng)元不能銜接，后層不同層神經(jīng)元不能銜接，后層不能向前層反向銜接；能向前層反向銜接； 銜接強度即，權(quán)值大小可銜接強度即，權(quán)值大小可以為以為0，強度為，強度為0實踐上就是沒有實踐上就是沒有銜接；銜接；2021-12-12第9頁2.2 采用硬限幅函數(shù)時單個神經(jīng)元的分類功能采用硬限幅函數(shù)時單個神經(jīng)元的分類功能 線性可分性線性可分性( Linear Separable )設(shè)有設(shè)有C0和和C1兩類方式兩類方式R0：C0類方式的樣本集；類

22、方式的樣本集；R1：C1類方式的樣本集；類方式的樣本集；分類的第一步：在兩類樣本分布區(qū)域分類的第一步：在兩類樣本分布區(qū)域之間尋覓一個分類函數(shù)分類線、面之間尋覓一個分類函數(shù)分類線、面使得兩類樣本各處在一邊；使得兩類樣本各處在一邊； 實現(xiàn)這一目的的過程，稱為實現(xiàn)這一目的的過程，稱為“學(xué)習(xí)或?qū)W習(xí)或“訓(xùn)練，所用到的計算戰(zhàn)略訓(xùn)練，所用到的計算戰(zhàn)略稱為稱為“學(xué)習(xí)算法；樣本集合學(xué)習(xí)算法；樣本集合R0和和R1稱為學(xué)習(xí)樣本集合。稱為學(xué)習(xí)樣本集合。分類的第二步：當獲得了分類函數(shù)分類的第二步：當獲得了分類函數(shù) l 以后，就可以進入任務(wù)階段了。任給以后，就可以進入任務(wù)階段了。任給未知方式未知方式X，假設(shè)它位于，假設(shè)它

23、位于R0一側(cè)，那么斷定其為一側(cè)，那么斷定其為C0類；假設(shè)它位于類；假設(shè)它位于R1一一側(cè)，那么斷定其為側(cè)，那么斷定其為C1類；假設(shè)它落在分類線類；假設(shè)它落在分類線l 上，那么不可識別。上，那么不可識別。 給定兩類給定兩類C0和和C1的學(xué)習(xí)樣本集合的學(xué)習(xí)樣本集合R0和和R1，假設(shè)存在線性分類函數(shù)，假設(shè)存在線性分類函數(shù)直線、平面、超平面直線、平面、超平面l，將兩類學(xué)，將兩類學(xué)習(xí)樣本無誤差地分開，那么稱該分類習(xí)樣本無誤差地分開，那么稱該分類問題為問題為“線性可分問題。線性可分問題。2021-12-12第10頁假設(shè)，二維分類問題的分類函數(shù)為假設(shè)，二維分類問題的分類函數(shù)為 l：01100 xwxwXWT任

24、給樣本任給樣本 X = x1, x2 ，l 應(yīng)該滿足：應(yīng)該滿足：111000110000CXxwxwCXxwxw令：令：1100 xwxwNet那么方式識別那么方式識別問題可以表達成：問題可以表達成：1000CXNetCXNet把把 看作權(quán)值，看作權(quán)值， 看作閾值，用看作閾值，用一個神經(jīng)元來表示以上二維分類問題，那一個神經(jīng)元來表示以上二維分類問題，那么：么：10, wwNetfyxwxwNeth1100恣意輸入一個方式恣意輸入一個方式 X，假設(shè)假設(shè)X屬于屬于C0那么那么 y = 1；假設(shè)假設(shè)X屬于屬于C1那么那么 y = 0；01110h010hRXRXiiiiiixwfyxwfy其中：其中：

25、X = x1, x2是恣意樣本，是恣意樣本，W=w0, w1是權(quán)值矢是權(quán)值矢量。量。 WT.X q = w0.x0 + w1.x1 q =0 是直線的矢量方是直線的矢量方程，假設(shè)程，假設(shè)W為單位矢量，即：為單位矢量，即： w02 + w12 = 1 那么那么 q 的意義如下圖。的意義如下圖。2021-12-12第11頁學(xué)習(xí)算法學(xué)習(xí)算法 將輸入矢量將輸入矢量 X X 和權(quán)矢量和權(quán)矢量 W W 作如下擴張：作如下擴張： ,1,1N101N10wwwxxxWX 神經(jīng)元模型成為：神經(jīng)元模型成為：NetfyxwNetNnnnh10XW(2-7) 學(xué)習(xí)的目的，就是要找到權(quán)矢量W。對于前面的例子，就是尋覓可

26、以無誤差分開兩類樣本的直線參數(shù) w0, w1, q。 學(xué)習(xí)是針對給定的學(xué)習(xí)樣本集合進展的，不同的樣本集合可以得到不同的學(xué)習(xí)結(jié)果。對于兩類可分問題，可以無誤差地分開學(xué)習(xí)樣本的結(jié)果都是正確的。2021-12-12第12頁設(shè)二維分類問題，有學(xué)習(xí)樣本：設(shè)二維分類問題，有學(xué)習(xí)樣本： kddk00XX其中其中 1010011CkCkkdkxkxkXXX訓(xùn)練樣本訓(xùn)練樣本 k ；訓(xùn)練樣本的值；訓(xùn)練樣本的值；起初，我們隨意指定一個權(quán)矢量：起初，我們隨意指定一個權(quán)矢量： 000010wwW這相當于在特征空間上隨意畫了一條線。向神經(jīng)元這相當于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個樣本輸入一個樣本X(k)，用，

27、用y(k)表示得到的輸出，顯然表示得到的輸出，顯然y(k)不一定等于不一定等于X(k)的實踐類別值的實踐類別值d(k)，令：，令： kykd假設(shè)假設(shè) fh 為硬限幅函數(shù)，為硬限幅函數(shù)， 那么必有：那么必有：0110110CCCC判為錯將判為錯將輸出正確(2-29)2021-12-12第13頁學(xué)習(xí)算法：為了找到正確的學(xué)習(xí)算法：為了找到正確的W，依次向神經(jīng)元輸入學(xué)習(xí)樣本，依次向神經(jīng)元輸入學(xué)習(xí)樣本X(k)，k = 0, 1, 2, ，并且按照誤差，并且按照誤差e (k)的正負來修正的正負來修正W ：式中式中a 稱為稱為“步幅，用來控制每次調(diào)整的步長。如此不斷反步幅，用來控制每次調(diào)整的步長。如此不斷反

28、復(fù)，復(fù)，W(k)隨著迭代次數(shù)隨著迭代次數(shù)k的添加，逐漸趨于正確答案。的添加，逐漸趨于正確答案。任意設(shè)置)0(W( 2-7 ) 假設(shè)輸出假設(shè)輸出y (k)與樣本類別值與樣本類別值d (k)一樣，即，一樣，即， 那么那么: W(k+1)=W(k)，不調(diào)整，不調(diào)整W。 0k 0k 假設(shè)輸出假設(shè)輸出y(k)與樣本類別值與樣本類別值d (k)不同，即，不同，即， 那么那么: W 根據(jù)根據(jù) e (k)的正負被調(diào)的正負被調(diào)整；整； kkkWkWX)(1 kkykdkkXWW1 kkXW，210k2021-12-12第14頁算法的幾何原理：算法的幾何原理：為直觀起見，設(shè)：理想分類線過原點，即：為直觀起見，設(shè)：

29、理想分類線過原點，即： ，閾值，閾值q 為為0。01100 xwxw訓(xùn)練樣本：訓(xùn)練樣本： 101001CkCkkdkxkxkXXX權(quán)值矢量：權(quán)值矢量： kwkwk10W由直線方程可知，由直線方程可知，W(k)是直線是直線 l 的法線的法線 ，即，即:0 :1100TxwxwlXW 假設(shè)，假設(shè)，X恰好位于恰好位于 l 上，那么：上，那么：01100TxwxwXW 假設(shè)，假設(shè)，Xa位于位于 l 上方，那么：上方，那么：; 01100TaaaxwxwXW 1ky 假設(shè)，假設(shè)，Xb位于位于 l 下方，那么：下方，那么：; 01100TbbbxwxwXW 0ky2021-12-12第15頁假設(shè)曾經(jīng)輸入了

30、假設(shè)曾經(jīng)輸入了k個樣本，運轉(zhuǎn)到了第個樣本，運轉(zhuǎn)到了第 k 步，當前的權(quán)值步，當前的權(quán)值W(k)。假設(shè)。假設(shè)輸入輸入 X(k) 得到得到y(tǒng)(k)=1，但給定的，但給定的 X(k)屬于屬于C1類，即，類，即，d(k) = 0 ，那，那么：么： 1kykd于是，有：于是，有： kkkkkXWXWW1可見，分類線可見，分類線 l 得到了合理的調(diào)整。得到了合理的調(diào)整。再假設(shè)，接下來輸入的再假設(shè)，接下來輸入的X(k+1)屬于屬于 C0類，即類，即d(k) = 1，被錯，被錯分為分為C1類，即，類，即， 由由X(k+1) 和和W(k+1)計算得到計算得到 y(k+1)=0 ： 1kykd于是，有：于是，有：

31、11112kkkkkXWXWW錯把錯把 C1 當當 C0 ;2021-12-12第16頁2.3 線性函數(shù)神經(jīng)元的最小二乘分類算法線性函數(shù)神經(jīng)元的最小二乘分類算法 線性不可分線性不可分 在誤差最小的前提下，尋覓分類函數(shù)，給定樣本集：在誤差最小的前提下，尋覓分類函數(shù)，給定樣本集： kddk00XX其中其中 10110111CkCkkdkxkxkxkNXXX2021-12-12第17頁采用線性函數(shù)的神經(jīng)元，即：采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：輸入樣本矢量：110NxxX10NwwW權(quán)值矢量：權(quán)值矢量：神經(jīng)元完成的運算為：神經(jīng)元完成的運算為：TNnnnxwyXW10判別規(guī)那么：判別規(guī)那么：10

32、RXRX00y留意到，理想值為：留意到，理想值為：10RXRX11d 對于權(quán)矢量對于權(quán)矢量W的某個詳細取值，其誤差定義為：的某個詳細取值，其誤差定義為： 22ydEE學(xué)習(xí)的目的是，針對一切學(xué)習(xí)樣本，尋覓學(xué)習(xí)的目的是，針對一切學(xué)習(xí)樣本，尋覓 x最小的最小的W取值，它即為誤差最小取值，它即為誤差最小的分類函數(shù)。的分類函數(shù)。(2-10)2021-12-12第18頁設(shè)學(xué)習(xí)樣本集設(shè)學(xué)習(xí)樣本集X0,d0X0,d0，X1,d1X1,d1，XK1,dK1XK1,dK1， 那么那么 的估計為：的估計為：1021KkkTkdKXW以以 最小為目的的優(yōu)化過程，統(tǒng)稱為最小為目的的優(yōu)化過程，統(tǒng)稱為“最小二乘法最小二乘法

33、 Lst Mn Sur Lst Mn Sur 。 顯然，樣本的分布給定后顯然，樣本的分布給定后 是權(quán)矢量是權(quán)矢量W W的函數(shù)，即：的函數(shù)，即： W W； 首先需求證明，存在首先需求證明，存在W*使得使得x min= x (W*) 成立。由于是線性函數(shù)，所成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：以，神經(jīng)元的輸出可以寫成：10TNnnnxwNetyWX(2-11)代入代入(2-10)得到：得到： TTT2TTT2TTT222222WXWXXWXWWXXWXWXWXWWXdEEdEddEddEdEydET(2-12)2021-12-12第19頁用以下符號代表式中一些參量：用以下符號代表式中

34、一些參量： 2dEXXRTEXPdE為了簡化，我們思索二維并且閾值為了簡化，我們思索二維并且閾值 q = 0 的情況，有：的情況，有： 1110010021011020210110201010rrrrxExxExxExExxxxxxExxxxER(2-13)1010PPxdExdEP(2-14)顯然，顯然，R是隨機矢量是隨機矢量X的相關(guān)矩陣，它是一個對稱矩陣，且正定。的相關(guān)矩陣，它是一個對稱矩陣，且正定。將以上符號代入將以上符號代入(2-12)，得到：，得到：TT2WPWRW(2-15)1100112101100020222PwPwrwrwwrw2021-12-12第20頁 顯然，假設(shè)存顯然，

35、假設(shè)存W*在在 使得使得 x min= x (W*) 成立。并且，在成立。并且，在W*點上點上x關(guān)于關(guān)于W的一切元素的一切元素w0, w1, (二維情況下只需二維情況下只需w 0和和w 1)的偏導(dǎo)數(shù)都為的偏導(dǎo)數(shù)都為0，或者，說，或者，說x關(guān)于矢量關(guān)于矢量W的梯度在的梯度在W*點為零矢量。即，對點為零矢量。即，對(2-15)求梯度得到：求梯度得到： PWRWPWRWWWW22210TTddddww(2-16)或用多元函數(shù)微分求梯度，重寫誤差公式：或用多元函數(shù)微分求梯度，重寫誤差公式：0011000110011210110002000222222PrwrwPwPwrwrwwrwww11001121

36、01100020222PwPwrwrwwrw1111010110011210110002011222222PrwrwPwPwrwrwwrwww2021-12-12第21頁令：令：022*PRWWWW留意到，留意到，R是正定的，它的逆存在，于是，得到：是正定的，它的逆存在，于是，得到：1*RPW(2-17)代回代回(2.15)式可以得到最小誤差平方和：式可以得到最小誤差平方和： T*T*T*T*2*minPWPWPWRWWWW(2-18)命題得證，并且找到了最正確的命題得證，并且找到了最正確的W：解：解(2-17)式即可得到式即可得到W*。但這還不是我。但這還不是我們想要的學(xué)習(xí)算法，為了實現(xiàn)自順

37、應(yīng)學(xué)習(xí)，必需找到求解們想要的學(xué)習(xí)算法，為了實現(xiàn)自順應(yīng)學(xué)習(xí)，必需找到求解W*的迭代算法。的迭代算法。 PRW2222222222101110010010111010001100010PPrrrrwwPrwrwPrwrwww2021-12-12第22頁 LMS學(xué)習(xí)問題的最陡梯度算法學(xué)習(xí)問題的最陡梯度算法 k表示迭代學(xué)習(xí)過程的序號；表示迭代學(xué)習(xí)過程的序號； p = 0, 1, 2, 表示樣本序號，表示樣本序號，Xp(k)表示表示當前一輪迭代時的第當前一輪迭代時的第p個輸入的學(xué)習(xí)樣本，即，第個輸入的學(xué)習(xí)樣本，即，第k步的第步的第p個樣本。個樣本。 定義誤差平方和為：定義誤差平方和為： pppppppp

38、kkkdkykdkk222)()(XWJ(2-38)當兩類樣本的分布不變時統(tǒng)計意義上，當兩類樣本的分布不變時統(tǒng)計意義上，J(k)是是W的函數(shù)。的函數(shù)。LMS學(xué)習(xí)的最學(xué)習(xí)的最陡梯度法就是以陡梯度法就是以J(k)為目的函數(shù)，尋覓使得為目的函數(shù)，尋覓使得J(k)最小的權(quán)值矢量最小的權(quán)值矢量W。 W(k)表示迭代學(xué)習(xí)第表示迭代學(xué)習(xí)第k步時的權(quán)值矢量，步時的權(quán)值矢量，dp(k)和和yp(k)分別為輸入學(xué)習(xí)分別為輸入學(xué)習(xí)樣本樣本Xp(k) 的實踐類別值的實踐類別值(dp取取 +1或或 1 )和當前神經(jīng)元的輸出和當前神經(jīng)元的輸出(-1 yp 0，將此結(jié)果代入到，將此結(jié)果代入到(2-40)，得到：，得到：0)()(102iiwkkJJ此結(jié)果