概率神經(jīng)網(wǎng)絡(luò)

1、1 概率神經(jīng)網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)Probabilistic neural networkProbabilistic neural network2 以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函形激活函數(shù)，進(jìn)而構(gòu)造出能夠計(jì)算非線性判別邊界的概率數(shù)，進(jìn)而構(gòu)造出能夠計(jì)算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)（PNN），該判定邊界接近于貝葉斯最），該判定邊界接近于貝葉斯最佳判定面。佳判定面。 1、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風(fēng)險最小化）、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風(fēng)險最小化）2、基于概率密度估計(jì)方法、基于概率密度估計(jì)方法 不同于反向傳播算法中的試探法，而是基

2、于統(tǒng)計(jì)學(xué)中已有不同于反向傳播算法中的試探法，而是基于統(tǒng)計(jì)學(xué)中已有的概率密度函數(shù)的非參數(shù)估計(jì)方法。的概率密度函數(shù)的非參數(shù)估計(jì)方法。3、前向傳播算法、前向傳播算法 沒有反饋沒有反饋一、簡介一、簡介23什么是概率神經(jīng)網(wǎng)絡(luò)什么是概率神經(jīng)網(wǎng)絡(luò) （Probabilistic neural networks）？）？貝葉斯決策：貝葉斯決策： 1、最小錯誤率，即最大后驗(yàn)概率準(zhǔn)則、最小錯誤率，即最大后驗(yàn)概率準(zhǔn)則 2、最小風(fēng)險率（代價、損失）、最小風(fēng)險率（代價、損失） 以最小錯誤率貝葉斯決策為例，推導(dǎo)以最小錯誤率貝葉斯決策為例，推導(dǎo)PNN的理論模型。的理論模型。二、分類器理論推導(dǎo)二、分類器理論推導(dǎo)4貝葉斯決策貝葉斯

3、決策概率密度函數(shù)估計(jì)概率密度函數(shù)估計(jì)ijiwxijxwpxwp則若,)|()|()|()()|(iiiwxpwpxwp其中，基于訓(xùn)練樣本，高斯核的Parzen估計(jì) ：iNkiklliixxNwxp1222)2exp()2(11)|(分類任務(wù)：假設(shè)有c類，w1, w2, wciNkikiiixxNwpxg122)2exp()()(判別函數(shù)判別函數(shù)省去共有元素，再歸一化：ikx是屬于第iw類的第k個訓(xùn)練樣本 l是樣本向量的維數(shù) 是平滑參數(shù)iNiw是第類的訓(xùn)練樣本總數(shù) ijiwxijxgxg則若,)()(判別規(guī)則判別規(guī)則只需經(jīng)驗(yàn)給出，或聚類法，可取為在同組中特征向量之間距離平均值的一半。112lii

4、x對所有樣本進(jìn)行歸一化 ，iNkikiixxNwp12T)1-exp()(ikikikikxxxxxxxxTT222222|5網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 輸入層輸入層 樣本層樣本層 求和層求和層（競爭層）（競爭層）三、概率神經(jīng)網(wǎng)絡(luò)模型三、概率神經(jīng)網(wǎng)絡(luò)模型右圖以三類為例，右圖以三類為例，即即C=3；同時，；同時，設(shè)特征向量維數(shù)設(shè)特征向量維數(shù)為為3。連接關(guān)系67以三類為例以三類為例即即C=3；同時，設(shè)特同時，設(shè)特征向量維數(shù)征向量維數(shù)為為3。網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型各層功能8輸入層輸入層求和層求和層樣本層樣本層競爭層競爭層神經(jīng)元個數(shù)是特征向量維數(shù)神經(jīng)元個數(shù)是特征向量維數(shù)神經(jīng)元個數(shù)是訓(xùn)練樣本的個數(shù)神經(jīng)元個數(shù)是訓(xùn)練樣本的

5、個數(shù)神經(jīng)元個數(shù)是類別個數(shù)神經(jīng)元個數(shù)是類別個數(shù)神經(jīng)元個數(shù)為神經(jīng)元個數(shù)為1 1在輸入層中，網(wǎng)絡(luò)計(jì)算輸入向量與所有訓(xùn)練樣本向量之間的距離。在輸入層中，網(wǎng)絡(luò)計(jì)算輸入向量與所有訓(xùn)練樣本向量之間的距離。 樣本層的激活函數(shù)是高斯函數(shù)。樣本層的激活函數(shù)是高斯函數(shù)。將樣本層的輸出按類相加，相當(dāng)于將樣本層的輸出按類相加，相當(dāng)于c c個加法器。個加法器。判決的結(jié)果由競爭層輸出，輸出結(jié)果中只有一個判決的結(jié)果由競爭層輸出，輸出結(jié)果中只有一個1 1，其余結(jié)果都是，其余結(jié)果都是0 0，概，概率值最大的那一類輸出結(jié)果為率值最大的那一類輸出結(jié)果為1 1。 將貝葉斯分類決策理論引入到、推廣到神經(jīng)網(wǎng)絡(luò)中來。將貝葉斯分類決策理論引入

6、到、推廣到神經(jīng)網(wǎng)絡(luò)中來。 概率神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是按照貝葉斯判別函數(shù)來設(shè)置的，以概率神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是按照貝葉斯判別函數(shù)來設(shè)置的，以實(shí)現(xiàn)錯誤率或損失最小化。實(shí)現(xiàn)錯誤率或損失最小化。 概率神經(jīng)網(wǎng)絡(luò)針對概率密度函數(shù)做了三個假設(shè)：概率神經(jīng)網(wǎng)絡(luò)針對概率密度函數(shù)做了三個假設(shè)： 各分類的概率密度函數(shù)形態(tài)相同。各分類的概率密度函數(shù)形態(tài)相同。 此共同的概率密度函數(shù)為高斯分布。此共同的概率密度函數(shù)為高斯分布。 各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，且各對角元素的值相同，值為且各對角元素的值相同，值為 。 因?yàn)橛辛艘陨先齻€簡單的限制，而使得概率神經(jīng)網(wǎng)

7、絡(luò)在應(yīng)用上因?yàn)橛辛艘陨先齻€簡單的限制，而使得概率神經(jīng)網(wǎng)絡(luò)在應(yīng)用上減少了貝葉斯分類器建構(gòu)上的問題，增加了許多的便利性。減少了貝葉斯分類器建構(gòu)上的問題，增加了許多的便利性。四、優(yōu)勢與不足四、優(yōu)勢與不足910 1、網(wǎng)絡(luò)學(xué)習(xí)過程簡單，學(xué)習(xí)速度快、網(wǎng)絡(luò)學(xué)習(xí)過程簡單，學(xué)習(xí)速度快 學(xué)習(xí)一次完成，比BP快5個數(shù)量級，比RBF2個數(shù)量級。 2、分類更準(zhǔn)確，對錯誤、噪聲容忍高、分類更準(zhǔn)確，對錯誤、噪聲容忍高 錯誤率、風(fēng)險最小化。沒有局部極小值問題，當(dāng)有代表性的訓(xùn)練樣本數(shù)量增加到足夠大時，分類器一定能達(dá)到貝葉斯最優(yōu)。 RBF也不存在局部極小值問題，問題有唯一確定解。 3、容錯性好，分類能力強(qiáng)。、容錯性好，分類能力強(qiáng)

8、。 判別界面漸進(jìn)地逼近貝葉斯最優(yōu)分類面。 PNN與與BP、RBF神經(jīng)網(wǎng)絡(luò)的比較神經(jīng)網(wǎng)絡(luò)的比較11不足不足1、對訓(xùn)練樣本的代表性要求高對訓(xùn)練樣本的代表性要求高2、需要的存儲空間更大、需要的存儲空間更大五、基本學(xué)習(xí)算法五、基本學(xué)習(xí)算法1、歸一化XXXXXXXXXmnmmnnX.212222111211nkmknkknkkTxxxB121221211.11該矩陣的訓(xùn)練樣本有m個，每一個樣本維數(shù)為n歸一化系數(shù)XBCnmnmnm11111C即為歸一化后的學(xué)習(xí)樣本mXXX.21訓(xùn)練樣本矩陣12基本學(xué)習(xí)算法基本學(xué)習(xí)算法2、將歸一化好的m個樣本送入到網(wǎng)絡(luò)輸入層中。 3、模式距離的計(jì)算 該距離是指樣本矩陣與學(xué)習(xí)

9、矩陣中相應(yīng)元素之間的距離。MxMxMxMxMxMxMxMxMxmmnmmmmnn112222222111112111CCCCCCCCCmnmmnn21222211121113 假設(shè)將由P個n維向量組成的矩陣稱為待識別樣本矩陣，則經(jīng)歸一化后，需要待識別的輸入樣本矩陣為：待分類樣本矩陣，有p個，每一個樣本維數(shù)為n 計(jì)算歐式距離：就是需要識別的歸一化的樣本向量di，與每一個歸一化后的訓(xùn)練樣本(Cj)的歐式距離。 ppnppnndddDddddddddd.21212222111211基本學(xué)習(xí)算法基本學(xué)習(xí)算法14nkmkpknkkpknkkpknkmkknkkknkkknkkknkkknkkkcdcdc

10、dcdcdcdcdcdcdE121221211221222121212m112211211EEEEEEEEEpmppmm212222111211歸一化的訓(xùn)練樣本Ci, i=1,2,m;歸一化的待分類樣本dj, j=1,2,p;Eij：表示第i個待分類樣本(di)與第j個訓(xùn)練樣本(Cj)的歐式距離?；緦W(xué)習(xí)算法基本學(xué)習(xí)算法15 第四步：模式層高斯函數(shù)的神經(jīng)元被激活。學(xué)習(xí)樣本與待識別樣本被歸一化后，通常取標(biāo)準(zhǔn)差=0.1的高斯型函數(shù)。激活后得到初始概率矩陣： eeeeeeeeeEEEEEEEEEPpmppmm222212222222121212211222222222PPPPPPPPPpmppmm2

11、12222111211基本學(xué)習(xí)算法基本學(xué)習(xí)算法16 第五步：假設(shè)樣本有m個，那么一共可以分為c類，并且各類樣本的數(shù)目相同，設(shè)為k，則可以在網(wǎng)絡(luò)的求和層求得各個樣本屬于各類的初始概率和： mkmlplkklplklplmkmllkkllkllmkmllkkllkllPPPPPPPPPS121112212121121111pcppccSSSSSSSSS212222111211基本學(xué)習(xí)算法基本學(xué)習(xí)算法17 第六步：計(jì)算概率，即第i個樣本屬于第j類的概率。clilijijSSprob1基本學(xué)習(xí)算法基本學(xué)習(xí)算法18六、應(yīng)用領(lǐng)域六、應(yīng)用領(lǐng)域 概率神經(jīng)網(wǎng)絡(luò)主要用于分類和模式識別領(lǐng)域，概率神經(jīng)網(wǎng)絡(luò)主要用于分類

12、和模式識別領(lǐng)域，其中分類方面應(yīng)用最為廣泛，這種網(wǎng)絡(luò)已較廣泛其中分類方面應(yīng)用最為廣泛，這種網(wǎng)絡(luò)已較廣泛地應(yīng)用于地應(yīng)用于非線性濾波、模式分類、聯(lián)想記憶和概非線性濾波、模式分類、聯(lián)想記憶和概率密度估計(jì)率密度估計(jì)當(dāng)中。它的優(yōu)勢在于用線性學(xué)習(xí)算法當(dāng)中。它的優(yōu)勢在于用線性學(xué)習(xí)算法來完成非線性學(xué)習(xí)算法所做的工作，同時保證非來完成非線性學(xué)習(xí)算法所做的工作，同時保證非線性算法的高精度等特性。線性算法的高精度等特性。 19七、一個應(yīng)用實(shí)例七、一個應(yīng)用實(shí)例對彩色車牌圖像進(jìn)行二值化對彩色車牌圖像進(jìn)行二值化 分類任務(wù)分析：特征向量是每個像素點(diǎn)的顏色分類任務(wù)分析：特征向量是每個像素點(diǎn)的顏色RBG值。值。 類別數(shù)有類別數(shù)有

13、2類，類， A類表示背景色，為接近藍(lán)色或者背景中類表示背景色，為接近藍(lán)色或者背景中出現(xiàn)的其他顏色。出現(xiàn)的其他顏色。 B類為號碼色，接近白色的顏色。類為號碼色，接近白色的顏色。 用用PNN對每個像素點(diǎn)進(jìn)行訓(xùn)練、分類，對每個像素點(diǎn)進(jìn)行訓(xùn)練、分類， 再用再用0、1這兩個這兩個數(shù)值來表示數(shù)值來表示A類、類、B類，重新設(shè)置圖片中像素的顏色實(shí)現(xiàn)了車類，重新設(shè)置圖片中像素的顏色實(shí)現(xiàn)了車牌號圖像的二值化。牌號圖像的二值化。 第一步，選取背景色和號碼色的樣本圖片，收集它們各第一步，選取背景色和號碼色的樣本圖片，收集它們各自的顏色樣本數(shù)據(jù)；自的顏色樣本數(shù)據(jù)； 第二步，運(yùn)用收集的顏色數(shù)據(jù)訓(xùn)練第二步，運(yùn)用收集的顏色數(shù)

14、據(jù)訓(xùn)練PNNPNN神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)； 第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)輸入輸入PNNPNN神經(jīng)網(wǎng)絡(luò)完成分類，然后重置圖片顏色數(shù)據(jù)完成二神經(jīng)網(wǎng)絡(luò)完成分類，然后重置圖片顏色數(shù)據(jù)完成二值化。值化。 20的改進(jìn)與遺傳算法的改進(jìn)與遺傳算法PNN神經(jīng)網(wǎng)絡(luò)模型中，唯一要調(diào)整的參數(shù)是神經(jīng)網(wǎng)絡(luò)模型中，唯一要調(diào)整的參數(shù)是 已發(fā)現(xiàn)，在實(shí)際問題中不難找到良好的已發(fā)現(xiàn)，在實(shí)際問題中不難找到良好的值，并且，隨著值，并且，隨著的微小變化，錯誤分類比率不發(fā)生顯著變化的微小變化，錯誤分類比率不發(fā)生顯著變化。 值太小，對于單獨(dú)訓(xùn)練值太小，對于單獨(dú)訓(xùn)練的樣本僅僅起到

15、隔離的作用，的樣本僅僅起到隔離的作用，在本質(zhì)上是最近鄰域分類器；在本質(zhì)上是最近鄰域分類器； 如果太大，不能夠完全如果太大，不能夠完全區(qū)分細(xì)節(jié)，對于界限不明顯區(qū)分細(xì)節(jié)，對于界限不明顯的不同類別，可能是得不到的不同類別，可能是得不到理想的分類效果，這時接近理想的分類效果，這時接近于線性分類器于線性分類器 因此，如何確定合適的因此，如何確定合適的參數(shù)是概率神經(jīng)網(wǎng)絡(luò)的關(guān)鍵參數(shù)是概率神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題。問題。 八、優(yōu)化改進(jìn)八、優(yōu)化改進(jìn)21遺傳算法遺傳算法 遺傳算法以生物進(jìn)化原理為基礎(chǔ)，在每一代群體中，不遺傳算法以生物進(jìn)化原理為基礎(chǔ)，在每一代群體中，不斷按照個體適應(yīng)度大小選擇，并進(jìn)行交叉和變異，產(chǎn)生新的斷

16、按照個體適應(yīng)度大小選擇，并進(jìn)行交叉和變異，產(chǎn)生新的群體，這樣種群不斷得到進(jìn)化，同時以全局并行搜索技術(shù)來群體，這樣種群不斷得到進(jìn)化，同時以全局并行搜索技術(shù)來進(jìn)行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳進(jìn)行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳算法不受函數(shù)連續(xù)與可微的限制，而且結(jié)果全局最優(yōu)，因此算法不受函數(shù)連續(xù)與可微的限制，而且結(jié)果全局最優(yōu)，因此完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡(luò)的平滑系數(shù)進(jìn)行優(yōu)化完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡(luò)的平滑系數(shù)進(jìn)行優(yōu)化，尋找最優(yōu)的參數(shù)。，尋找最優(yōu)的參數(shù)。 一般情況下假設(shè)一般情況下假設(shè) ，不能將概率特性完整，不能將概率特性完整地表示出來，降低了地表示出來，降低了PNN識別的精度。利用遺傳算法優(yōu)化概識別的精度。利用遺傳算法優(yōu)化概率神經(jīng)網(wǎng)絡(luò)的平滑參數(shù)時，對應(yīng)于每個模式類別的率神經(jīng)網(wǎng)絡(luò)的平滑參數(shù)時，對應(yīng)于每個模式類別的 是不同是不同的。的。 .21j22(1)設(shè)定平滑因子的取值范圍，隨機(jī)長生初始種群，設(shè)定平滑因子的取值范圍，隨機(jī)長生初始種群， M為種群規(guī)模，并設(shè)當(dāng)前代數(shù)為種群規(guī)模，并設(shè)當(dāng)前代數(shù) t=1;(2)根據(jù)由染色體獲得的平滑因子，構(gòu)建根據(jù)由染色體獲得的平滑因子，構(gòu)建PNN網(wǎng)絡(luò)，計(jì)算分類正確的個網(wǎng)絡(luò)，計(jì)算分類正確的個數(shù)及誤差，即