概率神經(jīng)網(wǎng)絡-文檔資料

1、1 概率神經(jīng)網(wǎng)絡概率神經(jīng)網(wǎng)絡Probabilistic neural networkProbabilistic neural network2 2 以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡中常用的以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡中常用的S形激活函形激活函數(shù)，進而構造出能夠計算非線性判別邊界的概率數(shù)，進而構造出能夠計算非線性判別邊界的概率神經(jīng)網(wǎng)絡（神經(jīng)網(wǎng)絡（PNN），該判定邊界接近于貝葉斯最），該判定邊界接近于貝葉斯最佳判定面。佳判定面。 1、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風險最小化）、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風險最小化）2、基于概率密度估計方法、基于概率密度估計方法 不同于反向傳播算法中的試探法，而

2、是基于統(tǒng)計學中已有不同于反向傳播算法中的試探法，而是基于統(tǒng)計學中已有的概率密度函數(shù)的非參數(shù)估計方法。的概率密度函數(shù)的非參數(shù)估計方法。3、前向傳播算法、前向傳播算法 沒有反饋沒有反饋一、簡介一、簡介3什么是概率神經(jīng)網(wǎng)絡什么是概率神經(jīng)網(wǎng)絡 （Probabilistic neural networks）？）？貝葉斯決策：貝葉斯決策： 1、最小錯誤率，即最大后驗概率準則、最小錯誤率，即最大后驗概率準則 2、最小風險率（代價、損失）、最小風險率（代價、損失） 以最小錯誤率貝葉斯決策為例，推導以最小錯誤率貝葉斯決策為例，推導PNN的理論模型。的理論模型。4貝葉斯決策貝葉斯決策概率密度函數(shù)估計概率密度函數(shù)估

3、計ijiwxijxwpxwp則若,)|()|()|()()|(iiiwxpwpxwp其中，基于訓練樣本，高斯核的Parzen估計 ：iNkiklliixxNwxp1222)2exp()2(11)|(分類任務：假設有c類，w1, w2, wc5iNkikiiixxNwpxg122)2exp()()(判別函數(shù)判別函數(shù)省去共有元素，再歸一化：ikx是屬于第iw類的第k個訓練樣本 l是樣本向量的維數(shù) 是平滑參數(shù)iNiw是第類的訓練樣本總數(shù) ijiwxijxgxg則若,)()(判別規(guī)則判別規(guī)則只需經(jīng)驗給出，或聚類法，可取為在同組中特征向量之間距離平均值的一半。112liix對所有樣本進行歸一化 ，iNk

4、ikiixxNwp12T)1-exp()(ikikikikxxxxxxxxTT222222|6網(wǎng)絡模型網(wǎng)絡模型 輸入層輸入層 樣本層樣本層 求和層求和層（競爭層）（競爭層）三、概率神經(jīng)網(wǎng)絡模型三、概率神經(jīng)網(wǎng)絡模型右圖以三類為例，右圖以三類為例，即即C=3；同時，；同時，設特征向量維數(shù)設特征向量維數(shù)為為3。連接關系7以三類為例以三類為例即即C=3；同時，設特同時，設特征向量維數(shù)征向量維數(shù)為為3。網(wǎng)絡模型網(wǎng)絡模型各層功能8輸入層輸入層求和層求和層樣本層樣本層競爭層競爭層神經(jīng)元個數(shù)是特征向量維數(shù)神經(jīng)元個數(shù)是特征向量維數(shù)神經(jīng)元個數(shù)是訓練樣本的個數(shù)神經(jīng)元個數(shù)是訓練樣本的個數(shù)神經(jīng)元個數(shù)是類別個數(shù)神經(jīng)元個數(shù)

5、是類別個數(shù)神經(jīng)元個數(shù)為神經(jīng)元個數(shù)為1 1在輸入層中，網(wǎng)絡計算輸入向量與所有訓練樣本向量之間的距離。在輸入層中，網(wǎng)絡計算輸入向量與所有訓練樣本向量之間的距離。 樣本層的激活函數(shù)是高斯函數(shù)。樣本層的激活函數(shù)是高斯函數(shù)。將樣本層的輸出按類相加，相當于將樣本層的輸出按類相加，相當于c c個加法器。個加法器。判決的結果由競爭層輸出，輸出結果中只有一個判決的結果由競爭層輸出，輸出結果中只有一個1 1，其余結果都是，其余結果都是0 0，概，概率值最大的那一類輸出結果為率值最大的那一類輸出結果為1 1。 9 將貝葉斯分類決策理論引入到、推廣到神經(jīng)網(wǎng)絡中來。將貝葉斯分類決策理論引入到、推廣到神經(jīng)網(wǎng)絡中來。 概率

6、神經(jīng)網(wǎng)絡的網(wǎng)絡結構是按照貝葉斯判別函數(shù)來設置的，以概率神經(jīng)網(wǎng)絡的網(wǎng)絡結構是按照貝葉斯判別函數(shù)來設置的，以實現(xiàn)錯誤率或損失最小化。實現(xiàn)錯誤率或損失最小化。 概率神經(jīng)網(wǎng)絡針對概率密度函數(shù)做了三個假設：概率神經(jīng)網(wǎng)絡針對概率密度函數(shù)做了三個假設： 各分類的概率密度函數(shù)形態(tài)相同。各分類的概率密度函數(shù)形態(tài)相同。 此共同的概率密度函數(shù)為高斯分布。此共同的概率密度函數(shù)為高斯分布。 各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，且各對角元素的值相同，值為且各對角元素的值相同，值為 。 因為有了以上三個簡單的限制，而使得概率神經(jīng)網(wǎng)絡在應用上因為有了以上三個簡單

7、的限制，而使得概率神經(jīng)網(wǎng)絡在應用上減少了貝葉斯分類器建構上的問題，增加了許多的便利性。減少了貝葉斯分類器建構上的問題，增加了許多的便利性。四、優(yōu)勢與不足四、優(yōu)勢與不足10 1、網(wǎng)絡學習過程簡單，學習速度快、網(wǎng)絡學習過程簡單，學習速度快 學習一次完成，比BP快5個數(shù)量級，比RBF2個數(shù)量級。 2、分類更準確，對錯誤、噪聲容忍高、分類更準確，對錯誤、噪聲容忍高 錯誤率、風險最小化。沒有局部極小值問題，當有代表性的訓練樣本數(shù)量增加到足夠大時，分類器一定能達到貝葉斯最優(yōu)。 RBF也不存在局部極小值問題，問題有唯一確定解。 3、容錯性好，分類能力強。、容錯性好，分類能力強。 判別界面漸進地逼近貝葉斯最優(yōu)

8、分類面。 PNN與與BP、RBF神經(jīng)網(wǎng)絡的比較神經(jīng)網(wǎng)絡的比較11不足不足1、對訓練樣本的代表性要求高、對訓練樣本的代表性要求高2、需要的存儲空間更大、需要的存儲空間更大12五、基本學習算法五、基本學習算法1、歸一化XXXXXXXXXmnmmnnX.212222111211nkmknkknkkTxxxB121221211.11該矩陣的訓練樣本有m個，每一個樣本維數(shù)為n歸一化系數(shù)XBCnmnmnm11111C即為歸一化后的學習樣本mXXX.21訓練樣本矩陣13基本學習算法基本學習算法2、將歸一化好的m個樣本送入到網(wǎng)絡輸入層中。 3、模式距離的計算 該距離是指樣本矩陣與學習矩陣中相應元素之間的距離。

9、MxMxMxMxMxMxMxMxMxmmnmmmmnn112222222111112111CCCCCCCCCmnmmnn21222211121114 假設將由P個n維向量組成的矩陣稱為待識別樣本矩陣，則經(jīng)歸一化后，需要待識別的輸入樣本矩陣為：待分類樣本矩陣，有p個，每一個樣本維數(shù)為n 計算歐式距離：就是需要識別的歸一化的樣本向量di，與每一個歸一化后的訓練樣本(Cj)的歐式距離。 ppnppnndddDddddddddd.21212222111211基本學習算法基本學習算法15nkmkpknkkpknkkpknkmkknkkknkkknkkknkkknkkkcdcdcdcdcdcdcdcdcd

10、E121221211221222121212m112211211EEEEEEEEEpmppmm212222111211歸一化的訓練樣本Ci, i=1,2,m;歸一化的待分類樣本dj, j=1,2,p;Eij：表示第i個待分類樣本(di)與第j個訓練樣本(Cj)的歐式距離?；緦W習算法基本學習算法16 第四步：模式層高斯函數(shù)的神經(jīng)元被激活。學習樣本與待識別樣本被歸一化后，通常取標準差=0.1的高斯型函數(shù)。激活后得到初始概率矩陣： eeeeeeeeeEEEEEEEEEPpmppmm222212222222121212211222222222PPPPPPPPPpmppmm212222111211基本

11、學習算法基本學習算法17 第五步：假設樣本有m個，那么一共可以分為c類，并且各類樣本的數(shù)目相同，設為k，則可以在網(wǎng)絡的求和層求得各個樣本屬于各類的初始概率和： mkmlplkklplklplmkmllkkllkllmkmllkkllkllPPPPPPPPPS121112212121121111pcppccSSSSSSSSS212222111211基本學習算法基本學習算法18 第六步：計算概率，即第i個樣本屬于第j類的概率。clilijijSSprob1基本學習算法基本學習算法19六、應用領域六、應用領域 概率神經(jīng)網(wǎng)絡主要用于分類和模式識別領域，概率神經(jīng)網(wǎng)絡主要用于分類和模式識別領域，其中分類方

12、面應用最為廣泛，這種網(wǎng)絡已較廣泛其中分類方面應用最為廣泛，這種網(wǎng)絡已較廣泛地應用于地應用于非線性濾波、模式分類、聯(lián)想記憶和概非線性濾波、模式分類、聯(lián)想記憶和概率密度估計率密度估計當中。它的優(yōu)勢在于用線性學習算法當中。它的優(yōu)勢在于用線性學習算法來完成非線性學習算法所做的工作，同時保證非來完成非線性學習算法所做的工作，同時保證非線性算法的高精度等特性。線性算法的高精度等特性。 20七、一個應用實例七、一個應用實例對彩色車牌圖像進行二值化對彩色車牌圖像進行二值化 分類任務分析：特征向量是每個像素點的顏色分類任務分析：特征向量是每個像素點的顏色RBG值。值。 類別數(shù)有類別數(shù)有2類，類， A類表示背景色

13、，為接近藍色或者背景中類表示背景色，為接近藍色或者背景中出現(xiàn)的其他顏色。出現(xiàn)的其他顏色。 B類為號碼色，接近白色的顏色。類為號碼色，接近白色的顏色。 用用PNN對每個像素點進行訓練、分類，對每個像素點進行訓練、分類， 再用再用0、1這兩個這兩個數(shù)值來表示數(shù)值來表示A類、類、B類，重新設置圖片中像素的顏色實現(xiàn)了車類，重新設置圖片中像素的顏色實現(xiàn)了車牌號圖像的二值化。牌號圖像的二值化。 第一步，選取背景色和號碼色的樣本圖片，收集它們各第一步，選取背景色和號碼色的樣本圖片，收集它們各自的顏色樣本數(shù)據(jù)；自的顏色樣本數(shù)據(jù)； 第二步，運用收集的顏色數(shù)據(jù)訓練第二步，運用收集的顏色數(shù)據(jù)訓練PNNPNN神經(jīng)網(wǎng)絡

14、；神經(jīng)網(wǎng)絡； 第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)輸入輸入PNNPNN神經(jīng)網(wǎng)絡完成分類，然后重置圖片顏色數(shù)據(jù)完成二神經(jīng)網(wǎng)絡完成分類，然后重置圖片顏色數(shù)據(jù)完成二值化。值化。 21的改進與遺傳算法的改進與遺傳算法PNN神經(jīng)網(wǎng)絡模型中，唯一要調整的參數(shù)是神經(jīng)網(wǎng)絡模型中，唯一要調整的參數(shù)是 已發(fā)現(xiàn)，在實際問題中不難找到良好的已發(fā)現(xiàn)，在實際問題中不難找到良好的值，并且，隨著值，并且，隨著的微小變化，錯誤分類比率不發(fā)生顯著變化的微小變化，錯誤分類比率不發(fā)生顯著變化。 值太小，對于單獨訓練值太小，對于單獨訓練的樣本僅僅起到隔離的作用，的樣本僅僅起到

15、隔離的作用，在本質上是最近鄰域分類器；在本質上是最近鄰域分類器； 如果太大，不能夠完全如果太大，不能夠完全區(qū)分細節(jié)，對于界限不明顯區(qū)分細節(jié)，對于界限不明顯的不同類別，可能是得不到的不同類別，可能是得不到理想的分類效果，這時接近理想的分類效果，這時接近于線性分類器于線性分類器 因此，如何確定合適的因此，如何確定合適的參數(shù)是概率神經(jīng)網(wǎng)絡的關鍵參數(shù)是概率神經(jīng)網(wǎng)絡的關鍵問題。問題。 八、優(yōu)化改進八、優(yōu)化改進22遺傳算法遺傳算法 遺傳算法以生物進化原理為基礎，在每一代群體中，不遺傳算法以生物進化原理為基礎，在每一代群體中，不斷按照個體適應度大小選擇，并進行交叉和變異，產(chǎn)生新的斷按照個體適應度大小選擇，并

16、進行交叉和變異，產(chǎn)生新的群體，這樣種群不斷得到進化，同時以全局并行搜索技術來群體，這樣種群不斷得到進化，同時以全局并行搜索技術來進行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳進行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳算法不受函數(shù)連續(xù)與可微的限制，而且結果全局最優(yōu)，因此算法不受函數(shù)連續(xù)與可微的限制，而且結果全局最優(yōu)，因此完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡的平滑系數(shù)進行優(yōu)化完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡的平滑系數(shù)進行優(yōu)化，尋找最優(yōu)的參數(shù)。，尋找最優(yōu)的參數(shù)。 一般情況下假設一般情況下假設 ，不能將概率特性完整，不能將概率特性完整地表示出來，降低了地表示出來，降低了PNN識別的精度。利用遺傳算法優(yōu)化概識別的精度。利用遺傳算法優(yōu)化概率神經(jīng)網(wǎng)絡的平滑參數(shù)時，對應于每個模式類別的率神經(jīng)網(wǎng)絡的平滑參數(shù)時，對應于每個模式類別的 是不同是不同的。的。 .21j23設定平滑因子的取值范圍，隨機長生初始種群，設定平滑因子的取值范圍，隨機長生初始種群， M為種群規(guī)模，并設當前代數(shù)為種群規(guī)模，并設當前代數(shù) t=1;(2)根據(jù)由染色體獲得的平滑因子，構建根據(jù)由染色體獲得的平滑因子，構建PNN網(wǎng)絡，計算分類正確的個網(wǎng)絡，計算分類正確的個數(shù)及誤差，