概率神經(jīng)網(wǎng)絡(luò)【一類嚴(yán)選】

1、概率神經(jīng)網(wǎng)絡(luò)Probabilistic neural network,1,行業(yè)相關(guān),2,以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函數(shù)，進(jìn)而構(gòu)造出能夠計算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（PNN），該判定邊界接近于貝葉斯最佳判定面。,1、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風(fēng)險最小化） 2、基于概率密度估計方法 不同于反向傳播算法中的試探法，而是基于統(tǒng)計學(xué)中已有的概率密度函數(shù)的非參數(shù)估計方法。 3、前向傳播算法 沒有反饋,一、簡介,2,行業(yè)相關(guān),什么是概率神經(jīng)網(wǎng)絡(luò) （Probabilistic neural networks）？,貝葉斯決策： 1、最小錯誤率，即最大后驗概率準(zhǔn)則 2、最小風(fēng)險率（代價

2、、損失） 以最小錯誤率貝葉斯決策為例，推導(dǎo) PNN的理論模型。,3,行業(yè)相關(guān),貝葉斯決策,概率密度函數(shù)估計,其中，,基于訓(xùn)練樣本，高斯核的Parzen估計 ：,分類任務(wù)：假設(shè)有c類，w1, w2, wc,4,行業(yè)相關(guān),判別函數(shù),省去共有元素，再歸一化：,是屬于第,類的第k個訓(xùn)練樣本,是樣本向量的維數(shù),是平滑參數(shù),是第,類的訓(xùn)練樣本總數(shù),判別規(guī)則,只需經(jīng)驗給出，或聚類法，可取為在同組中特征向量之間距離平均值的一半。,對所有樣本進(jìn)行歸一化 ，,5,行業(yè)相關(guān),網(wǎng)絡(luò)模型,輸入層 樣本層 求和層 （競爭層）,三、概率神經(jīng)網(wǎng)絡(luò)模型,右圖以三類為例，即C=3；同時，設(shè)特征向量維數(shù)為3。,連接關(guān)系,6,行業(yè)相

3、關(guān),以三類為例 即C=3； 同時，設(shè)特 征向量維數(shù) 為3。,網(wǎng)絡(luò)模型,各層功能,7,行業(yè)相關(guān),輸入層,求和層,樣本層,競爭層,神經(jīng)元個數(shù)是特征向量維數(shù),神經(jīng)元個數(shù)是訓(xùn)練樣本的個數(shù),神經(jīng)元個數(shù)是類別個數(shù),神經(jīng)元個數(shù)為1,在輸入層中，網(wǎng)絡(luò)計算輸入向量與所有訓(xùn)練樣本向量之間的距離。,樣本層的激活函數(shù)是高斯函數(shù)。,將樣本層的輸出按類相加，相當(dāng)于c個加法器。,判決的結(jié)果由競爭層輸出，輸出結(jié)果中只有一個1，其余結(jié)果都是0，概率值最大的那一類輸出結(jié)果為1。,8,行業(yè)相關(guān),將貝葉斯分類決策理論引入到、推廣到神經(jīng)網(wǎng)絡(luò)中來。 概率神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是按照貝葉斯判別函數(shù)來設(shè)置的，以實現(xiàn)錯誤率或損失最小化。 概率神經(jīng)

4、網(wǎng)絡(luò)針對概率密度函數(shù)做了三個假設(shè)： 各分類的概率密度函數(shù)形態(tài)相同。 此共同的概率密度函數(shù)為高斯分布。 各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，且各對角元素的值相同，值為 。 因為有了以上三個簡單的限制，而使得概率神經(jīng)網(wǎng)絡(luò)在應(yīng)用上減少了貝葉斯分類器建構(gòu)上的問題，增加了許多的便利性。,四、優(yōu)勢與不足,9,行業(yè)相關(guān),1、網(wǎng)絡(luò)學(xué)習(xí)過程簡單，學(xué)習(xí)速度快 學(xué)習(xí)一次完成，比BP快5個數(shù)量級，比RBF2個數(shù)量級。 2、分類更準(zhǔn)確，對錯誤、噪聲容忍高 錯誤率、風(fēng)險最小化。沒有局部極小值問題，當(dāng)有代表性的訓(xùn)練樣本數(shù)量增加到足夠大時，分類器一定能達(dá)到貝葉斯最優(yōu)。 RBF也不存在局部極小值問題，問題有唯一確

5、定解。 3、容錯性好，分類能力強(qiáng)。 判別界面漸進(jìn)地逼近貝葉斯最優(yōu)分類面。,PNN與BP、RBF神經(jīng)網(wǎng)絡(luò)的比較,10,行業(yè)相關(guān),不足,1、對訓(xùn)練樣本的代表性要求高 2、需要的存儲空間更大,11,行業(yè)相關(guān),五、基本學(xué)習(xí)算法,1、歸一化,該矩陣的訓(xùn)練樣本有m個，每一個樣本維數(shù)為n,歸一化系數(shù),C即為歸一化后的學(xué)習(xí)樣本,訓(xùn)練樣本矩陣,12,行業(yè)相關(guān),基本學(xué)習(xí)算法,2、將歸一化好的m個樣本送入到網(wǎng)絡(luò)輸入層中。 3、模式距離的計算 該距離是指樣本矩陣與學(xué)習(xí)矩陣中相應(yīng)元素之間的距離。,13,行業(yè)相關(guān),假設(shè)將由P個n維向量組成的矩陣稱為待識別樣本矩陣，則經(jīng)歸一化后，需要待識別的輸入樣本矩陣為：,待分類樣本矩陣

6、，有p個，每一個樣本維數(shù)為n,計算歐式距離：就是需要識別的歸一化的樣本向量di，與每一個歸一化后的訓(xùn)練樣本(Cj)的歐式距離。 。,基本學(xué)習(xí)算法,14,行業(yè)相關(guān),歸一化的訓(xùn)練樣本Ci, i=1,2,m; 歸一化的待分類樣本dj, j=1,2,p; Eij：表示第i個待分類樣本(di)與第j個訓(xùn)練樣本(Cj)的歐式距離。,基本學(xué)習(xí)算法,15,行業(yè)相關(guān),第四步：模式層高斯函數(shù)的神經(jīng)元被激活。學(xué)習(xí)樣本與待識別樣本被歸一化后，通常取標(biāo)準(zhǔn)差,=0.1的高斯型函數(shù)。激活后得到 初始概率矩陣：,基本學(xué)習(xí)算法,16,行業(yè)相關(guān),第五步：假設(shè)樣本有m個，那么一共可以分為c類，并且各類樣本的數(shù)目相同，設(shè)為k，則可以

7、在網(wǎng)絡(luò)的求和層求得各個樣本屬于各類的初始概率和：,基本學(xué)習(xí)算法,17,行業(yè)相關(guān),第六步：計算概率，即第i個樣本屬于第j類的概率。,基本學(xué)習(xí)算法,18,行業(yè)相關(guān),六、應(yīng)用領(lǐng)域,概率神經(jīng)網(wǎng)絡(luò)主要用于分類和模式識別領(lǐng)域，其中分類方面應(yīng)用最為廣泛，這種網(wǎng)絡(luò)已較廣泛地應(yīng)用于非線性濾波、模式分類、聯(lián)想記憶和概率密度估計當(dāng)中。它的優(yōu)勢在于用線性學(xué)習(xí)算法來完成非線性學(xué)習(xí)算法所做的工作，同時保證非線性算法的高精度等特性。,19,行業(yè)相關(guān),七、一個應(yīng)用實例,對彩色車牌圖像進(jìn)行二值化,分類任務(wù)分析：特征向量是每個像素點(diǎn)的顏色RBG值。 類別數(shù)有2類， A類表示背景色，為接近藍(lán)色或者背景中出現(xiàn)的其他顏色。 B類為號碼

8、色，接近白色的顏色。 用PNN對每個像素點(diǎn)進(jìn)行訓(xùn)練、分類， 再用0、1這兩個數(shù)值來表示A類、B類，重新設(shè)置圖片中像素的顏色實現(xiàn)了車牌號圖像的二值化。,第一步，選取背景色和號碼色的樣本圖片，收集它們各自的顏色樣本數(shù)據(jù)； 第二步，運(yùn)用收集的顏色數(shù)據(jù)訓(xùn)練PNN神經(jīng)網(wǎng)絡(luò)； 第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)輸入PNN神經(jīng)網(wǎng)絡(luò)完成分類，然后重置圖片顏色數(shù)據(jù)完成二值化。,20,行業(yè)相關(guān),的改進(jìn)與遺傳算法,PNN神經(jīng)網(wǎng)絡(luò)模型中，唯一要調(diào)整的參數(shù)是,已發(fā)現(xiàn)，在實際問題中不難找到良好的,值，并且，隨著,的微小變化，錯誤分類比率不發(fā)生顯著變化。,值太小，對于單獨(dú)訓(xùn)練的樣本僅僅起到隔離的作用，在本質(zhì)上

9、是最近鄰域分類器； 如果太大，不能夠完全區(qū)分細(xì)節(jié)，對于界限不明顯的不同類別，可能是得不到理想的分類效果，這時接近于線性分類器 因此，如何確定合適的參數(shù)是概率神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題。,八、優(yōu)化改進(jìn),21,行業(yè)相關(guān),遺傳算法,遺傳算法以生物進(jìn)化原理為基礎(chǔ)，在每一代群體中，不斷按照個體適應(yīng)度大小選擇，并進(jìn)行交叉和變異，產(chǎn)生新的群體，這樣種群不斷得到進(jìn)化，同時以全局并行搜索技術(shù)來進(jìn)行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳算法不受函數(shù)連續(xù)與可微的限制，而且結(jié)果全局最優(yōu)，因此完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡(luò)的平滑系數(shù)進(jìn)行優(yōu)化，尋找最優(yōu)的參數(shù)。 一般情況下假設(shè) ，不能將概率特性完整地表示出來，降低了PNN識別的精度。利用遺傳算法優(yōu)化概率神經(jīng)網(wǎng)絡(luò)的平滑參數(shù)時，對應(yīng)于每個模式類別的 是不同的。,22,行業(yè)相關(guān),設(shè)定平滑因子的取值范圍，隨機(jī)長生初始種群， M為種群規(guī)模，并設(shè)當(dāng)前代數(shù) t=1; (2)根據(jù)由染色體獲得的平滑因子，構(gòu)建PNN網(wǎng)絡(luò)，計算分類正確的個數(shù)及誤差，即計算染色體的適