概率密度密度的估計.ppt

1、,北華大學電氣信息工程學院,PRA,第三章 概率密度密度的估計,模式識別理論及應用Pattern Recognition - Methods and Application,內(nèi)容目錄,PRA,第三章 概率密度密度的估計,3.1 引言,2,1,3,4,3.2 參數(shù)估計,3.3 非參數(shù)估計,3.4 討論,第三章概率密度密度的估計,3,3.1 引言,基于樣本的Bayes分類器：通過估計類條件概率密度函數(shù)，設計相應的判別函數(shù),最一般情況下適用的“最優(yōu)”分類器：錯誤率最小，對分類器設計在理論上有指導意義。 獲取統(tǒng)計分布及其參數(shù)很困難，實際問題中并不一定具備獲取準確統(tǒng)計分布的條件。,分類器功能結構,第三章

2、概率密度密度的估計,4,直接確定判別函數(shù),基于樣本的直接確定判別函數(shù)方法： 針對各種不同的情況，使用不同的準則函數(shù)，設計出滿足這些不同準則要求的分類器。 這些準則的“最優(yōu)”并不一定與錯誤率最小相一致：次優(yōu)分類器。 實例：正態(tài)分布最小錯誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù)g(x)=wTx（決策面是超平面），能否基于樣本直接確定w?,引言,第三章概率密度密度的估計,5,基于樣本的Bayes分類器設計,Bayes決策需要已知兩種知識： 各類的先驗概率P(i) 各類的條件概率密度函數(shù)p(x|i),知識的來源：對問題的一般性認識或一些訓練數(shù)據(jù) 基于樣本的兩步Bayes分類器設計: 利用樣本集估計

3、P(i)和p(x|i) 基于上述估計值設計判別函數(shù)及分類器 面臨的問題： 如何利用樣本集進行估計 估計量的評價,第三章概率密度密度的估計,6,概率密度估計的方法,類的先驗概率的估計： 用訓練數(shù)據(jù)中各類出現(xiàn)的頻率估計 依靠經(jīng)驗 類條件概率密度估計的兩種主要方法： 參數(shù)估計：概率密度函數(shù)的形式已知，而表征函數(shù)的參數(shù)未知，通過訓練數(shù)據(jù)來估計 最大似然估計 Bayes估計 非參數(shù)估計：密度函數(shù)的形式未知，也不作假設，利用訓練數(shù)據(jù)直接對概率密度進行估計 Parzen窗法 kn-近鄰法,引言,第三章概率密度密度的估計,7,3.2 參數(shù)估計,統(tǒng)計量：樣本集的某種函數(shù)f(K) 參數(shù)空間：總體分布的未知參數(shù)所有

4、可能取值組成的集合(),點估計的估計量和估計值：,第三章概率密度密度的估計,8,估計量的評價標準,估計量的評價標準：無偏性，有效性，一致性 無偏性：E( )= 有效性：D( )小，更有效 一致性：樣本數(shù)趨于無窮時， 依概率趨于：,第三章概率密度密度的估計,9,3.2.1 最大似然估計,Maximum Likelihood (ML) 樣本集可按類別分開，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓練。 概率密度函數(shù)的形式已知，參數(shù)未知，為了描述概率密度函數(shù)p(x|i)與參數(shù)的依賴關系，用p(x|i ,)表示。 估計的參數(shù)是確定而未知的，Bayes估計方法則視為隨機變量。 獨立地按概率密度p(x

5、|)抽取樣本集K=x1, x2 , xN，用K估計未知參數(shù),第三章概率密度密度的估計,10,似然函數(shù),似然函數(shù)：,對數(shù)(loglarized)似然函數(shù)：,最大似然估計,第三章概率密度密度的估計,11,最大似然估計,最大似然估計,第三章概率密度密度的估計,12,最大似然估計示意圖,最大似然估計,第三章概率密度密度的估計,13,計算方法,最大似然估計量使似然函數(shù)梯度為0 ：,最大似然估計,第三章概率密度密度的估計,14,一元正態(tài)分布例解,最大似然估計,第三章概率密度密度的估計,15,一元正態(tài)分布均值的估計,最大似然估計,第三章概率密度密度的估計,16,一元正態(tài)分布方差的估計,最大似然估計,第三章概

6、率密度密度的估計,17,多元正態(tài)分布參數(shù)最大似然估計,均值估計是無偏的，協(xié)方差矩陣估計是有偏的。 協(xié)方差矩陣的無偏估計是：,最大似然估計,第三章概率密度密度的估計,18,3.2.2 貝葉斯估計-最大后驗概率,用一組樣本集K=x1, x2 , xN估計未知參數(shù) 未知參數(shù)視為隨機變量，先驗分布為 p()，而在已知樣本集K出現(xiàn)的條件下的后驗概率為：p(|K) 最大后驗概率估計-Maximum a posteriori (MAP),第三章概率密度密度的估計,19,貝葉斯估計-最小風險,參數(shù)估計的條件風險：給定x條件下，估計量的期望損失,參數(shù)估計的風險：估計量的條件風險的期望,貝葉斯估計：使風險最小的估

7、計,貝葉斯估計,第三章概率密度密度的估計,20,貝葉斯估計,損失函數(shù)：誤差平方,貝葉斯估計,定理 3.1: 如果定義損失函數(shù)為誤差平方函數(shù)，則有：,第三章概率密度密度的估計,21,貝葉斯估計的步驟,貝葉斯估計,確定的先驗分布 p() 由樣本集K=x1, x2 , xN求出樣本聯(lián)合分布：p(K|) 計算的后驗分布 計算貝葉斯估計,第三章概率密度密度的估計,22,一元正態(tài)分布例解,總體分布密度為：,貝葉斯估計,均值未知，的先驗分布為：,用貝葉斯估計方法求的估計量,樣本集： K=x1, x2 , xN,第三章概率密度密度的估計,23,一元正態(tài)分布例解,計算的后驗分布：,貝葉斯估計,計算的貝葉斯估計：

8、,第三章概率密度密度的估計,24,貝葉斯學習,貝葉斯學習：利用的先驗分布 p()及樣本提供的信息求出的后驗分布p(|K) ，然后直接求總體分布,貝葉斯學習,第三章概率密度密度的估計,25,一元正態(tài)分布例解,總體分布密度為：,貝葉斯學習,均值未知，的先驗分布為： 樣本集： K=x1, x2 , xN,計算的后驗分布：,第三章概率密度密度的估計,26,一元正態(tài)分布例解,直接計算總體密度：,貝葉斯學習,第三章概率密度密度的估計,27,3.2.3 混合高斯模型,Mixed gaussian distribution 密度函數(shù)具有如下形式：正態(tài)模型的線性組合,需估計的參數(shù)：,參數(shù)估計,采用迭代法進行參數(shù)

9、估計,第三章概率密度密度的估計,28,3.3 非參數(shù)估計,非參數(shù)估計：密度函數(shù)的形式未知，也不作假設，利用訓練數(shù)據(jù)直接對概率密度進行估計。又稱作模型無關方法。 參數(shù)估計需要事先假定一種分布函數(shù)，利用樣本數(shù)據(jù)估計其參數(shù)。又稱作基于模型的方法 兩種主要方法： 核函數(shù)方法 Parzen窗法 kN-近鄰法 神經(jīng)網(wǎng)絡方法：PNN,第三章概率密度密度的估計,29,3.3.1 核函數(shù)方法,估計的目的：從樣本集K= x1, x2, xN估計樣本空間中任何一點的概率密度p(x) 基本方法：用某種核函數(shù)構造某一樣本對待估計的密度函數(shù)的貢獻，所有樣本所作貢獻的線性組合視作對某點概率密度p(x)的估計,非參數(shù)估計,第

10、三章概率密度密度的估計,30,核函數(shù)方法圖解,非參數(shù)估計,第三章概率密度密度的估計,31,基本方法,基本思想：,兩種常用的方法： Parzen窗法: kN-近鄰法:,非參數(shù)估計,第三章概率密度密度的估計,32,3.3.2 Parzen窗法,樣本集KN= x1, x2, xN 區(qū)域RN是一個d維超立方體，棱長hN，體積VN= hNd 定義窗函數(shù)：,超立方體內(nèi)樣本數(shù)： 某點概率密度p(x)的估計,非參數(shù)估計,第三章概率密度密度的估計,33,核函數(shù)的選擇,核函數(shù)需滿足歸一化條件：,兩種常用的核函數(shù)： 均勻核： 正態(tài)核：,非參數(shù)估計,第三章概率密度密度的估計,34,窗寬的選擇,hN是控制“窗”寬度的參

11、數(shù)，根據(jù)樣本的數(shù)量選擇。 太大：平均，分辨力低 太小：統(tǒng)計變動大 為保證依概率漸進收斂到真實的概率密度，即：,收斂的充要條件：,非參數(shù)估計,第三章概率密度密度的估計,35,不同窗寬的估計效果,非參數(shù)估計,第三章概率密度密度的估計,36,Parzen窗法示例,非參數(shù)估計,第三章概率密度密度的估計,37,有限樣本的影響,均方誤差最小(MSE)準則,維數(shù)災難(Curse of Dimensionality): 當維數(shù)較高時，樣本數(shù)量無法達到精確估計的要求。,非參數(shù)估計,第三章概率密度密度的估計,38,3.3.3 kN-近鄰法,均勻核函數(shù)Parzen估計，窗寬固定，不同位置落在窗內(nèi)的樣本點的數(shù)目是變化的。 kN-近鄰估計：把窗擴大到剛好覆蓋kN個點。落在窗內(nèi)的樣本點的數(shù)目固定，窗寬是變化的。kN根據(jù)樣本總數(shù)N選擇。 概率密度估計表達式：點x處窗的“體積”是Vn：,非參數(shù)估計,第三章概率密度密度的估計,39,kN-近鄰法舉例,kN的選擇：漸進收斂容易保證；有限樣本性質、最小平方誤差與Parzen窗幾乎相同,非參數(shù)估計,第三章概率密度密度的估計,40,3.4 討論,高維概率分布的估計無論在理論上還是實際操作中都是一個十分困難的問題。 概率密度函數(shù)包含了隨機變量的全部信息，是導致估計困難的重要原因。 進行模式識別并不需要利用概率密度的所有信息，只需要求出分類面。 先估計概率密度，再進