第三章 統(tǒng)計(jì)模式識別中的概率分類法

1、第三章 統(tǒng)計(jì)模式識別中的概率分類法中科大 自動化系鄭志剛2012.9 3.1 引言 3.2 最小錯誤率判決規(guī)則 3.3 最小風(fēng)險(xiǎn)判決規(guī)則 3.4 最大似然比判決規(guī)則 3.5 Neyman-Pearsen判決規(guī)則 3.6 最小最大判決規(guī)則 3.7 分類器設(shè)計(jì) 3.8 正態(tài)分布時(shí)的統(tǒng)計(jì)決策 3.9 參數(shù)估計(jì)與非參數(shù)估計(jì) 通過判決函數(shù)，特征空間被區(qū)分界面劃分成兩種類型的區(qū)域A和B。由于模式樣本的觀測值是確定性的，經(jīng)常被正確分配到類型區(qū)域A、B之中。假如我們用概率的形式來表達(dá)，就是：在類型A的條件下觀測模式樣本x，則x位于區(qū)域A的概率為1，而位于區(qū)域B的概率為0。同樣，在類型B的條件下觀測模式樣本x，

2、情況正好相反，x位于區(qū)域A的概率為0，而位于區(qū)域B的概率為1。這實(shí)際上是將概率的方法引入到確定模式，對于大多數(shù)實(shí)際情況，這是非常理想的概率分布。 許多實(shí)際情況，即使在類型A的條件下，模式樣本x位于區(qū)域A的概率也往往小于1，而位于區(qū)域B的概率也不為0。對于類型B的條件也一樣。這種交錯分布的樣本使分類發(fā)生錯誤，是模式隨機(jī)性的一種表現(xiàn)。此時(shí)，分類方法就從確定性模式轉(zhuǎn)到隨機(jī)模式。 “如何使分類錯誤率盡可能小，是研究各種分類方法的中心議題?！?Bayes決策理論是隨機(jī)模式分類方法最重要的基礎(chǔ)。下面是幾個重要的概念：1.1. 先驗(yàn)概率先驗(yàn)概率 先驗(yàn)概率是預(yù)先已知的或者可以估計(jì)的模式識別系統(tǒng)位于某種類先驗(yàn)概

3、率是預(yù)先已知的或者可以估計(jì)的模式識別系統(tǒng)位于某種類型的概率。型的概率。 若仍然用兩個類型若仍然用兩個類型 A A 和和 B B 為例，可用為例，可用)(AP和和)(BP表示各自的先驗(yàn)概表示各自的先驗(yàn)概率，此時(shí)滿足率，此時(shí)滿足1)()(BPAP。 推廣到一般的推廣到一般的 c c 類問題中，用類問題中，用cwww,21表示類型，則各自的先驗(yàn)表示類型，則各自的先驗(yàn)概率用概率用)(,),(),(21cwPwPwP表示，且滿足：表示，且滿足： 1)()()(21cwPwPwP 其實(shí)，在處理實(shí)際問題時(shí)，有時(shí)不得不以先驗(yàn)概率的大小作為判其實(shí)，在處理實(shí)際問題時(shí)，有時(shí)不得不以先驗(yàn)概率的大小作為判決的依據(jù)。如：

4、有一批木材，其中樺木占決的依據(jù)。如：有一批木材，其中樺木占 7070，松木占，松木占 3030，A A樺木，樺木，B B松木，則松木，則7 . 0)(AP，3 . 0)(BP，如果從中任取一塊木材，如果從中任取一塊木材，而又要用先驗(yàn)概率作出判決，那就判為樺木。而又要用先驗(yàn)概率作出判決，那就判為樺木。 先驗(yàn)概率不能作為判決的唯一依據(jù)，但當(dāng)先驗(yàn)概率相當(dāng)大時(shí)，它也能先驗(yàn)概率不能作為判決的唯一依據(jù)，但當(dāng)先驗(yàn)概率相當(dāng)大時(shí)，它也能成為主要因素。成為主要因素。 例例1：為了對癌癥進(jìn)行診斷，對一批人進(jìn)行：為了對癌癥進(jìn)行診斷，對一批人進(jìn)行一次普查，各每個人打試驗(yàn)針，觀察反應(yīng)，一次普查，各每個人打試驗(yàn)針，觀察反應(yīng)

5、，然后進(jìn)行統(tǒng)計(jì)，規(guī)律如下：然后進(jìn)行統(tǒng)計(jì)，規(guī)律如下：這一批人中，每這一批人中，每1000個人中有個人中有5個癌癥病人；個癌癥病人；這一批人中，每這一批人中，每100個正常人中有一個試驗(yàn)呈個正常人中有一個試驗(yàn)呈陽性反應(yīng)；陽性反應(yīng)；這一批人中，每這一批人中，每100個癌癥病人中有個癌癥病人中有95人試驗(yàn)人試驗(yàn)呈陽性反應(yīng)。呈陽性反應(yīng)。 問：若某人（甲）呈陽性反應(yīng)，甲是否正問：若某人（甲）呈陽性反應(yīng)，甲是否正常？常？ 聶曼皮爾遜判決規(guī)則的基本思想是：在一種錯誤率不變的條件下，使另一種錯誤率最小。 這是具有實(shí)際意義的，例如，在細(xì)胞的化驗(yàn)中，由于把異常細(xì)胞錯判為正常細(xì)胞的風(fēng)險(xiǎn)較大，可以要求這種錯判的錯誤率不

6、大于某個指定的常數(shù)作為前提條件，使正常細(xì)胞錯判為異常細(xì)胞的錯誤率盡可能小，以此為原則來選擇判決門限t，這就是聶曼皮爾遜判決規(guī)則的基本思想。2121112221112222011212,P xdxP xdxrP xdxP xdx為判為的錯誤率為判為的錯誤率 如圖所示：，聶曼皮爾遜準(zhǔn)則是在取為常數(shù)時(shí)使最小，要滿足以上條件 先定義一個輔助常數(shù)：其中： 為代定常數(shù))(1xP)(2xP12X1X12如圖所示：時(shí)為最小錯誤率小但大小大但小大如圖所示：的不同直線。判別邊界是平行于對于不同式有了判別邊界和判別形即判別式為：判別邊界為：如右圖所示.1,;,ln212exp2exp2exp)()(:1212221

7、12111121TTTxTxTxxTxxTTxxPxP42 12141111x2x12345. 07 . 0345. 07 . 0v所以此時(shí)聶曼皮爾遜分類器的分界線為：2111345. 0,69. 02lnln,ln21xxTTx所以因?yàn)関由圖可知為保證2足夠小，邊界應(yīng)向1一側(cè)靠，則1v T與2的關(guān)系表如右：最小的判別規(guī)則。時(shí)使這就是在給定最小上式使此時(shí)判別式為：由表查得給定12122121209. 0,2)()(209. 0 xTxPxPT的關(guān)系表與2TT 4 2 1 20.04 0.09 0.16 0.25 0.381PR固定21,*RA選擇不同21,)(1*P使最大可能的平均風(fēng)險(xiǎn)為最小

8、但是b0又意味著由于類型區(qū)域的劃分使平均風(fēng)險(xiǎn)達(dá)到曲線極值，如下圖所示。此時(shí) ， 為曲線的最大值。 即在訓(xùn)練過程中使平均風(fēng)險(xiǎn)達(dá)到最大值，恰好在分類判決中使最大可能的平均風(fēng)險(xiǎn)達(dá)到最小值，這就是最小最大判決規(guī)則的基本思想。 bwR)(/1)()(11wPwPdDR 1PR*RB)(1*P不變變化RP13.7 分類器設(shè)計(jì)分類器設(shè)計(jì)1. 判別函數(shù)和決策面判別函數(shù)和決策面定義：用于表達(dá)決策規(guī)則的函數(shù)稱為判別函數(shù)。決策面：將劃分決策域的邊界面稱為決策面?？捎脭?shù)學(xué)表達(dá)式表達(dá)為決策面方程。指x的維數(shù)：在一維空間，對應(yīng)的是點(diǎn)在二維空間，對應(yīng)的是曲線在三維空間，對應(yīng)的是曲面在四維空間對應(yīng)的是超曲面3）分類器設(shè)計(jì)功能

9、：先設(shè)計(jì)出c個判別函數(shù) ，再從中選出對應(yīng)于判決函數(shù)為最大值的類作為決策結(jié)果。g1(x)Maxg(x)nxxxX.21特征向量判別計(jì)算決策ixg2(x)gn(x)最大值選擇器.)(xgi3兩類情況（1）判決函數(shù)決策規(guī)則：具體來說，可定義： （2）決策面方程也可以表示為：（3）分類器設(shè)計(jì)通過計(jì)算，根據(jù)計(jì)算結(jié)果的符號將x分類。)()()(21xgxgxg21, 0)(, 0)(wxxgwxxg決策決策)|()|()(21xwxwxg)()|()()|()(2211wPwxwPwxxg)()(ln)|()|(ln)(2121wPwPwxwxxg0)(xg0)()|()()|(2211wPwxwPwxg

10、(x)nxxxX.21特征向量判別計(jì)算決策21x閾值單元v3.8 正態(tài)分布決策理論正態(tài)分布決策理論 一、正態(tài)分布判別函數(shù) 1、為什么采用正態(tài)分布： a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡單，N(, ) 只有均值和方差兩個參數(shù)。 2、單變量正態(tài)分布： )()()(,)()(:),(21exp21)(22222方差，均值或數(shù)學(xué)期望其中dxxPxxEdxxxPxENxxP1)()( , 0)(dxxPxxP列關(guān)系：概率密度函數(shù)應(yīng)滿足下)(xPX2295.013、（多變量）多維正態(tài)分布 （1）函數(shù)形式：的行列式為的逆陣，為維協(xié)方差矩陣，為維均值向量，維特征向量其中12121121

11、2),.,(,.,:21exp21)(nnnnxxxxxxxPTnTnTniiiiidxxPxxE)()(nnnnnnnnnnnnTxxxxxxxxExxxxExxE.,.,.111111111111是協(xié)方差，非對角線是方差對角線jijixxExxExxExxEijijnnnnnnnnnnnnn22222212121221111111111,.(2)、性質(zhì)： 、與對分布起決定作用P()=N(, ), 由n個分量組成，由n(n+1)/2元素組成。多維正態(tài)分布由n+n(n+1)/2個參數(shù)組成。 、等密度點(diǎn)的軌跡是一個超橢球面。區(qū)域中心由決定，區(qū)域形狀由決定。 211X2X常記為：)(x),(N。

12、常數(shù))()(1xxT)()(12xxT、不相關(guān)性等價(jià)于獨(dú)立性。若xi與xj互不相關(guān),則xi與xj一定獨(dú)立。不相關(guān)： 獨(dú)立：)()()(jijixExExxE)()(),(jijixPxPxxP、線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。 、線性組合的正態(tài)性 其中，a與x同維。),()(NxAxy 0|A),()(TAAANyxayT),()(aaaNyTT 判別函數(shù)：類條件概率密度用正態(tài)來表示：)(lnln212ln221)(ln21exp21ln)(21exp21)()()(112121212iiiiTiiiiTiiniiiTiiniiPnxxPxxPxx

13、PxPxg 決策面方程：()()0ijgxgx0 )()(ln)lnln)()()()(21)()(11jijijjjiiijiPPxxxxxgxg二、最小錯誤率(Bayes)分類器：從最小錯誤率這個角度來分析Bayes 分類器 1.第一種情況：第一種情況：各個特征統(tǒng)計(jì)獨(dú)立，且同方差情況。(最簡單情況)零。，只有方差，協(xié)方差為即22112.0.0.:nniI iTiiiiiiiTiiiiiiiiiTiixxxPxPxxxginIIIPnxxxg222121221),(ln2)(ln21)(2ln2,1,)(lnln212ln221)(其中對分類無影響。無關(guān)。都與因?yàn)?(,2)()(.)()(2

14、221歐氏距離imxxgPPP判別函數(shù)：v如果M類先驗(yàn)概率相等： 最小距離分類器：未知x與i相減，找最近的i把x歸類 ijTjMwiTiiiiTiiiiiTiiTiTiiTiTixwxwwxwxgPwwwxwxgixxxxxxx0102020max)()(ln21,1)( ,)(,2判別規(guī)則：其中：線性判別函數(shù)簡化可得：無關(guān)與因?yàn)槎雾?xiàng))()(ln)(210)(0)()(200jijijijijijiPPxWxxWxgxg其中決策面方程：21212211212212)()(ln)(21)(1)()()(xPPxxgxgxgTTT對于二類情況討論：的聯(lián)線。垂直于決策面同方向同相與，所以又因?yàn)榇怪?/p>

15、與，因此分界面點(diǎn)積為與因率面是一個圓形。協(xié)方差為零。所以等概因?yàn)镠WWWHxxWbIajii)(0)(: )(,: )(21210221i二類情況下界面。均值聯(lián)線的垂直線作為對多類情況，用各類的。離開先驗(yàn)概率大的一類否則就是聯(lián)線的中點(diǎn)。通過如果先驗(yàn)概率相等: )(),()(),()(: )(2121dHPPHPPc12WH時(shí)決策面)()(21PP124334H23H14H12H1121x2xHW20 x)()()(21)()(.)()()()(ln)()(21)(.21321121馬氏距離，若先驗(yàn)概率相等無關(guān)與因?yàn)閞xxxgPPPPPxxxgiiTiiiiiTiiM 未知x，把x與各類均值相減

16、，把x歸于最近一類。最小距離分類器。)(ln21,)()()(101011iiTiiiiiTiiTiTiPwWwxWxgixxxx其中（線性函數(shù)）無關(guān)。與展開；把 2、第二種情況：、第二種情況：i 相等，即各類協(xié)方差相等。)()()()()(ln)(21)(, 0)(1010jiTjijijijijiTPPxWxxW。其中0)()()()(ln)(21)()()()(max)(21212211111212010 xgxgxPPxxgxgxgxwxWwxWxgjijiTTijTjMjiTii相鄰與決策界面：若對于二類情況決策規(guī)則： 討論：針對1，2二類情況，如圖：。離開先驗(yàn)概率大的一類否則通過均

17、值聯(lián)線中點(diǎn)則則若各類先驗(yàn)概率相等，值聯(lián)線。不垂直于不同相與所以因?yàn)辄c(diǎn)。通過正交，與所以點(diǎn)積為與因?yàn)楸菊髦禌Q定長軸由所以等概率面是橢圓，因?yàn)镠HxdHWWcxHxxWxxWbIajijijiii;),(21: )(;)();(: )()(, 0)(: )(,: )(010001121x2xHW20 x 3、第三種情況、第三種情況(一般情況)：為任意，各類協(xié)方差矩陣不等，二次項(xiàng)xT x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(決策規(guī)則：2121212122111112)()(lnln21)()(21)()(21)()()(xPPx

18、xxxxgxgxgTT對于二類情況)(lnln2121)()( ,21,)(:10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，維列向量矩陣其中判別函數(shù)圓)(a1x2x12雙曲線)(d122橢圓)(b21拋物線)(c1212先驗(yàn)概率相等。為條件獨(dú)立；二類情況對于二類問題，條件：各種圖形：下面看一下決策界面的決策面方程：:0)()(2121cxxbaxgxgji直線)(e2211w指向的一側(cè)為正，是w1的區(qū)域R1，負(fù)向的一側(cè)為w2。3.12 參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì)與非參數(shù)估計(jì) 參數(shù)估計(jì)與監(jiān)督學(xué)習(xí) 參數(shù)估計(jì)理論 非參數(shù)估計(jì)理論 3.12.1 參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)貝葉

19、斯分類器中只要知道先驗(yàn)概率，條件概率或后驗(yàn)概概率 P(i),P(x/i), P(i /x)就可以設(shè)計(jì)分類器了?，F(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計(jì)P(i),P(x/i), P(i /x) 一參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì)：先假定研究的問題具有某種數(shù)學(xué)模型，如 正態(tài)分布，二項(xiàng)分布，再用已知類別的學(xué)習(xí) 樣本估計(jì)里面的參數(shù)。非參數(shù)估計(jì)：不假定數(shù)學(xué)模型，直接用已知類別的學(xué)習(xí) 樣本的先驗(yàn)知識直接估計(jì)數(shù)學(xué)模型。二監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)：在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練， 參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)：不知道樣本類別，只知道樣本的某些 信息去估計(jì)，如：聚類分析。3.12.2 參數(shù)估

20、計(jì)理論 一最大似然估計(jì)一最大似然估計(jì)假定： 待估參數(shù)是確定的未知量 按類別把樣本分成M類X1，X2，X3， XM 其中第i類的樣本共N個 Xi = (X1,X2, XN)T 并且是獨(dú)立從總體中抽取的 Xi中的樣本不包含 (ij)的信息，所以可以對每一 類樣本獨(dú)立進(jìn)行處理。 第i類的待估參數(shù)根據(jù)以上四條假定，我們下邊就可以只利用第i類學(xué)習(xí)樣本來估計(jì)第i類的概率密度，其它類的概率密度由其它類的學(xué)習(xí)樣本來估計(jì)。),.,(21nTij 1.一般原則：一般原則： 第i類樣本的類條件概率密度： P(Xi/i)= P(Xi/ii) = P(Xi/i)原屬于i類的學(xué)習(xí)樣本為Xi=(X1 , X2 ,XN,)T

21、 i=1,2,M求求i的最大似然估計(jì)就是把的最大似然估計(jì)就是把P(Xi/i)看成看成i的函數(shù)，求的函數(shù)，求出使它最大時(shí)的出使它最大時(shí)的i值。值。學(xué)習(xí)樣本獨(dú)立從總體樣本集中抽取的 N個學(xué)習(xí)樣本出現(xiàn)概率的乘積取對數(shù) ：NkiXkPiXPiiXPii1)|()|().|(NkikikNkXPXP11)|(log)|(log對i求導(dǎo),并令它為0：有時(shí)上式是多解的, 上圖有5個解,只有一個解最大即. 0)|(log.11NkikpXP0)|(log.0)|(log111ikNkpikNkXPXPP(Xi/i)，即為的估值利用上式求出ii 2. 多維正態(tài)分布情況 已知, 未知,估計(jì) 服從正態(tài)分布所以在正態(tài)

22、分布時(shí))|(iiXP0)|(log1XPkNk121|2log21)|(XXXPkkTnk NkkX110NkkX1101i待估參數(shù)為代入上式得所以這說明未知均值的最大似然估計(jì)正好是訓(xùn)練樣本的算術(shù)平均。 110)(NkkNXNkkXN11 ， 均未知 A. 一維情況：n=1對于每個學(xué)習(xí)樣本只有一個特征的簡單情況： (n=1)由上式得 即學(xué)習(xí)樣本的算術(shù)平均 樣本方差21211,1222212log21)|(logXXPkik0)(1)|(log11211XXPkNkikNk代入02)(21)|(log12212212NkkikNkXXPNkkXN1111NkXkN122121 討論： 1.正態(tài)總

23、體均值的最大似然估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均 2.正態(tài)總體方差的最大似然估計(jì)與樣本的方差不同，當(dāng)N較大的時(shí)候，二者的差別不大。B多維情況：n個特征（學(xué)生可以自行推出下式）估計(jì)值： 結(jié)論：的估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均 估計(jì)的協(xié)方差矩陣是矩陣 的算術(shù) 平均（nn陣列， nn個值）NkkXN111XTXNkNkk121XXkTk二.貝葉斯估計(jì) 最大似然估計(jì)是把待估的參數(shù)看作固定的未知量，而貝葉斯估計(jì)則是把待估的參數(shù)作為具有某種先驗(yàn)分布的隨機(jī)變量，通過對第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/)轉(zhuǎn)化為后驗(yàn)概率P(/Xi) ，再求貝葉斯估計(jì)。估計(jì)步驟: 確定的先驗(yàn)分布P(),待估參數(shù)為隨機(jī)變量。

24、 用第i類樣本xi=(x1, x2,. xN)T求出樣本的聯(lián)合概率密度分布P(xi|)，它是的函數(shù)。 利用貝葉斯公式,求的后驗(yàn)概率 dPXPPXPXPiii)()|()().|()|(（證明略）求貝葉斯估計(jì)dXPi)|(下面以正態(tài)分布的均值估計(jì)為例說明貝葉斯估計(jì)的過程 一維正態(tài)分布一維正態(tài)分布:已知2,估計(jì) 假設(shè)概率密度服從正態(tài)分布 P(X|)=N(,2), P()=N(0,02) 第i類學(xué)習(xí)樣本xi=(x1, x2,. xN)T, i=1,2,M 第i類概率密度P(x|i,xi)=P(x|xi) 所以后驗(yàn)概率 (貝葉斯公式)dPXPPXPXPiii)()|()().|()|(因?yàn)镹個樣本是獨(dú)

25、立抽取的，所以上式可以寫成 其中 為比例因子,只與x有關(guān),與無關(guān) P(Xk| )=N(,2), P(u)=N(0,02) 其中a,a包含了所有與無關(guān)的因子NkkiPXPaXP1)().|()|(dPXPai)()|(121exp2121exp21)|(002021kNkiXaXP 21exp10022NkkXa)1(2)1(21exp 200122202NkkXNaP(| xi)是u的二次函數(shù)的指數(shù)函數(shù)P(| xi)仍然是一個正態(tài)函數(shù), P(|Xi)=N(N,N2) 可以直接寫成正態(tài)形式：比較以上兩個式子,對應(yīng)的系數(shù)應(yīng)該相等 21exp21)|(2NNNiXP0201222022111NkkN

26、NXNN解以上兩式得 將N,N2代入P(|Xi)可以得到后驗(yàn)概率，再用公式 02022120202NXNNkkN2022022NN的估計(jì)求 ,)|(dXPi 對的估計(jì)為 若令P()=N(0, 02 )=N(0,1) , 2 =1 與最大似然估計(jì)相似，只是分母不同 02022120202NXNNkkNNNkkXNN111NidXP)|( 三貝葉斯學(xué)習(xí)1.貝葉斯學(xué)習(xí)的概念：求出的后驗(yàn)概率之后，直接去推導(dǎo)總體分布即當(dāng)觀察一個樣本時(shí)，N=1就會有一個的估計(jì)值的修正值當(dāng)觀察N=4時(shí)，對進(jìn)行修正，向真正的靠近當(dāng)觀察N=9時(shí)，對進(jìn)行修正，向真正的靠的更近當(dāng)N,N就反映了觀察到N個樣本后對的最好推測，而N2反

27、映了這種推測的不確定性, N, N2,N2 隨觀察樣本增加而單調(diào)減小，且當(dāng)N, N2 0 當(dāng)N，P(|xi)越來越尖峰突起N, P(|xi)函數(shù)，這個過程成為貝葉斯學(xué)習(xí)。 dXPXPdXPXPXXPiii)|()|()|()|()|(2類概率密度的估計(jì) 在求出u的后驗(yàn)概率P(|xi)后，可以直接利用式 推斷類條件概率密度。即P(x|xi) P(x|i ，xi)一維正態(tài)：已知2，未知的后驗(yàn)概率為dxPxPxxPii)|()|()|(服從正態(tài)分布21exp21)|(21exp21)|()|(22xxPxPxPNNNiidxPxPdxPxPxxPiii)|()|()|()|()|(代入dxNNN21

28、exp2121exp2122dxxNNNNNNNN21exp21exp2122222222222221exp2122222NNNx為正態(tài)函數(shù)),(22NNN 結(jié)論： 把第i類的先驗(yàn)概率P(i)與第i類概率密度P(x|xi)相乘可以 得到第i類的后驗(yàn)概率P(i/x) ，根據(jù)后驗(yàn)概率可以分類。 對于正態(tài)分布P(x|xi)，用樣本估計(jì)出來的N代替原來的 用 代替原來的方差 即可。 把估計(jì)值N作為的實(shí)際值，那么使方差由原來的 變 為 ,使方差增大22N2222N多維正態(tài)（ 已知，估計(jì) ）設(shè)P(x|)=N(,) P()=N(0,0).根據(jù)Bayes公式，仿上面步驟可以得到：N , N 有以下關(guān)系21ex

29、p)|(1NNNTiaxP).(.1011ANN).(.)(100111BxNkkNN其中a與無關(guān)這就是在多維情況下，對的估計(jì) NANN10:)(011式得由010101)1(1)1(0)(1 NNxNBNkkNN式得：代入分類器設(shè)計(jì)就可以代入將BayesdxPxPxxPiiN)|()|()|(3.12.3 非參數(shù)估計(jì) 參數(shù)估計(jì)要求密度函數(shù)的形式已知，但這種假定有時(shí)并不成立，常見的一些函數(shù)形式很難擬合實(shí)際的概率密度，經(jīng)典的密度函數(shù)都是單峰的，而在許多實(shí)際情況中卻是多峰的，因此用非參數(shù)估計(jì)。非參數(shù)估計(jì):直接用已知類別樣本去估計(jì)總體密度分布，方法有： 用樣本直接去估計(jì)類概率密度p(x/i)以此來設(shè)

30、計(jì)分類器, 如窗口估計(jì) 用學(xué)習(xí)樣本直接估計(jì)后驗(yàn)概率p(i/x)作為分類準(zhǔn)則 來設(shè)計(jì)分類器如k近鄰法. 1. 密度估計(jì):一個隨機(jī)變量X落在區(qū)域R的概率為P P(X)為P(X)在R內(nèi)的變化值,P(X)就是要求的總體概率密度 RP(x)RxPdxxPPRr)( 假設(shè)有N個樣本X=(X1, X2, XN)T都是按照P(X)從總體中獨(dú)立抽取的 若N個樣本中有k個落入在R內(nèi)的概率符合二項(xiàng)分布 其中P是樣本X落入R內(nèi)的概率 Pk是k個樣本落入R內(nèi)的概率 數(shù)學(xué)期望:E(k)=k=NP 對概率P的估計(jì): 。 是P的一個比較好的估計(jì) 設(shè)P(x)在R內(nèi)連續(xù)變化,當(dāng)R逐漸減小的時(shí)候,小到使P(x)在其上 幾乎沒有變化

31、時(shí)，則 其中 是R包圍的體積 PpCPkNkkNk1NkP NkNkdxxPPR) (NkVxPdxxPPR)() (RdxV 條件密度的估計(jì)： (V足夠小)討論: 當(dāng)V固定的時(shí)候N增加, k也增加,當(dāng) 時(shí) 反映了P(x)的空間平均估計(jì)而反映不出空間的變化 N固定,體積變小 當(dāng) 時(shí),k=0時(shí) 時(shí) 所以起伏比較大,噪聲比較大,需要對V進(jìn)行改進(jìn). NkPVxP )(VNkxP)(Nk1NkPVVNkxP1)(0V0)(VNkxP0kVNkxP)(對體積V進(jìn)行改進(jìn)：為了估計(jì)X點(diǎn)的密度,我們構(gòu)造一串包括X的區(qū)域序列R1,R2,. RN.對R1采用一個樣本進(jìn)行估計(jì)，對R2采用二個樣本進(jìn)行估計(jì).。設(shè)VN是

32、RN的體積，KN是N個樣本落入VN的樣本數(shù)則密度的第N次估計(jì)： VN是RN的體積 KN是N個樣本落入VN的樣本數(shù)PN(x)是P(x)的第N次估計(jì)VNk(x)PNN若若PN(x)收斂于收斂于P(x)應(yīng)滿足三個條件：應(yīng)滿足三個條件： ，當(dāng)N時(shí)，VN，N，VN0 這時(shí)雖然樣本數(shù)多，但由于VN，落入VN內(nèi)的樣本KN 也減小，所以空間變化才反映出來 ，N ，kN ，N與KN同相變化 ，KN的變化遠(yuǎn)小于N的變化。 因此盡管在R內(nèi)落入了很多的樣本，但同總數(shù)N比較, 仍然是很小的一部分。0limVNNKNNlim0limNKNN如何選擇VN滿足以上條件： 使體積VN以N的某個函數(shù)減小，如 (h為常數(shù)) 使KN

33、作為N的某個函數(shù)，例 VN的選擇使RN正好包含KN個近鄰 V1K1，V2K2，.VRKR Kn近鄰法NhVNNKN窗口法2.Parzen窗口估計(jì)假設(shè)RN為一個d維的超立方體，hN為超立方體的長度超立方體體積為： ， d=1，窗口為一線段 d=2，窗口為一平面 d=3，窗口為一立方體 d3，窗口為一超立方體窗口的選擇： hVdNN其他.021| , 1)(uu|exp)(uu 方窗函數(shù)指數(shù)窗函數(shù)21exp21)(2uu(u) (u)(u)正態(tài)窗函數(shù) (u) 是以原點(diǎn)x為中心的超立方體。在xi落入方窗時(shí)，則有 在VN內(nèi)為1 不在VN內(nèi)為0落入VN的樣本數(shù)為所有為1者之和 密度估計(jì)22hxxhxxN

34、iNi1212|hhhxxNNNiNiNiNhxxK1)|(NiNiNNNNhxxVNVNKxP1)|(11)(討論： 每個樣本對估計(jì)所起的作用依賴于它到x的距離，即 | x-xi|hN/2時(shí)， xi在VN內(nèi)為1，否則為0。 稱為 的窗函數(shù)，取0，1兩種值，但有 時(shí)可以取0, 0.1, 0.2多種數(shù)值，例如隨xi離x接近的程度， 取值由0, 0.1, 0.2到1。)|(hxxNihxxNi|)|(hxxNi 要求估計(jì)的PN(x)應(yīng)滿足：為滿足這兩個條件，要求窗函數(shù)滿足： 窗長度hN對PN(x)的影響若hN太大, PN(x)是P(x)的一個平坦, 分辨率低的估計(jì), 有平均誤差若hN太小, PN(

35、x)是P(x)的一個不穩(wěn)定的起伏大的估計(jì),有噪聲誤差為了使這些誤差不嚴(yán)重， hN應(yīng)很好選擇hxhxxdhxxhxxNixNiNiNi|0)|()|(0)|(1)(0)(dxxPxPNN例1：對于一個二類（ 1 ，2 ）識別問題，隨機(jī)抽取1類的6個樣本X=(x1，x2，. x6)1=(x1，x2，. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計(jì)P(x|1)即PN(x)解：選正態(tài)窗函數(shù))21exp(21)(2uu)|(21exp21)|()(2hxxhxxuNiNi0123456x6x5x3x1x2x4xx是一維的上式用圖形表示是6個分別以3.2，3

36、.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和。)05| 1 . 1|(21exp134. 0.)05| 2 . 3|(21exp134. 0)|(11)(221xxhxxVNxPNiNiNN5 . 0665 . 0VN665 . 0h,NhhV11NNN，其中選由圖看出，每個樣本對估計(jì)的貢獻(xiàn)與樣本間的距離有關(guān)，樣本越多， PN(x)越準(zhǔn)確。例2：設(shè)待估計(jì)的P(x)是個均值為0，方差為1的正態(tài)密度函數(shù)。若隨機(jī)地抽取X樣本中的1個、 16個、 256個作為學(xué)習(xí)樣本xi,試用窗口法估計(jì)PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的， 1，0hN:窗長度，N為樣本數(shù)，h1

37、為選定可調(diào)節(jié)的參數(shù)。)|(21exp21)|(2hxxhxxNiNiNhh1N設(shè)NiiNiNiNhNxxNhhxxhNNxP112111|21exp211)|(1)(v用 窗法估計(jì)單一正態(tài)分布的實(shí)驗(yàn)Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1討論：由圖看出, PN(x)隨N, h1的變化情況 當(dāng)N1時(shí)， PN(x)是一個以第一個樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。 當(dāng)N16及N=256時(shí) h10.25 曲線起伏很大，噪聲大 h11 起伏減小 h14 曲線平坦，平均誤差 當(dāng)N時(shí)， PN(x)收斂于一平滑的正態(tài)曲線， 估計(jì)曲線較好。例3。待估的密度函數(shù)為二項(xiàng)分布解：此為多峰情況的估計(jì)設(shè)窗函數(shù)為正態(tài)x-2.5-210.2502P(x)025. 01)(xP-2.5x-20 x2x為其它NhhuuN1