模式識(shí)別概率密度估計(jì)

1、1第三章 概率密度函 數(shù)的估計(jì) 2 前一章我們討論了各種決策規(guī)則，在設(shè)計(jì)分類(lèi)器時(shí)，總是假定先驗(yàn)概率和類(lèi)條件密度函數(shù)是已知的。 在實(shí)際工作中，先驗(yàn)概率和類(lèi)條件密度函數(shù)都可能未知。 需要利用樣本設(shè)計(jì)分類(lèi)器。3 利用樣本設(shè)計(jì)分類(lèi)器 的方法有兩種：1) 從樣本中估計(jì)先驗(yàn)概率和類(lèi)條件密度函數(shù)，然而按前一章的方法2）不作估計(jì)，直接利用樣本設(shè)計(jì)分類(lèi)器 在用第一種方法時(shí)，需要從收集的樣本中去估計(jì)先驗(yàn)概率和類(lèi)條件密度函數(shù)。這就要用到估計(jì)理論。討論如何估計(jì)（估計(jì)的方法），估計(jì)的好壞、性質(zhì)。4 從樣本中估計(jì)概率密度函數(shù)時(shí)，有以下一些情況： 概率密度估計(jì)參數(shù)估計(jì)(分布形式已知,但參數(shù)要估計(jì))非參數(shù)估計(jì)(分布形式未知,

2、直接估計(jì)密度函數(shù))有監(jiān)督的參數(shù)估計(jì)(樣本類(lèi)別已知)無(wú)監(jiān)督的參數(shù)估計(jì)(樣本類(lèi)別未知)最大似然估計(jì)(把待估參數(shù)看作是確定的)貝葉斯估計(jì)(把待估參數(shù)看作是隨機(jī)的)Parzen窗估計(jì)KN近鄰估計(jì) KN近鄰分類(lèi)法5 參數(shù)估計(jì)中的一些基本概念： 1) 統(tǒng)計(jì)量：針對(duì)不同的要求所構(gòu)造的樣本的函數(shù)，包含了總體的信息；2) 參數(shù)空間：未知參數(shù)全部可允許值的集合；3) 點(diǎn)估計(jì)：構(gòu)造一個(gè)統(tǒng)計(jì)量作為待估參數(shù)的值，即估計(jì)參數(shù)值；4) 區(qū)間估計(jì)：估計(jì)待估參數(shù)可能取值的區(qū)間。 63.1 常數(shù)參數(shù)的估計(jì) 一般要估計(jì)的參數(shù)可能是標(biāo)量、向量、矩陣。不失一般性，假定待估參數(shù)是向量 。 在最大似然估計(jì)中，把待估參數(shù) 看作是確定的常數(shù)。

3、 而貝葉斯估計(jì)則把 看作是隨機(jī)變量，它的先驗(yàn)密度是已知的。 7一. 最大似然估計(jì) 令 是隨機(jī)向量x的密度函數(shù)中的向量參數(shù)（其分量是標(biāo)量）。記x的密度函數(shù)為 ，令 是觀測(cè)x所得到的N個(gè)樣本。在估計(jì)問(wèn)題中，這些樣本本身也是隨機(jī)變量，可以用一個(gè)聯(lián)合密度函數(shù) 表示。 假定這些樣本 是獨(dú)立的。 是 的函數(shù)。它是 的似然函數(shù)。 TL，21；xp Nxxx，21 ；，Npxxx21 Nxxx，21 ；，Npxxx21 Nxxx，218 只要導(dǎo)數(shù)存在，使似然函數(shù)最大的 可以通過(guò)解下面的似然方程或?qū)?shù)似然方程得到： 021；，Npxxx 0ln21；，Npxxx 的最大似然估計(jì)是，在N個(gè)觀測(cè)樣本的基礎(chǔ)上，選擇這

4、樣的 ，它使似然函數(shù)最大。 換句話說(shuō)，選擇的 應(yīng)使 落在 （樣本）的附近小區(qū)域內(nèi)最大。(當(dāng) 均勻分布時(shí)，發(fā)生概率最大) N ixN ix N個(gè)觀測(cè)樣本9 由于對(duì)數(shù)函數(shù)是單調(diào)增的，所以這兩個(gè)方程完全是等價(jià)的。用時(shí)哪個(gè)方便，就用哪個(gè)。 例例1 1：計(jì)算機(jī)通道輸出請(qǐng)求出現(xiàn)率的估計(jì) 假定計(jì)算機(jī)的某一通道輸出請(qǐng)求的時(shí)間間隔T按如下的指數(shù)函數(shù)分布： 其它 00 TeTpT假定觀察了N+1個(gè)請(qǐng)求，間隔時(shí)間為 ，希望估計(jì)參數(shù) 的大小（稱為到達(dá)率） NTTT，2110 解解：輸出請(qǐng)求間的間隔假定為獨(dú)立的。 似然函數(shù)（聯(lián)合密度函數(shù)）為 而 ；，NTTTp21 NiiiTNNiTee11 0ln1NiiTN（對(duì)數(shù)似

5、然方程） NiiNiiNTNTN111111 例例2 2：多元正態(tài)密度函數(shù)均值的估計(jì)。（上面的例子估計(jì)了一個(gè)標(biāo)量參數(shù)，本例估計(jì)一個(gè)向量參數(shù)。） 已知隨機(jī)變量x是正態(tài)分布的，協(xié)方差矩陣K已知，均值m未知。給出N個(gè)樣本x(1) ，x(2) ，x(N) ，求均值的最大似然估計(jì)。 解解：似然函數(shù)是樣本的聯(lián)合密度函數(shù) mxxx；，Np21 NiiTinKK11212mxmx2121-exp12對(duì)數(shù)似然函數(shù)為樣本聯(lián)合密度函數(shù)的對(duì)數(shù)： mxxx21；，Npln NiiTiKKn11mxmx221ln21ln2-將上式對(duì)m求導(dǎo)并令它等于0，有 NiiNKp11210mxmmxxx；，ln K是一個(gè)常數(shù)矩陣 N

6、iiNN11xm即均值的最大似然估計(jì)等于樣本均值。 13 例例3 3：已知x服從均勻分布 似然函數(shù)為 解解：給出了N個(gè)樣本x(1) ，x(2) ，x(N) 在用求導(dǎo)數(shù)的方法解似然方程時(shí)（求極值），有時(shí)可能遇到一些問(wèn)題：有多個(gè)極值點(diǎn)；或沒(méi)有極值點(diǎn)。 下面看一個(gè)例子。 其它； 0 12112xxp21 NNp12211；，xxx14對(duì)數(shù)似然函數(shù)為 欲使上兩式等于0， 必須無(wú)窮大才行。 而因?yàn)?不能大于最小的樣本值 不能小于最大的樣本值 1221lnlnNpN；，xxx 12121lnNpN；，xxx 12221lnNpN；，xxx121x2x 15同時(shí)為使似然函數(shù)最大， 要最小，而最小的可能值是

7、。 ， （似然函數(shù)在最大值的地方?jīng)]有零斜率） 12x xx 2x116二. 估計(jì)量的性質(zhì)估計(jì)量的性質(zhì)（注意語(yǔ)言中的斷句、分詞）（注意語(yǔ)言中的斷句、分詞） 參數(shù) 的一個(gè)估計(jì)量是樣本的函數(shù)： 所以估計(jì)量本身也是一個(gè)隨機(jī)向量。因此可以在統(tǒng)計(jì)的意義上描述它的性質(zhì)，建立評(píng)價(jià)“估計(jì)好壞” 的標(biāo)準(zhǔn)。 NNNxxx，211.無(wú)偏性（unbiased） 若 ，則稱 是無(wú)偏的，否則稱為有偏的。 NEN若 ，則稱 是漸進(jìn)無(wú)偏的。 NNElimN172.一致性（consistent） 若對(duì)任意小的正數(shù) ，有 稱估計(jì)的序列 為在概率上收斂于 。 1PNrNlim則稱 是一致的。 N（） N有的人定義一致性為 02NNE

8、lim（） 這稱為在均方（mean square）意義上 收斂于 。 N183. 有效性（efficient） 若 和 都是 的估計(jì)當(dāng) 時(shí)，稱估計(jì) 比 有效。N樣本容量N固定 使 取得最小值的估計(jì) 在大多數(shù)情況下，可以認(rèn)為這兩種定義等價(jià)。實(shí)際上，（）的定義比（）更強(qiáng)。 NNNVarVarNN即當(dāng)NVar稱為 的有效估計(jì)。19* Cramer-Rao定理：如果 是 的任一無(wú)偏估計(jì)，則估計(jì)的任一分量的方差滿足 式中， 是下面矩陣J 的逆矩陣的對(duì)角線元素： 如果 是無(wú)偏的，且 比 有效，則 是一致估計(jì)?？梢宰C明，最大似然估計(jì)是一致的。 1NNNNNN12iiiijELi，21（） 1iijTEJaa

9、 ；，Npxxxa21ln矩陣J 稱為Fisher信息矩陣。 20滿足（）或()的等式的估計(jì)是所有估計(jì)中最有效的，稱為最小方差估計(jì)。當(dāng)最小方差估計(jì)存在時(shí)，它一定是最大似然估計(jì)。 稱為CramerRao不等式。 當(dāng) 是標(biāo)量時(shí)，（）式化為 （） 2212ln1；，NNpEExxx12iiiijETEJaa ；，Npxxxa21ln21*證明：由于是無(wú)偏的，有 是最小方差估計(jì)的必要和充分條件是： N NBa式中 是一個(gè)矩陣，它的元素是 的函數(shù)，但不能是 的函數(shù)。 BNTNE0 NNTNdddpxxxxxx2121；，22將上式對(duì) 求導(dǎo)，有TNE NTNNdddpxxxxxx2121；， NNdddp

10、xxxxxxI2121；， TNNpxxx；，21ln NNdddpxxxxxx2121；， 0 I NNTNdddpxxxxxx2121；，a23由前面的定義 ；，Npxxxa21ln () IaTNE構(gòu)造一個(gè)隨機(jī)向量 aiiiz由()式和 有： TEJaa24010001002JEzzEiiTii由于相關(guān)矩陣是半正定的，上式的行列式大于、等于002iiiiTiiJJEzzEaiiizTiia|IaTNE(i+1)+1+i+1=2i+3奇數(shù)25式中 是J 的i行i列的代數(shù)余子式。 iiJ ，J 的逆矩陣的對(duì)角線元素。 12iiiiiiJJJE當(dāng)為最小方差估計(jì)時(shí)，相關(guān)矩陣的行列式為0，zi的分

11、量是線性相關(guān)的，所以有 NBa 例例4 4：例2中關(guān)于均值的估計(jì)是無(wú)偏的。 mNmNENmENiiN111x 解解：26若各個(gè)樣本x x(i)是獨(dú)立的，它們也是不相關(guān)的，所以估計(jì) 的協(xié)方差矩陣是 的協(xié)方差減小 。 NmTNNmmmmE NiTiNiimmEN1121xx KxxNmmENNiTii1112NmN127 它比 有效。又由于無(wú)偏 是m的最小方差估計(jì)。 Nm1Nm 是m的一致估計(jì)。 Nm又由于 mmpN；，xxxa21ln Niim11xKmmNNK1具有 的形式。 NBa28 如果對(duì)待估參數(shù) 有一些先驗(yàn)知識(shí)，這時(shí)可以把待估參數(shù)看作一個(gè)隨機(jī)向量，用一個(gè)密度函數(shù) 來(lái)刻畫(huà)，那么這時(shí)可以使

12、用貝葉斯估計(jì)。 3.2 貝葉斯估計(jì) 最大似然估計(jì)把待估參數(shù)看作確定的量，它用于對(duì)未知參數(shù)沒(méi)有先驗(yàn)知識(shí)或不愿意作某些假定的時(shí)候。 貝葉斯估計(jì)和貝葉斯決策是一樣的思路。 一. 貝葉斯估計(jì) p29 引入一個(gè)連續(xù)的損失函數(shù) ，定義貝葉斯風(fēng)險(xiǎn)為： ，c ，NpcRxxx21 ddddNxxx21 NNdddpIxxxxxx2121，式中 （貝葉斯風(fēng)險(xiǎn)） dpcINxxx，21（條件風(fēng)險(xiǎn)） 30 這時(shí)，若假定 是非負(fù)的， 也是非負(fù)的，最小 和最小R是等價(jià)的。 ，c而 I I dppppppp使它們最小的估計(jì)稱貝葉斯估計(jì)。 注意它和前面的 是不同的。這里 是參數(shù)。 是聯(lián)合密度函數(shù) ，Npxxx21 ；，Np

13、xxx21 dpcINxxx，2131 前式 是一樣的。 對(duì)于所有實(shí)際的應(yīng)用 用符號(hào)“ ”是為了表示 是一個(gè)隨機(jī)向量。 ，Npxxx21 ppNxxx，21 Npxxx，21 ；，Npxxx21p32二.常用的損失函數(shù)，均方估計(jì)和最大后驗(yàn)估計(jì) 為了求貝葉斯估計(jì)，我們需要先定義（先給出）損失函數(shù)的形式。不同的損失函數(shù)會(huì)帶來(lái)不同的貝葉斯估計(jì)值。下面分析兩種常用的損失函數(shù)的形式。 1.平方誤差損失函數(shù)和均方估計(jì) , 誤差的二次函數(shù) 2，c33而 dpINxxx，212為了得到使 最小的 ，只要 I 0221dpINxxx， dpNxxx，21即估計(jì) 是 的后驗(yàn)密度的均值。 這個(gè)估計(jì)稱為均方估計(jì)，因?yàn)?/p>

14、它使均方誤差 最小。 2ER34求解均方估計(jì)的步驟可以歸納如下： 1)確定 的先驗(yàn)分布 ； 而 p2)由樣本集 ，求聯(lián)合分布 ； Nxxx，21 ppp，3)利用貝葉斯公式，求 的后驗(yàn)分布 pppp dpp4)求 dp|352.均勻損失函數(shù)和最大后驗(yàn)估計(jì) 損失函數(shù)為 當(dāng) 時(shí)， 這時(shí)，MAPc0MAPc當(dāng) 時(shí)， 1MAPc dpIRNxxx121， dpcINxxx，21R36區(qū)域 是 ，任意小， R這樣，為使 最小，積分項(xiàng)應(yīng)最大。而積分項(xiàng) ，所以應(yīng)使 Npxxx，21 NNNppppxxxxxxxxx，212121 IRVp)(最大，稱為最大后驗(yàn)估計(jì)。由貝葉斯公式 如果先驗(yàn)概率是均勻的（在感興

15、趣區(qū)），這時(shí)最大 等價(jià)于最大 。 pp這時(shí)最大后驗(yàn)估計(jì)即最大似然估計(jì)。 37 例例5 5：正態(tài)分布均值的貝葉斯估計(jì) 令x(1) ，x(2) ，x(N)是從已知協(xié)方差矩陣Kx和未知均值m的正態(tài)分布中抽取的。 mxmx21mx1212ixTixniKKp21-exp假定均值本身的分布為正態(tài)N(m0，Km)分布（先驗(yàn)密度） 010212mmmm21mmTmnKKp21-exp利用貝葉斯公式，可得后驗(yàn)密度，是正態(tài)的，其均值為 38 0111111m1x11mmNiixmxKNNKKNK由于 既是后驗(yàn)密度的均值，也是后驗(yàn)密度的最大值，所以 既是均方估計(jì)也是最大后驗(yàn)估計(jì) mm)mmm(dmp當(dāng)都是一維時(shí)有

16、： 20212211111mNxmxNNmmm392021222211mNxmxxmNNNmm20222221mxNxmmxNNNmm22022xmxNmNNmm0222222mmxmxNxmmNNN40 樣本均值和先驗(yàn)均值的線性組合，系數(shù)和為1，且都是正的。0222222mmxmxNxmmNNNm411)當(dāng)N0時(shí)， ,全部由先驗(yàn)均值定2)當(dāng) 時(shí)， 由樣本均值定 3)當(dāng) 時(shí)，先驗(yàn)信息非常可靠， 4)當(dāng) 時(shí)，先驗(yàn)的推測(cè)不可靠， 0mmNNmm02m,mm022xmNmm5)一般情況下， ，c為小于無(wú)窮大的非負(fù)實(shí)數(shù)，當(dāng)樣本足夠多時(shí)，對(duì) 、m0 的假設(shè)就不重要了， cmx222mNmm0222222

17、mmxmxNxmmNNNm由先驗(yàn)均值定由樣本均值定42 這節(jié)討論直接從樣本中估計(jì)密度函數(shù)的方法。主要介紹兩種方法： 3.3概率密度函數(shù)估計(jì)的非參數(shù)方法（非參數(shù)估計(jì)） 前兩節(jié)講的參數(shù)估計(jì)方法要求（假定）密度函數(shù)的形式是已知的。但實(shí)際工作中往往是：1.密度函數(shù)的形式不知道； 2.密度函數(shù)的形式不是典型的常見(jiàn)分布，不能寫(xiě)成某些參數(shù)的函數(shù)。 43一. Parzen窗估計(jì) Parzen窗法KN近鄰法先估計(jì)類(lèi)條件密度函數(shù),然后用在似然比檢驗(yàn)中由類(lèi)條件密度函數(shù)的估計(jì),直接導(dǎo)致似然比檢驗(yàn)1.基本思路（以一維隨機(jī)變量的密度函數(shù)的估計(jì)為例） 對(duì)隨機(jī)變量x，假定得到了N個(gè)獨(dú)立的樣本，x(1)，x(2)，x(N)，它

18、的密度函數(shù)p(x)可以用一個(gè)直方圖近似，每一小區(qū)間的寬度為 ，中點(diǎn)為 。 h2 xx 44 hphPr2x xx 樣本落在小區(qū)間內(nèi)的概率可以近似為 如果樣本數(shù)足夠多，則概率（上述事件）可以用頻率（ ）近似。 NK 所以密度可以用 近似。 hNKp2x 45 把上述的思路一般化，定義如下的窗函數(shù)： 則 是以 為中心的x的函數(shù)。 對(duì)落在 內(nèi)的樣本，其函數(shù)值均為 ，對(duì)落在方窗外的樣本，函數(shù)值為0。 其它 0 21hzhzrxx rx hhix xx h2146 這時(shí) 一個(gè)樣本貢獻(xiàn) ，共有K個(gè)，換個(gè)角度，即是N個(gè)窗的迭加。 函數(shù)r稱為核函數(shù)，勢(shì)函數(shù)或者Parzen窗函數(shù)。 h21 NiirNhKNhN

19、Kp11212xx x 核函數(shù)（窗函數(shù)）也可以是其它的形狀，常用的有 4748 矩形窗估計(jì)出的 容易產(chǎn)生不連續(xù)（釘子狀,spiked） 為了滿足使估計(jì)出的 是正的，而且積分為1（是密度函數(shù)），窗函數(shù) 要滿足： 下面對(duì)上述方法作些理論和實(shí)際應(yīng)用上的分析。 如果把區(qū)間2h（在多維時(shí)是體積V）固定，當(dāng)樣本數(shù)越來(lái)越多時(shí)， 概率，但得到的密度卻是空間的平均值，而非某一點(diǎn) 的 ； xp zr xp 10dzzrzrNKx xp49要得到 ，而不是 的平均值，則體積V（2h） 0，但當(dāng)V 0時(shí)，若樣本數(shù)有限，則 xpp （恰好有樣本）（不包含任何樣本） 0 x p假定有相當(dāng)多的樣本N 可以利用。 這時(shí)由于

20、，下標(biāo)表示總樣本數(shù)。 NNNVNKpx 50這時(shí)若滿足： 窗函數(shù)若滿足： 使空間平均密度 點(diǎn)的 0limNNVx x p 頻率收斂于概率 NNKlim 落在小區(qū)域內(nèi)的樣本同總數(shù)相比是低階無(wú)窮大0limNKNN 0zr 1dzzr zrzsup51 （ 比 更快的 0） 0lim1diizzzr zrz1這時(shí)， 是漸近無(wú)偏和均方一致的。 x p2.隨機(jī)向量密度函數(shù)的估計(jì)(定量的分析，另種分析方法） 有一隨機(jī)向量x，R是包含待估密度點(diǎn) 的一個(gè)小區(qū)域。記x在R內(nèi)的概率P，根據(jù)積分中值定理，為 x VpdpPR xxx式中 是區(qū)域R 的體積。而 是區(qū)域R中的某一點(diǎn)。 RdVxx52當(dāng) 是連續(xù)的，且R取

21、的足夠小時(shí)， 有 ，所以 xp xxpp VPpx 為了從一組樣本x(1) ，x(2) ，x(N)中估計(jì)P，我們要看N個(gè)樣本中有多少落在區(qū)域R內(nèi)。假定各樣本獨(dú)立，則N個(gè)樣本中有K個(gè)落在R中的概率服從二項(xiàng)分布： KNKKNKPPCP1（） ！ KNKNCKN53上述二項(xiàng)分布的均值和方差為： NPPPCKKEKNKKNNK11 PNPKEKEKVar122P 的最大似然估計(jì) ，是要求 ，使得（）最大。對(duì)（）求導(dǎo)，并令其等于0，有 PP1111KNKKNKKNKPKNPPKPCdPdP01111KNPPKPPCKNKKNKNKKNKPPCP154 這個(gè)估計(jì)是無(wú)偏的， NKP PNNPNKEPE這個(gè)估

22、計(jì)也是一致的，（無(wú)偏且有效） 因?yàn)楣烙?jì)的方差為 NPPNKEKEPEPE122222當(dāng)N 變大時(shí)，方差變?yōu)闊o(wú)限小，所以有效，無(wú)偏且有效 一致估計(jì)。 55由估計(jì)出的 ，有 Parzen窗估計(jì)定義區(qū)域R是超立方體： NKP 定義核函數(shù)為： 而 NVKpx （） dihii，；21 xx 其它，； 021 1dihzVzridhV256這時(shí)（）式為 NiirNp11xx x 核函數(shù)的選擇和一維時(shí)一樣，也可選擇其它的函數(shù)，如 nnnzr222221z-exp NVKpx 57在選擇核函數(shù)或核函數(shù)的參數(shù)時(shí)，應(yīng)該注意的是： 若核函數(shù)太“窄”，則估計(jì)出的密度有可能不連續(xù)，呈現(xiàn)釘子狀； 若核函數(shù)太“寬”，則估

23、計(jì)出的密度有可能太平滑，不能顯示分布的細(xì)節(jié)。 在實(shí)際問(wèn)題中，核函數(shù)的選擇取決于 1)待估密度函數(shù)的形式; 2)樣本數(shù)的多少。 58二. KN 近鄰估計(jì) 在Parzen窗估計(jì)中，由于核和體積是固定的，所以若樣本分布不均勻，就不能得到滿意的估計(jì)。 解決的辦法是：不使用固定的區(qū)域，而是固定落在區(qū)域內(nèi)的樣本數(shù)，例如KN個(gè)，而區(qū)域則由 的鄰域中正好包含KN個(gè)樣本定。之所以用符號(hào)KN，表示K的選擇和總樣本數(shù)有關(guān)。 當(dāng)把KN近鄰法估計(jì)出的密度函數(shù)直接用于分類(lèi)時(shí)，可以導(dǎo)致非常簡(jiǎn)單和有效的分類(lèi)法。 x 59 這樣作的好處是： KN近鄰估計(jì)的公式仍然為： 樣本多的地方，體積用的小些，提高分辨率； 樣本少的地方，體

24、積用的大些，中間補(bǔ)些值，平滑一些。 NNNVNKpx 60 近鄰法在以下的條件下， 將收斂于 x Np x p 0limNNVNNKlim0limNKNN61三. 近鄰分類(lèi)法 以兩類(lèi)問(wèn)題為例，1和2。 定義體積V是一個(gè)超球，中心在 ，半徑是r，區(qū)域是： 令每類(lèi)的超球的半徑所確定的超球正好包含該類(lèi)的K個(gè)樣本。 x rdxx ， 是前面講過(guò)的任一種距離。 d 令Ni（i1，2）是每類(lèi)的樣本數(shù)。 62 先驗(yàn)概率的估計(jì)是 利用密度估計(jì)公式2121， iNNNPiir和最小錯(cuò)誤率貝葉斯決策公式 NVKpx 122121PPpprrxx63211212212211NNNNNNVNKVNK12211122N

25、NVNVN 即，對(duì)每類(lèi)固定的樣本數(shù)（K），包含該類(lèi)K個(gè)樣本的體積分別為V1和V2，然后比較V1和V2的大小。 12112VV 122121PPpprrxx64若V2 V1，（在 附近1類(lèi)的樣本多）則 1 若V1 V2，（在 附近2類(lèi)的樣本多）則 2 x x 這種決策形式是樣本數(shù)固定，比體積(grouped form)。 另一種更方便的形式是，在 （待估點(diǎn)）周?chē)x一體積V，它正好包含K個(gè)總樣本數(shù)（1和2的）。這樣，兩類(lèi)的體積相同，但在這一體積內(nèi)包含的1和2的樣本數(shù)不同，分別為K1和K2。 x 65 依貝葉斯規(guī)則，有 211212212211NNNNNNVNKVNK12212211NNNKNK12

26、121KK212121KKKK 即：在同一個(gè)超球內(nèi)，哪類(lèi)的樣本多，就把 歸到哪類(lèi)。 x 122121PPpprrxx66 注意，K一般取奇數(shù)，防止出現(xiàn)K1K2的情況（KK1K2）。 這種形式（稱為pooled form）非常簡(jiǎn)單，它不需要計(jì)算體積，只要計(jì)算 的K個(gè)近鄰中，哪類(lèi)的樣本多就行了。 另外，KN近鄰分類(lèi)的性能也不錯(cuò)。當(dāng)樣本數(shù) 時(shí)，1-近鄰法（最近鄰法）的錯(cuò)誤率不超過(guò)最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率的二倍，當(dāng)K1時(shí)，錯(cuò)誤率還要低（但以貝葉斯錯(cuò)誤率為下界）。 x 67 近鄰法分類(lèi)的主要問(wèn)題是，當(dāng)特征維數(shù)和樣本數(shù)大時(shí)，尋找K近鄰的計(jì)算量大。關(guān)于如何減少計(jì)算量和近鄰的快速搜索算法，關(guān)于近鄰法的錯(cuò)誤

27、率分析等，下一章專門(mén)講。 把近鄰法推廣到多類(lèi)問(wèn)題中是很直接的。 假定有Nc類(lèi)，先驗(yàn)概率的估計(jì)為： ，N是樣本總數(shù)。 NNPiir 各類(lèi)的密度估計(jì)為 iiiVNK 因此判別函數(shù)為： ciiiiiiiNiVKNVNKNNg，211x 68 對(duì)于pooled法，體積正好為包含有K個(gè)總樣本，（K1K2KNc K） 因此等價(jià)的判別函數(shù)為 決策規(guī)則為哪個(gè)Ki大，就把Ki分到該類(lèi)。 iiKg x 69* 3.4 分類(lèi)器錯(cuò)誤率的實(shí)驗(yàn)估計(jì) 前面我們已經(jīng)提過(guò)，分類(lèi)器錯(cuò)誤率的計(jì)算和估計(jì)有三種方法： 1. 按理論公式計(jì)算： 2. 估算錯(cuò)誤率的上限 當(dāng)先驗(yàn)概率已知，類(lèi)條件密度已知，定下決策規(guī)則后，按錯(cuò)誤率的公式計(jì)算。要

28、作多重積分。 介紹了Bhattacharyya界和Chernoff界 3.實(shí)驗(yàn)估計(jì) 70由于前兩種情況計(jì)算上的困難，且要求知道密度函數(shù)，所以實(shí)際工作中常用的是實(shí)驗(yàn)估計(jì)。即利用樣本來(lái)估計(jì)錯(cuò)誤率。 需要分析 如何利用樣本；估計(jì)出的錯(cuò)誤率的性質(zhì)如何。 分兩種情況討論： 1.已設(shè)計(jì)好分類(lèi)器時(shí)，如何用樣本估計(jì)錯(cuò)誤率;2.未設(shè)計(jì)好分類(lèi)器時(shí)，如何把樣本分為兩部分，一部分用來(lái)設(shè)計(jì)分類(lèi)器，另一部分用來(lái)檢驗(yàn)分類(lèi)器。 71一. 已設(shè)計(jì)好分類(lèi)器時(shí)的錯(cuò)誤率的估計(jì) 利用考試樣本檢驗(yàn)分類(lèi)器時(shí) 直觀上認(rèn)為錯(cuò)誤率 從估計(jì)理論上看，還需要分析： 錯(cuò)分樣本數(shù)樣本總數(shù)1.這個(gè)估計(jì)性質(zhì)如何？ 2.這個(gè)估計(jì)是最好的嗎？ 3.當(dāng)檢驗(yàn)樣本數(shù)

29、增多時(shí)，估計(jì)結(jié)果會(huì)有改善嗎？表現(xiàn)在什么地方？ 下面分兩種情況討論： 721. 先驗(yàn)概率Pr1和Pr2未知隨機(jī)抽樣作為檢驗(yàn)集 當(dāng)不知Pr1和Pr2時(shí)，隨機(jī)取N個(gè)樣本，假定錯(cuò)分了K個(gè)，用 表示真實(shí)的錯(cuò)誤率，則K服從二項(xiàng)分布： KNKKNCKP1 的最大似然估計(jì)： 011lnlnlnlnKNKKNKCKPKN 是 的最大似然估計(jì)。 NK 73由于K是隨機(jī)變量， 也是隨機(jī)變量。 而 是無(wú)偏的。 NKE NKVar1 NNNKENKEE NNKVarNKEVar12由于 時(shí)， 有效 N 0Var 一致。 742.先驗(yàn)概率Pr1和Pr2已知時(shí)選擇抽樣 當(dāng)已知兩類(lèi)的先驗(yàn)概率Pr1和Pr2時(shí)，可以分別抽取N1

30、= Pr1N 和N2= Pr2N 個(gè)樣本作檢驗(yàn)集。 設(shè)K1和K2分別為N1和N2中被錯(cuò)分類(lèi)的。因?yàn)镵1和K2是相互獨(dú)立的，故 其中 ，i=1，2，是i類(lèi)的真實(shí)錯(cuò)誤率。 21211iKNiKiKNiiiiiCKKP，i75利用同樣方法，得 ，i=1，2的最大似然估計(jì)為： 而總的估計(jì)錯(cuò)誤為： iiiiNK 21，i2211PPrr 的期望和方差為 2211PEPEErrPPrr2211無(wú)偏 76 iiiirPNVar1 121以上得到了未知先驗(yàn)概率時(shí) 的估計(jì)量和已知先驗(yàn)概率時(shí)的估計(jì)量 ，哪一種更好呢？ 它們都是無(wú)偏的，比較一下它們的方差： NPNPNVarVarrr222111111 01 22121PPNrr ，選擇抽樣的錯(cuò)誤率的估計(jì)的方差要小，合理。 VarVar77以上對(duì)于兩類(lèi)的討論可以推廣到多類(lèi)。 歸納以上的分析，有： 1.上述錯(cuò)誤率的估計(jì)在最大似然估計(jì)的意義上最好； 2.這些估計(jì)都是錯(cuò)誤率的無(wú)偏估計(jì)量； 3.隨樣本數(shù)的增加，置信區(qū)間相應(yīng)地減小。 78二. 未設(shè)計(jì)好分類(lèi)器時(shí)錯(cuò)誤率的估計(jì)，如何劃分設(shè)計(jì)樣本集和檢驗(yàn)集 實(shí)際工作中，能夠得到的樣本只有N個(gè)，用它既作設(shè)計(jì)，又要作檢驗(yàn)。存在一個(gè)如何劃分檢驗(yàn)樣本集和設(shè)計(jì)樣本集