第3章概率密度函數(shù)的估計

第3章概率密度函數(shù)的估計參數(shù)估計的基本概念正態(tài)分布的監(jiān)督參數(shù)估計（最大似然估計）總體分布的非參數(shù)估計（Parzen窗法，K近鄰法）分類器錯誤率的估計3.1引言

未知，需要利用樣本集來估計。

較好估計，重點(diǎn)估計

兩步法設(shè)計分類器（1）估計（2）利用第2章方法設(shè)計分類器

本章研究問題（1）如何利用樣本估計（2）估計量的性質(zhì)（3）利用樣本集估計錯誤率的方法3.1引言—由樣本集估計參數(shù)估計

監(jiān)督、非監(jiān)督（最大似然估計、貝葉斯估計）非參數(shù)估計

Parzen窗法、K近鄰法3.2參數(shù)估計—基本概念統(tǒng)計量

利用包含總體信息的樣本構(gòu)造的某種函數(shù)參數(shù)空間

未知參數(shù)的全體容許值構(gòu)成的集合稱為參數(shù)空間。點(diǎn)估計、估計量、估計值

點(diǎn)估計即利用統(tǒng)計量作為對參數(shù)的估計量，利用樣本得到估計量的具體數(shù)值，稱為估計值。區(qū)間估計用區(qū)間作為取值的范圍的一種估計，該區(qū)間稱為置信區(qū)間，這類估計稱為區(qū)間估計。3.2參數(shù)估計—估計量的評價無偏性

如果參數(shù)的估計量的數(shù)學(xué)期望等于，則稱估計是無偏的。如果當(dāng)樣本趨于無窮時估計才具有無偏性，則稱為漸進(jìn)無偏。

有效性

如果一種估計的方差比另一種估計的方差小，則稱方差小的估計更有效。

一致性

如果對于任意給定的正數(shù)，總有，則稱是的一致估計。簡評：無偏性與有效性針對多次估計，不能保證一次估計性能；而在樣本無窮多時，一致性可保證每一次的估計量在概率意義上接近真實(shí)值。3.2參數(shù)估計—最大似然估計（監(jiān)督）前提條件：（1）是確定而未知的；（2）樣本所屬類別已知，且是從各類總體中獨(dú)立抽取的；（3）形式已知（如正態(tài)），但參數(shù)未知（如）（4）i類樣本不影響j類信息。（類間獨(dú)立，可分別研究C類問題）3.2參數(shù)估計—最大似然估計（監(jiān)督）基本思想：似然函數(shù)思想：如果在一次觀察中一個事件出現(xiàn)了，那么可以認(rèn)為這個事件出現(xiàn)的可能性很大事件出現(xiàn)——樣本集H出現(xiàn)可能性大——取極大值（極大似然估計）3.2參數(shù)估計—最大似然估計（監(jiān)督）計算過程：S個求偏導(dǎo)的方程構(gòu)成方程組，求解得參數(shù)！為似然函數(shù)3.2參數(shù)估計—最大似然估計（監(jiān)督）注意問題：（1）有時沒有唯一解。3.2參數(shù)估計—最大似然估計（監(jiān)督）（2）求極大值無解（例：均勻分布情況）至少有一個為無窮大，無意義！此時可令樣本中最小與最大值為估計值。3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）一維情況3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）針對所有樣本樣本均值方差算術(shù)平均3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）多維推廣：為向量是無偏估計，不是無偏估計，其無偏估計是3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）算例：有10個學(xué)生，其中5個男生，5個女生。取身高體重兩個指標(biāo)作為特征，有數(shù)據(jù)表男生女生x1x2x3x4x5x6x7x8x9x10X1身高(m)1.701.751.651.801.781.601.551.601.651.70X2體重(kg)657060657060454550553.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）男生女生3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）10個樣本的均值：男生樣本的均值：女生樣本的均值：總體身高的方差：男生身高的方差：女生身高的方差：3.3正態(tài)分布參數(shù)的最大似然估計（監(jiān)督）全體樣本協(xié)方差男生樣本協(xié)方差女生樣本協(xié)方差與最大似然估計的差別：（1）（2）最大似然估計中，為確定而未知的參數(shù)；貝葉斯估計中，為隨機(jī)變量。貝葉斯估計簡介非監(jiān)督參數(shù)估計簡介非監(jiān)督最大似然估計

需定義混合密度正態(tài)分布下的非監(jiān)督參數(shù)估計

混合高斯分布，利用EM（期望最大化）算法求解各密度分量參數(shù)。3.4總體分布的非參數(shù)估計問題的提出

參數(shù)估計：總體分布已知，參數(shù)為未知（監(jiān)督、非監(jiān)督）非參數(shù)估計：總體分布未知，直接由樣本估計總體分布技術(shù)分類(依據(jù)體積的不同選取方法）3.4總體分布的非參數(shù)估計基本方法：向量x落入R中的概率現(xiàn)若抽取N個樣本，k個落入R，則設(shè)R小到令無變化，則3.4總體分布的非參數(shù)估計—Parzen窗法假定R為以x為中心的d維超立方體，棱長為h，則體積為定義窗函數(shù)，以找出落入V的樣本個數(shù)k以原點(diǎn)為中心的超立方體當(dāng)樣本落入其中時

Parzen窗估計公式保證為概率密度3.4總體分布的非參數(shù)估計—Parzen窗法窗函數(shù)應(yīng)滿足的要求：保證非負(fù)保證積分為1窗函數(shù)的選擇：除方窗外，還可選擇正態(tài)窗、指數(shù)窗等3.4總體分布的非參數(shù)估計—Parzen窗法表明距離越遠(yuǎn)，貢獻(xiàn)越小3.4總體分布的非參數(shù)估計—Parzen窗法圖形解釋：某一點(diǎn)x的密度為其余各點(diǎn)的貢獻(xiàn)和每一樣本對該點(diǎn)所在位置貢獻(xiàn)最大3.4總體分布的非參數(shù)估計—Parzen窗法應(yīng)用案例：對一維高斯分布和兩個均勻分布的估計3.4總體分布的非參數(shù)估計—k近鄰法問題的提出

Parzen窗法中窗寬（或體積）的選擇較為困難。

該式對初值敏感，初值太小，大部分體積是空的，密度估計不穩(wěn)定，初值太大，估計的密度較平坦，無法反映真實(shí)分布，為解決此問題，產(chǎn)生了k近鄰法。3.4總體分布的非參數(shù)估計—k近鄰法思想：x周圍設(shè)一空胞，擴(kuò)大至包含k個樣本空胞具有自適應(yīng)性，密度高則體積小，密度低則體積大3.4總體分布的非參數(shù)估計—k近鄰法k的選取N越大，效果越好。經(jīng)驗(yàn)數(shù)據(jù)：一維時，數(shù)百個樣本二維時，數(shù)千個3.4總體分布的非參數(shù)估計—kN近鄰法應(yīng)用案例：對一維高斯分布和兩個均勻分布的估計3.4非參數(shù)估計舉例—數(shù)字的Bayes分類數(shù)字特征的提取3.4非參數(shù)估計舉例—數(shù)字的Bayes分類計算先驗(yàn)概率計算，再計算類條件概率密度數(shù)字i的第j個分量為1的概率數(shù)字i的第j個分量為0的概率3.4非參數(shù)估計舉例—數(shù)字的Bayes分類樣本X的類條件概率利用Bayes公式求后驗(yàn)概率最大后驗(yàn)概率對應(yīng)的類別（0-9）即為得到的數(shù)字類別3.4非參數(shù)估計舉例—數(shù)字的Bayes分類3.5分類器錯誤率的估計3.5分類器錯誤率的估計已設(shè)計好分類器（樣本均為考試樣本）1、未知——隨機(jī)抽樣從總體隨機(jī)抽取N個樣本檢驗(yàn)分類器，假定錯分?jǐn)?shù)為，則錯誤率估值為是否是最好的估計？3.5分類器錯誤率的估計證明：每一樣本有正確分類、錯誤分類兩種情況，屬于貝努利試驗(yàn)，N個樣本為N重貝努利試驗(yàn)。設(shè)真實(shí)錯分概率為已給定，則的分布服從二項(xiàng)分布。最大似然估計前次錯分，后次正確的概率3.5分類器錯誤率的估計2、已知——選擇性抽取

3.5分類器錯誤率的估計未設(shè)計好分類器的情況（樣本即用于設(shè)計又用于檢驗(yàn)）（再代入法）錯誤率偏小，甚至小于貝葉斯錯誤率U-法將樣本分為兩部分，一部分用于設(shè)計分類器，一部分用于檢驗(yàn)分類器，問題的關(guān)鍵在于如何劃分樣本？3.5分類器錯誤率的估計樣本劃分法

若檢驗(yàn)集>設(shè)計集，則錯誤率估計方差較小，但分類器性能不佳，N越大，效果越好！留一法（樣本少時采用）

N個樣本，N-