第五章 非參數(shù)估計(jì)[2014]

1、模模式識(shí)別式識(shí)別Pattern Classification第五章第五章: 非參數(shù)估計(jì)非參數(shù)估計(jì)統(tǒng)計(jì)決策法Bayes決策法參數(shù)估計(jì)法非參數(shù)估計(jì)法線性判別函數(shù)概率方法幾何方法聚類(lèi)分析非線性判別函數(shù)非參數(shù)估計(jì)非參數(shù)估計(jì)模式識(shí)別，第五章4最大似然估計(jì)法和貝葉斯估計(jì)法都屬于參數(shù)化的估計(jì)方法要求待估計(jì)的類(lèi)概率密度函數(shù)形式已知利用學(xué)習(xí)樣本來(lái)估計(jì)類(lèi)概率密度函數(shù)中的未知參數(shù)在實(shí)際應(yīng)用中，類(lèi)概率密度函數(shù)形式已知的條件并不一定成立，特別是多峰的概率分布，用普通函數(shù)難以擬合，這就需要用非參數(shù)估計(jì)技術(shù)非參數(shù)估計(jì)非參數(shù)估計(jì)模式識(shí)別，第五章5非參數(shù)估計(jì)非參數(shù)估計(jì)原理不需獲取類(lèi)類(lèi)概率密度的函數(shù)形式，而是直接利用學(xué)習(xí)樣本估計(jì)

2、特征空間任意點(diǎn)的類(lèi)概率密度的值即直接由學(xué)習(xí)樣本來(lái)設(shè)計(jì)分類(lèi)器模式識(shí)別，第五章6非參數(shù)估計(jì)非參數(shù)估計(jì)直方圖法直方圖（histogram)方法是最為簡(jiǎn)單和直觀的非參數(shù)估計(jì)法鮭鮭 魚(yú)魚(yú)鱸鱸 魚(yú)魚(yú)模式識(shí)別，第五章7非參數(shù)估計(jì)非參數(shù)估計(jì)思路用已知類(lèi)別的學(xué)習(xí)樣本在特征空間x處出現(xiàn)的頻度來(lái)近似 即： 其中：v為包含X點(diǎn)的區(qū)域 一維 v為一直線二維 圓三維 球 四維 超球體vnkXp/)()/(jXP模式識(shí)別，第五章8非參數(shù)估計(jì)非參數(shù)估計(jì)思路模式識(shí)別，第五章9非參數(shù)估計(jì)非參數(shù)估計(jì)K為n個(gè)樣本中落入體積v的樣本數(shù)。故： 表示單位體積內(nèi)落入x點(diǎn)鄰域的樣本在總樣本中的比例，可以此來(lái)近似樣本在X點(diǎn)處的類(lèi)概率密度值。vn

3、kXp/)(模式識(shí)別，第五章10非參數(shù)估計(jì)非參數(shù)估計(jì)模式識(shí)別，第五章11非參數(shù)估計(jì)非參數(shù)估計(jì)問(wèn)題一若v固定，則當(dāng)n增大時(shí)， 只能表示平均概率，而不是點(diǎn)概率密度 因此，為保證 為點(diǎn)概率密度， 必須有)(Xp)(Xp0 ,vn時(shí))x(p)x(pnn 模式識(shí)別，第五章12非參數(shù)估計(jì)非參數(shù)估計(jì)模式識(shí)別，第五章13非參數(shù)估計(jì)非參數(shù)估計(jì)問(wèn)題二若樣本數(shù)n固定， 則當(dāng) 時(shí)，則會(huì)出現(xiàn)x鄰域內(nèi)不包含任何樣本，得出 的錯(cuò)誤估計(jì)0v0)(Xp模式識(shí)別，第五章14非參數(shù)估計(jì)非參數(shù)估計(jì)模式識(shí)別，第五章15非參數(shù)估計(jì)非參數(shù)估計(jì)解決方案考慮讓v和k都隨n的變化進(jìn)行調(diào)整，即： nnnknk nP xPxvv模式識(shí)別，第五章16

4、非參數(shù)估計(jì)非參數(shù)估計(jì)顯然為保證 的合理性， 應(yīng)滿足如下條 保證 時(shí)， 收斂于點(diǎn)概率 密度 保證不出現(xiàn)0概率密度 保證 收斂)(Xp)(Xplim0nnvlim0nnknn)(Xpn)(Xp)(Xpnnknlim模式識(shí)別，第五章17非參數(shù)估計(jì)非參數(shù)估計(jì)基本方法 非參數(shù)估計(jì)法Parzen窗口法Kn近鄰法模式識(shí)別，第五章18非參數(shù)估計(jì)非參數(shù)估計(jì)基本方法Parzen窗口法：主動(dòng)選擇vn與n的關(guān)系，kn被動(dòng)確定，指n個(gè)樣本中落入?yún)^(qū)域v的樣本數(shù)kn近鄰法：主動(dòng)選擇kn與n的關(guān)系， vn被動(dòng)確定，指包含kn個(gè)樣本的x鄰域模式識(shí)別，第五章19Parzen窗口法設(shè)樣本特征空間為d維， Rn為包含樣本X的d維超球

5、體， vn 為其體積， hn為其直徑nhdnnvh 模式識(shí)別，第五章20Parzen窗口法可以證明，滿足前述三個(gè)條件的等效條件為： lim0nnvlimnnnv 模式識(shí)別，第五章21Parzen窗口法因此，可選擇 均能滿足條件，其中h1為可調(diào)常數(shù) 主動(dòng)選擇vn與n的關(guān)系后， kn如何確定？ 1nhvn1lognhvn模式識(shí)別，第五章22Parzen窗口法如前所述， kn即為n個(gè)樣本中落入體積vn中的樣本數(shù) 定義窗函數(shù)如下： 其中 ， Xi (i=1,2,n)為學(xué)習(xí)樣本, X為特征空間中的待估密度點(diǎn)1212inininxxhxxhxxh1 0 模式識(shí)別，第五章23Parzen窗口法模式識(shí)別，第五

6、章24Parzen窗口法矩形窗矩形窗 模式識(shí)別，第五章25Parzen窗口法則有 上式即是由學(xué)習(xí)樣本直接估計(jì)特征空間X點(diǎn)處概率密度的方法，稱為 Parzen窗口法 1nininxxkh 11nnininnknxxPxvnvh模式識(shí)別，第五章26Parzen窗口法一種更為合理的窗函數(shù)為正態(tài)窗 221exp21ninihXXhXX模式識(shí)別，第五章27Parzen窗口法正態(tài)窗正態(tài)窗 模式識(shí)別，第五章28Parzen窗口法若采用正態(tài)窗，則 21111exp22nininnxxPxnvh模式識(shí)別，第五章29Parzen窗口法例：已知某一維模式類(lèi)的實(shí)際概率密度函數(shù)為： 試用Parzen窗口法對(duì)n=1、n=

7、16、n=256及 情況下的概率密度進(jìn)行估計(jì)。 P x1 -2.5x-2 0.25 0 x20 其他 n 模式識(shí)別，第五章30Parzen窗口法解：采用正態(tài)窗函數(shù) 令 則對(duì)一維空間其中 為可調(diào)常數(shù)211exp22iinnxxxxhh1nhvnnhvhnn11h模式識(shí)別，第五章31Parzen窗口法niinininnnnnhxxnhhxxnvvnkxP12111/21exp211 1/)(模式識(shí)別，第五章32模式識(shí)別，第五章33模式識(shí)別，第五章34Parzen窗口法可以看出：當(dāng)時(shí) ， 可以收斂于任何復(fù)雜形式的當(dāng)n=1時(shí)， 即是窗函數(shù)的形式當(dāng)n較小時(shí)， 對(duì) 的大小較為敏感， 過(guò)小則產(chǎn)生噪聲性誤差，

8、過(guò)大則又產(chǎn)生平均性誤差n )(Xpn)(Xp)(Xpn)(Xpn1h1h模式識(shí)別，第五章35Parzen窗口法所需樣本數(shù)較多，計(jì)算量大，不易求得 的解析表達(dá)式當(dāng)特征空間的維數(shù)較大時(shí)，實(shí)用性差)(Xp模式識(shí)別，第五章36Parzen窗口法如何用Parzen窗口法進(jìn)行分類(lèi)器設(shè)計(jì)？獲取n個(gè)學(xué)習(xí)樣本令 或令 nXXXX,.,3211nhvn1lognhvndnnhv模式識(shí)別，第五章37Parzen窗口法當(dāng)待識(shí)別樣本到來(lái)時(shí)，分別計(jì)算每一類(lèi)樣本的 ， 即計(jì)算對(duì)每一類(lèi)樣本重復(fù)上述過(guò)程，得各類(lèi)的類(lèi)概率密度將樣本歸類(lèi)到 最大的類(lèi)別中去nininnhXXnvXP1221exp211)()(Xpn)(Xpn)()(

9、jnPXp模式識(shí)別，第五章38Kn近鄰法Parzen窗口法的估計(jì)效果取決于 樣本總數(shù)n及 當(dāng)n較小時(shí)，對(duì) 較為敏感，即 ：1h1h11hh較大容易產(chǎn)生平均性誤差較小則容易產(chǎn)生噪聲性誤差模式識(shí)別，第五章39Kn近鄰法其原因是由于 只與總樣本數(shù)有關(guān)，即進(jìn)行概率密度 估計(jì)時(shí)，任何x點(diǎn)處的 都是相同的一種合理的選擇是對(duì)樣本出現(xiàn)密度大的x處， 可較小，而對(duì)樣本密度較小的x處， 則相對(duì)大一些，這就是近鄰法。 1nhvn nPxnvnvnv模式識(shí)別，第五章40Kn近鄰法模式識(shí)別，第五章41Kn近鄰法基本原理主動(dòng)選擇 與n的關(guān)系， 被動(dòng)確定，即使得體積 為樣本密度的函數(shù)，而不是樣本總數(shù)的函數(shù)?？蛇x擇 ，該條件

10、可滿足： nknvnvnknlimnnk lim0nnkn lim0nnnnkvn Px模式識(shí)別，第五章42Kn近鄰法 Kn近鄰法，有效地解決了Parzen窗口法存在的問(wèn)題，對(duì)平均誤差和噪聲性誤差均有較好的改善 選擇 后， 如何計(jì)算 ？ nkn 1nnnnknPxvnvnv模式識(shí)別，第五章43Kn近鄰法 為與x點(diǎn)相鄰的 個(gè)近鄰樣本中，與x距離最遠(yuǎn)的樣本所構(gòu)成的區(qū)域，即nvnkdnnvh模式識(shí)別，第五章44Kn近鄰法用Kn近鄰法設(shè)計(jì)分類(lèi)器的過(guò)程：獲取n個(gè)學(xué)習(xí)樣本令找到待識(shí)樣本X處的Kn個(gè)近鄰 計(jì)算Kn個(gè)鄰近到X的距離，找到最遠(yuǎn)距離的樣本計(jì)算鄰域的直徑 ，計(jì)算鄰域的體積 nXXXX,.,321nk

11、ndnnhv nh模式識(shí)別，第五章45Kn近鄰法則對(duì)每一類(lèi)樣本重復(fù)上述過(guò)程，得各類(lèi)的類(lèi)概率密度將樣本X歸類(lèi)到 最大的類(lèi)別中去nvvnkXPnnnn1/)()(Xpn)()(jnPXp模式識(shí)別，第五章46模式識(shí)別，第五章47用Kn近鄰法估計(jì)后驗(yàn)概率非參數(shù)估計(jì)法的基本思想是：上式即可以用來(lái)估計(jì)各類(lèi)樣本的類(lèi)概率密度，也可以用來(lái)估計(jì)所有類(lèi)別樣本的概率密度分布。 nnnvnkXP/)(模式識(shí)別，第五章48用Kn近鄰法估計(jì)后驗(yàn)概率設(shè)共有C個(gè)待識(shí)類(lèi)別，各個(gè)類(lèi)別的學(xué)習(xí)樣本數(shù)分別為n1,n2,nC 總的學(xué)習(xí)樣本數(shù)為N= n1+n2 + + nC則 表示所有類(lèi)別樣本在特征空間X處的概率密度 其中 為落入體積 中的

12、樣本數(shù) NNNvNkXP/)(NkNv模式識(shí)別，第五章49用Kn近鄰法估計(jì)后驗(yàn)概率而聯(lián)合概率密度 為N個(gè)落入 中的樣本中屬于第i類(lèi)的樣本數(shù) Nik,NvNNiiNvNkXP/),(,模式識(shí)別，第五章50用Kn近鄰法估計(jì)后驗(yàn)概率又由于則后驗(yàn)概率 上式表明，待識(shí)樣本在x點(diǎn)處屬于第i類(lèi)的后驗(yàn)概率即是落入其近鄰體積內(nèi)第i類(lèi)樣本與落入總樣本數(shù)之比 )()/(),(XPXPXPNiNiNNNiNiNiNkkXPXPXP,)(),()/(模式識(shí)別，第五章51用Kn近鄰法估計(jì)后驗(yàn)概率Kn近鄰準(zhǔn)則：設(shè)各類(lèi)總的學(xué)習(xí)樣本為N,令當(dāng)待識(shí)樣本x到來(lái)時(shí)，找出x的 個(gè)近鄰，其中屬于第i類(lèi)的樣本為 ，則： 取 最大的一類(lèi)為識(shí)別結(jié)果NkNNkNik,NNiiNkkXP,)/()/(XPiN1