模式識別第三章

1、模式識別第三章第1頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 解決思路： 利用已知訓(xùn)練樣本估計(jì)P(i),p(x/i), 分類器訓(xùn)練的主要任務(wù)：確定類概密函數(shù)p(x/i) 可利用信息： 訓(xùn)練樣本第2頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四任務(wù)：利用有限的樣本集去設(shè)計(jì)分類器。1）利用樣本集估計(jì)p(x/wi)和P(wi)，得到估計(jì)值和2）利用 、 代替貝葉斯決策中的p(x/wi)和 P(wi)，完成分類器設(shè)計(jì) 希望：當(dāng)樣本數(shù)N時(shí)，收斂于p(x/wi) 、P(wi)第3頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四三個(gè)要解決的主要問題：1）如何利用樣本集估

2、計(jì)2）估計(jì)量的性質(zhì)如何（希望無偏估計(jì)）3）利用樣本集進(jìn)行錯(cuò)誤率估計(jì)第4頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四基本方法：1）監(jiān)督參數(shù)估計(jì)： 樣本所屬類別及類條件總體概率密度函數(shù)的形式已知，未知的是表征概率密度函數(shù)的某些參數(shù)； 例：正態(tài)分布，未知參數(shù)，2 ，稱為： 監(jiān)督參數(shù)估計(jì)第5頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四3）監(jiān)督非參數(shù)估計(jì)：2）非監(jiān)督參數(shù)估計(jì)： 已知總體概率密度函數(shù)形式，但未知樣本所屬類別，要求推斷概率密度函數(shù)的某些參數(shù)； 以上都是已知p(x/wi)的函數(shù)形式 已知樣本所屬類別，但未知p(x/wi)形式，直接推斷概率密度函數(shù)第6頁，共125頁，

3、2022年，5月20日，6點(diǎn)29分，星期四3.2 參數(shù)估計(jì)中的幾個(gè)基本概念（1）統(tǒng)計(jì)量 由樣本按某種規(guī)律構(gòu)造的函數(shù) 或：設(shè)樣本xk(k=1,n)都含有總體信息，為估計(jì)未知參數(shù)，把有用信息抽取出來構(gòu)造樣本的某函數(shù)，即為統(tǒng)計(jì)量。例：對正態(tài)分布，其統(tǒng)計(jì)量 第7頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四（2）參數(shù)空間： 在統(tǒng)計(jì)學(xué)中，把未知參數(shù)的全部可取值的集合稱參數(shù)空間，記為第8頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四（3）點(diǎn)估計(jì)、估計(jì)量和估計(jì)值 構(gòu)造一個(gè)統(tǒng)計(jì)量d(x1,xN)作為某未知參數(shù)的估計(jì) ，這種估計(jì)稱為點(diǎn)估計(jì)在統(tǒng)計(jì)學(xué)中， 稱 為的估計(jì)量。將屬于wi的樣本得到

4、第i類的 的具體數(shù)值，稱為的估計(jì)值。代入統(tǒng)計(jì)量d， 這種構(gòu)造統(tǒng)計(jì)量得到參數(shù)估計(jì)量的過程，稱為點(diǎn)估計(jì)問題。第9頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四（4）區(qū)間估計(jì)： 估計(jì)某個(gè)區(qū)間（d1, d2）作為未知參數(shù)的可能取值范圍，估計(jì)的區(qū)間（d1, d2）稱為置信區(qū)間，這類估計(jì)稱為區(qū)間估計(jì)。 即在一定置信度條件下估計(jì)某一未知參數(shù)的取值范圍，稱為置信區(qū)間，這類估計(jì)稱為區(qū)間估計(jì)。第10頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四參數(shù)估計(jì)方法的主要方法:最大似然估計(jì)貝葉斯估計(jì)最大似然估計(jì)：一種常用、有效的方法 把待估參數(shù)看作確定性的量，最佳估計(jì)就是使訓(xùn)練樣本的概率為最大的那個(gè)

5、值。兩種方法的結(jié)果很接近，但本質(zhì)有很大差別即：使似然函數(shù)達(dá)到最大的參數(shù)值作為估計(jì)值。其中參數(shù)是確定的未知量（非隨機(jī)）第11頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 貝葉斯估計(jì)的典型效果就是，每得到新的觀測樣本，都使后驗(yàn)概密函數(shù)更加尖銳，使其在待估參數(shù)的真實(shí)值附近形成最大尖峰，這個(gè)現(xiàn)象稱為“貝葉斯學(xué)習(xí)”過程。 貝葉斯估計(jì)： 把待估參數(shù)看成符合某種先驗(yàn)概率分布的隨機(jī)變量，對樣本進(jìn)行修正的過程就是把先驗(yàn)概率密度轉(zhuǎn)化為后驗(yàn)概率密度的過程。第12頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四1最大似然估計(jì)假設(shè)：（前提條件）1）待估參數(shù)是確定的未知量（非隨機(jī)）2）按類別把樣本

6、集分為C個(gè)子集：X1，X2，XC 任意一個(gè)子集Xi的樣本是從總體中獨(dú)立抽取的，每一個(gè)樣本集Xi中樣本都是獨(dú)立同分布的隨機(jī)變量第13頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四3）每個(gè)類條件概密函數(shù)p(x/wi)的形式已知，未知的是參數(shù)向量i的值 為強(qiáng)調(diào)p(x/wi)與i有關(guān)，記為p(x/wi,i) 4）不同類別的參數(shù)i是獨(dú)立的即 Xi中的樣本不包含 j(ji)的信息， 只包含i的信息（ Xi與j無關(guān)） 可對每一 類樣本獨(dú)立進(jìn)行處理，每個(gè)參數(shù)向量只由自己類別中的樣本決定。 下邊就只利用第i類學(xué)習(xí)樣本來估計(jì)第i類的概率密度，忽略類別標(biāo)志，即 p(x/wi,i) p(x/) 第14頁，

7、共125頁，2022年，5月20日，6點(diǎn)29分，星期四設(shè)樣本子集當(dāng)樣本是獨(dú)立抽取的，則似然函數(shù)為定義: (似然函數(shù))（當(dāng)已得到同一類樣本集X，可略去類別下標(biāo)， ，可寫為p(X/) ） 當(dāng)X的N個(gè)樣本確定后，p(X/)只是的函數(shù)，記為l()。第15頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四最大似然估計(jì)的基本思想：例：設(shè)xN(6,1)，則最可能出現(xiàn)的樣本就是x=6，即l()=max p(x/(6,1) )=p(6/(6,1), 若已知，當(dāng)從觀測值中抽取樣本x1, x2, , xN時(shí)，最可能出現(xiàn)的樣本是使l()為最大的樣本。若未知，X選定。不同的選擇，對N個(gè)樣本x1, x2, , x

8、N 就有不同的p(X/) 值，應(yīng)選擇使x1, x2, , xN的似然函數(shù)l()為最大的第16頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四定義最大似然估計(jì)： 使p(X/)達(dá)極大值的參數(shù)向量 ，就是的最大似然估計(jì)。 顯然使 最大的 是樣本x1, x2, , xN的函數(shù)，記為第17頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四計(jì)算方法： 或若有s個(gè)分量：求即為便于分析，取對數(shù)形式求導(dǎo)第18頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四則：s個(gè)聯(lián)立方程組求解,可得即：使對數(shù)似然函數(shù)最大的 值，也必然使似然函數(shù)最大。是樣本的函數(shù)，若樣本數(shù)N時(shí)，估計(jì)值 收斂于真值。第

9、19頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 注：極值解可能有多解，有全局最大解、局部極大點(diǎn)和拐點(diǎn)等，確定最大值點(diǎn)即可。 按上式對所有類型進(jìn)行同樣操作，最終完成對所有類型的最大似然估計(jì)。p(X/)第20頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四例：高斯分布1) 已知, 未知,似然函數(shù)為：其中，對于正態(tài)分布第21頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四求導(dǎo)： 第22頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四令則 說明未知均值的最大似然估計(jì)正好是訓(xùn)練樣本的算術(shù)平均第23頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四2)

10、 、均未知考慮一維情況（d1）令1=，2=2 似然函數(shù)其中，對于一維正態(tài)分布第24頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四令求導(dǎo) 則有第25頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四對于多元高斯函數(shù)(d維），則有 最大似然估計(jì)結(jié)果令人滿意結(jié)論：的估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均估計(jì)的協(xié)方差矩陣是矩陣的算術(shù)平均（dd陣列， dd個(gè)值）第26頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四一個(gè)反例：均勻分布 似然函數(shù) 的解為必要條件 （3-11式） 不一定有解，即：（有兩個(gè)需估計(jì)的參數(shù)）注意：第27頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四取對

11、數(shù)： 求導(dǎo)： 極值解為無窮大，結(jié)果無意義。需用其它方法找最大值。第28頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四給定N個(gè)觀察值x1,xN ，由這些樣本集估計(jì)1，21x3，窗口為一超立方體窗口的選擇：有多種選擇 方窗函數(shù)指數(shù)窗函數(shù)正態(tài)窗函數(shù)(u) (u)(u)hN 正態(tài)窗函數(shù)第91頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四若選(u) 是以原點(diǎn)x為中心的超立方體。在xi落入方窗時(shí)，則有在VN內(nèi)為1不在VN內(nèi)為0落入VN的樣本數(shù)等于所有為1者之和即第92頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四則概率密度估計(jì)：落入窗口中的樣本為Parzen窗法估計(jì)的基

12、本公式 該式是一個(gè)迭加函數(shù)，使用KN個(gè)以xi為中心的窗函數(shù)迭加，對x處的概密進(jìn)行估計(jì)。每一樣本xi對概率密度函數(shù)的貢獻(xiàn)只在一個(gè)窗口范圍，離x遠(yuǎn)近不同，貢獻(xiàn)不同，是一種內(nèi)插過程。第93頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 每個(gè)樣本對估計(jì)所起的作用依賴于它到x的距離，即 | x-xi|hN/2時(shí)， xi在VN內(nèi)為1，否則為0。討論： 稱為窗函數(shù)，取0，1兩種值， 但有時(shí)可取0, 0.1, 0.2多種數(shù)值，例如隨xi離x接近的程度， 取值可由0, 0.1, 0.2到1。第94頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四為滿足這兩個(gè)條件，要求窗函數(shù)滿足：（保證 非負(fù)

13、） 窗函數(shù)的選擇例：矩形窗、正態(tài)窗、指數(shù)窗、三角窗等等（只要滿足上述兩條件，都可作為窗函數(shù)使用） 要求估計(jì)的 應(yīng)滿足：第95頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 窗長度hN對 的影響 hN又稱為平滑因子，N有限時(shí)，hN影響大，既影響幅度，又影響寬度若定義 則 hN太大, 是p (x)的一個(gè)平滑估計(jì),不能跟上p(x)變化，分辨力太低，有平均誤差。 若hN太大，N(x)幅度小，而寬度拓寬，變得平緩， 是由N個(gè)寬的低幅緩變函數(shù)迭加。第96頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 若hN太小，N (x)幅度很大，寬度很小， 是N個(gè)以xi為中心的尖脈沖在x處的疊加

14、。hN太小, 是p (x)的一個(gè)起伏大的估計(jì),分辨力高，但不穩(wěn)定，波動太大，有噪聲誤差。 圖3.6、圖3.7，說明hN及N的影響為使這些誤差不嚴(yán)重， hN應(yīng)折衷選擇，即VN選擇很關(guān)鍵 看出要得到與真實(shí)分布相近的估計(jì)，需要非常大量的訓(xùn)練樣本。第97頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四（5） 的統(tǒng)計(jì)特性 對p(x)，(u)，hN作必要的約束，即滿足3.1153.123式，就能保證收斂。 在一定限制條件下， 是漸近無偏估計(jì)，平方誤差一致，即N，第98頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四0123456x6x5x3x1x2x4x例1：對于一個(gè)二類（ 1 ，2

15、）識別問題，隨機(jī)抽取1類的6個(gè)樣本X=(x1，x2，. x6)1=(x1，x2，. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計(jì)p(x|1)，即第99頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四解：選正態(tài)窗函數(shù)x是一維的第100頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 上式用圖表示，則是6個(gè)分別以3.2，3.6，3，6，2.5，1.1為中心的正態(tài)曲線，而 則是這些曲線之和。第101頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 由圖看出：每個(gè)樣本對估計(jì)的貢獻(xiàn)與樣本間的距離有關(guān)，樣本越多， PN(x)越準(zhǔn)

16、確。第102頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四例2：設(shè)待估計(jì)的p(x)是均值為0，方差為1的正態(tài)密度函數(shù)。 若隨機(jī)抽取X樣本中的1個(gè)、 16個(gè)、 256個(gè)作為學(xué)習(xí)樣本xi,試用窗口法估計(jì)pN(x)。解：設(shè)窗口函數(shù)為正態(tài)的， 1，0第103頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四hN:窗長度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。第104頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四用 窗法估計(jì)單一正態(tài)分布的實(shí)驗(yàn)N=N=256N=16N=1第105頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四當(dāng)N1時(shí)， 是一個(gè)以第一個(gè)樣本為中心的正

17、態(tài)形狀的小丘，與窗函數(shù)差不多。 討論：由圖看出， 隨N, h1的變化情況當(dāng)N16及N=256時(shí) h10.25 曲線起伏很大，噪聲大 h11 起伏減小 h14 曲線平坦，平均誤差 當(dāng)N時(shí)， pN(x)收斂于一平滑的正態(tài)曲線， 估計(jì)曲線較好。第106頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四例3.待估的密度函數(shù)為二項(xiàng)分布解：此為多峰情況的估計(jì)設(shè)窗函數(shù)為正態(tài)-0.25x-20 x2x為其它x-2.5-210.2502p(x)第107頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四N=N=256N=16N=1用 窗法估計(jì)兩個(gè)均勻分布的實(shí)驗(yàn)第108頁，共125頁，2022年，5

18、月20日，6點(diǎn)29分，星期四當(dāng)N1時(shí)， 實(shí)際是窗函數(shù)。 當(dāng)N16及N=256時(shí) h10.25 曲線起伏大 h11 曲線起伏減小 h14 曲線平坦 當(dāng)N時(shí)，曲線較好上圖是N=1、16、256、 時(shí)的 估計(jì)結(jié)果第109頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 圖3.6、圖3.7說明了該方法的功能和限制，其結(jié)果依賴N和h1。尤其要得到精確的估計(jì)，所需的樣本個(gè)數(shù)非常多。N=1時(shí)，得到的更多是關(guān)于窗函數(shù)的信息，而不 是概密函數(shù);當(dāng)N=16時(shí)，估計(jì)結(jié)果不令人滿意;當(dāng)N=256，h1=1時(shí)，結(jié)果開始趨于精確。圖3.7更明顯:第110頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四

19、窗口法具有應(yīng)用的普遍性。對規(guī)則、非規(guī)則分布，單鋒或多峰分布都可用此法估計(jì)概率密度。 圖3.6、圖3.7說明了如下結(jié)論： 只要樣本足夠多，總可保證收斂于任何復(fù)雜的概密函數(shù)。Parzen窗的優(yōu)點(diǎn)：第111頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四Parzen窗的缺點(diǎn)： 尤其特征空間維數(shù)大于1后，更加突出，對樣本的需求相對于維數(shù)按指數(shù)，所以易出現(xiàn)“維數(shù)災(zāi)難”。要求樣本足夠多，才能有較好的估計(jì)。 比參數(shù)估計(jì)法所需樣本數(shù)大得多， 需大量的存儲單元和計(jì)算時(shí)間，計(jì)算效率不高。第112頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 利用訓(xùn)練樣本類別屬性已知，對每一類獨(dú)立估計(jì)概率密度

20、，并根據(jù)最大后驗(yàn)概率（MAP）的原則進(jìn)行分類。 為提高處理效率，模式識別可用并行處理方式實(shí)現(xiàn)，以空間復(fù)雜度來換取時(shí)間復(fù)雜度具有人工網(wǎng)絡(luò)的結(jié)構(gòu)。 Parzer窗法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概率神經(jīng)網(wǎng)絡(luò)（Probabilistic neural network PNN）分類器設(shè)計(jì)：第113頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四3.5.3 KN近鄰估計(jì) Parzen窗法存在的問題： 例 ，對V1敏感(圖3.6，圖3.7)對VN （hN ）的選擇，對估計(jì)結(jié)果影響很大若hN選太小，則大部分體積將是空的（不包含樣本），使PN(x)估計(jì)不穩(wěn)定;若hN選太大，則PN(x)估計(jì)較平坦，反映不出總體分布的變

21、化.KN近鄰估計(jì)是克服該問題的一個(gè)較有效方法第114頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四 以x為中心建立區(qū)域V，使V增大（V1，V2，VN ），直到捕捉到KN個(gè)樣本為止。 稱KN-近鄰估計(jì)KN近鄰法的思想: VN 受控于KN ，而不是直接作為N的函數(shù)，可避免出現(xiàn)空的區(qū)域RN，消除了不穩(wěn)定性。VN適應(yīng)于KN的變化即：樣本密度大，VN ; 樣本密度小，VN ;第115頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四KN近鄰方法： 1）預(yù)先確定KN是N的函數(shù)，例：2）然后圍繞x點(diǎn)建立一個(gè)體積（鄰域）RN，并讓它 不斷增大，直到包含KN個(gè)樣本為止，這KN個(gè)樣本就稱為x的

22、KN個(gè)近鄰。3）計(jì)算該領(lǐng)域的體積VN顯然：如果x點(diǎn)附近樣本密度高，概密p(x)較大，則區(qū)域體積就小，分辨力較高。如果x點(diǎn)附近樣本密度低，p(x) 較小，則區(qū)域體積自然就大，當(dāng)區(qū)域?yàn)榘琄N個(gè)鄰近樣本而擴(kuò)展到高密度區(qū)時(shí)，擴(kuò)展過程必然很快停止。 4）概密函數(shù)估計(jì)為 第116頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四N個(gè)已知類別樣本落入VN內(nèi)為KN個(gè)樣本的概率密度估計(jì)為： 當(dāng)N個(gè)樣本落入VN內(nèi)有KN個(gè)，KN個(gè)樣本內(nèi)有Ki個(gè)樣本屬于i類則聯(lián)合概率密度：用KN近鄰法進(jìn)行后驗(yàn)概率的估計(jì)：第117頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四根據(jù)Bayes公式可求出后驗(yàn)概率：則

23、類別為i的后驗(yàn)概率就是落在VN內(nèi)屬于i的樣本ki與VN內(nèi)總樣本數(shù)KN的比值第118頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四Parzen窗估計(jì)法：需調(diào)整hN (VN)因子 與Parzen窗法比較，KN近鄰估計(jì)法是一種較好的非參數(shù)估計(jì)方法。KN近鄰估計(jì)法：需調(diào)查KN因子第119頁，共125頁，2022年，5月20日，6點(diǎn)29分，星期四1） （使平均密度收斂于真實(shí)密度， 即 ） 2） N與KN同相變化。3） KN的變化遠(yuǎn)小于N的變化。即KN 的慢一點(diǎn)，以使捕獲KN個(gè)樣本的體積VN可逐步減小，使 ，避免 要使 收斂于p(x)，仍應(yīng)滿足下列條件:即N時(shí)，KN，可保證樣本落在VN中的概率估值 有一