統(tǒng)計決策中的訓(xùn)練學(xué)習(xí)與錯誤率測試估計模式識課件

模式識別主講：蔡宣平教授

電話：73441（O）,73442（H）

E-mail：xpcai@

單位:電子科學(xué)與工程學(xué)院信息工程系1模式識別主講：蔡宣平教授

電話：73441（O第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計統(tǒng)計推斷概述參數(shù)估計概密的窗函數(shù)估計法有限項正交函數(shù)級數(shù)逼近法2第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試5·1統(tǒng)計推斷概述第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計35·1統(tǒng)計推斷概述第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

本章目的：已知類別的樣本（訓(xùn)練樣本）→學(xué)習(xí)或訓(xùn)練→獲得類概密在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計貝葉斯分類器。但在實際中，這些知識往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計推斷理論中的估計方法，從樣本集數(shù)據(jù)中估計這些參數(shù)。5.1統(tǒng)計推斷概述4本章目的：已知類別的樣本（訓(xùn)練樣本）→在如果已知iw類的概密)(ixpwr的函數(shù)類型，即知道iw

類的概型，但不知道其中的參數(shù)或參數(shù)集，可采用參數(shù)估計的方法，當(dāng)解得這些參數(shù)后)(ixpwr也就確定了。{}),,,(21￠qqq=qD

qmiLr確定未知參數(shù)參數(shù)估計參數(shù)估計有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計、最大似然估計；將參數(shù)作為隨機(jī)變量，貝葉斯估計就屬此類。5.1統(tǒng)計推斷概述5如果已知iw類的概密)(ixpwr的函數(shù)類型，即知道iw類非參數(shù)估計5.1統(tǒng)計推斷概述當(dāng)不知道類的概型時，就要采用非參數(shù)估計的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法2.有限項正交函數(shù)級數(shù)逼近法3.隨機(jī)逼近法6非參數(shù)估計5.1統(tǒng)計推斷概述當(dāng)不知道類的概型時，就要采用基本概念母體（總體）：一個模式類稱為一個總體或母體5.1統(tǒng)計推斷概述母體的子樣：一個模式類中某些模式(即母體中的一些元素)的集合稱為這個母體的子樣。母體的子樣含有母體的某些信息，可以通過構(gòu)造樣本的函數(shù)來獲得。統(tǒng)計量：一般來說，每一個樣本都包含著母體的某些信息，為了估計未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學(xué)中稱為統(tǒng)計量。7基本概念母體（總體）：一個模式類稱為一個總體或母體5.1基本概念經(jīng)驗分布：由樣本推斷的分布稱為經(jīng)驗分布。5.1統(tǒng)計推斷概述數(shù)學(xué)期望、方差等理論量（或理論分布）：參數(shù)空間：在統(tǒng)計學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。點估計、估計量：針對某未知參數(shù)q構(gòu)造一個統(tǒng)計量作為q的估計，這種估計稱為點估計。稱為q的估計量。8基本概念經(jīng)驗分布：由樣本推斷的分布稱為經(jīng)驗分布。5.1統(tǒng)基本概念5.1統(tǒng)計推斷概述為了準(zhǔn)確地對某一類的分布進(jìn)行參數(shù)估計或總體推斷，應(yīng)只使用該類的樣本。就是說在進(jìn)行參數(shù)估計時，應(yīng)對各類進(jìn)行獨立的參數(shù)估計或總體推斷。因此在以后的論述中，如無必要，不特別言明類別。區(qū)間估計：在一定置信度條件下估計某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計成為區(qū)間估計。9基本概念5.1統(tǒng)計推斷概述為了準(zhǔn)確地對某一類的分1010基本概念5.1統(tǒng)計推斷概述漸近無偏估計：即。當(dāng)不能對所有

的都有

時，希望估計量是漸近無偏估計。11基本概念5.1統(tǒng)計推斷概述漸近無偏估計：即基本概念5.1統(tǒng)計推斷概述均方收斂:均方逼近:均方收斂:又稱相合估計一致估計:

當(dāng)樣本無限增多時，估計量依概率收斂于，12基本概念5.1統(tǒng)計推斷概述均方收斂:均方逼近:均方收斂:

5·2參數(shù)估計第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計13第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估5.2參數(shù)估計5.2.1均值矢量和協(xié)方差陣的矩法估計5.2.2最大似然估計(MLE)5.2.3貝葉斯估計(BE)145.2參數(shù)估計5.2.1均值矢量和協(xié)方差陣的矩法估計5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計矩法估計是用樣本(的統(tǒng)計)矩作為總體(理論)矩的估值。若類的概型為正態(tài)分布，我們用矩法估計出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。均值矢量:均值無偏估計:155.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計矩法估計是用5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:165.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣

:協(xié)方差陣無偏估計

:或175.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:5.2參數(shù)估計設(shè)和是由個樣本算得的均矢和協(xié)方差陣，則可采用遞推公式進(jìn)行估算若再加入一個新的樣本初始值:))((11)(1NmxNNmNrrr-++=+均值矢量和協(xié)方差陣的矩法估計185.2參數(shù)估計設(shè)和是由個樣本算得的均矢和協(xié)方差陣，則可5.2參數(shù)估計協(xié)方差矩陣的遞推估計式:均值矢量和協(xié)方差陣的矩法估計?+=+++-=11)'1()1(1'1NjjjNmNmNNxxNrrrr'11')(12)'()(1'11111+++=+++-+-=?NNNjNjjxxNxNmNNmNmNNxxNrrrrrrrr))'())(((11)(111NmxNmxNNCNNNNrrrr--++-=++F=-=-='')'1()1(')1(111111xxxxmmxxCrrrrrrrr初始值:195.2參數(shù)估計協(xié)方差矩陣的遞推估計式:均值矢量和協(xié)方5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計205.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計205.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

如同矩法估計一樣，最大似然估計要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計量作為確定性的變量對待。但最大似然估計適用范圍比矩法估計更寬一些，可以用于不是正態(tài)分布的情況。最大似然估計是參數(shù)估計中最重要的方法。215.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

似然函數(shù):當(dāng)個隨機(jī)樣本取定值時，稱為相對于的的似然函數(shù)。聯(lián)合概密設(shè)一個總體的概密為，其中是一個未知參數(shù)集，225.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

由于是概密的一個確定性的參數(shù)集,因此實際上就是條件概密上式中不同的,將不同。如果各個是獨立抽取的，則進(jìn)一步有：235.2參數(shù)估計最大似然估計(MLE)(MaximumL5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)最大似然估計：245.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)在實際中多是獨立取樣和經(jīng)常處理正態(tài)變量，而且對數(shù)函數(shù)是單值單調(diào)函數(shù)，對數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。255.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

在似然函數(shù)可微的條件下，求下面微分方程組的解：或等價地求作為極值的必要條件。對數(shù)似然方程組265.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

需要指出的是：對于具體問題，有時用上述方法不一定可行，原因之一是似然函數(shù)在最大值點處沒有零斜率。求出上面方程組中的一切解及邊界值，計算使最大的作為的最大似然估計。因此，最大似然的關(guān)鍵是必須知道概型。275.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

下面我們以多維正態(tài)分布為例進(jìn)行說明。（1）假設(shè)Σ是已知的，未知的只是均值μ，則：285.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

這說明，樣本總體的未知均值的最大似然估計就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個樣本看成是一群質(zhì)點，則樣本均值便是它們的質(zhì)心。295.2參數(shù)估計最大似然估計(MLE)(Maximum3030可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計量等于N個矩陣的算術(shù)平均值。31可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計量等于N個矩陣的算（3）對于一般的多維正態(tài)密度的情況，計算方法完全是類似的。最后的結(jié)果是：可以證明上式的均值是無偏估計，但協(xié)方差陣并不是無偏估計，無偏估計是：32（3）對于一般的多維正態(tài)密度的情況，計算方法完全是類似的。最5.2參數(shù)估計貝葉斯估計(BE)考慮到的各種取值，我們應(yīng)求在空間中的期望，即平均損失：

335.2參數(shù)估計貝葉斯估計(BE)考慮到的各種取值，我們5.2參數(shù)估計貝葉斯估計(BE)345.2參數(shù)估計貝葉斯估計(BE)345.2參數(shù)估計貝葉斯估計(BE)不同的具體定義，可得到不同的最佳貝葉斯估計。比如，可以用平方誤差作為代價，此時：上式中，對于于是：355.2參數(shù)估計貝葉斯估計(BE)5.2參數(shù)估計貝葉斯估計(BE)由于是非負(fù)的，只出現(xiàn)在內(nèi)層積分中，關(guān)于使最小等價于：為求極小，令365.2參數(shù)估計貝葉斯估計(BE)由于是非負(fù)的，只出現(xiàn)在5.2參數(shù)估計貝葉斯估計(BE)從而可得：375.2參數(shù)估計貝葉斯估計(BE)從而可得：375.2參數(shù)估計貝葉斯估計(BE)下面介紹估計所涉及的其它公式或近似算式：由于各樣本是獨立抽取的，故它們條件獨立，即有由貝葉斯定理知：385.2參數(shù)估計貝葉斯估計(BE)下面介紹估計5.2參數(shù)估計貝葉斯估計(BE)395.2參數(shù)估計貝葉斯估計(BE)395.2參數(shù)估計貝葉斯估計(BE)405.2參數(shù)估計貝葉斯估計(BE)40作業(yè)：P1705.1,5.2,5.341作業(yè)：P1705.1,5.2,5·4概密的窗函數(shù)估計法

第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計42第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估設(shè)個樣本是從上述概密為的總體中獨立抽取的，個樣本中有個樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項分布43設(shè)個樣本令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和44令為眾數(shù)，如果由于：所以：這里是的估計，當(dāng)較大較小時上式的近似程度是足夠的。45由于：所以：這里是的估計，當(dāng)較大5.4概密的窗函數(shù)估計法概率密度的基本估計式當(dāng)固定時，對的最大似然估計，由概率論知，的數(shù)學(xué)期望。465.4概密的窗函數(shù)估計法概率密度的基本估計式當(dāng)固定5.4概密的窗函數(shù)估計法概率密度的基本估計式設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(rrr設(shè))(?xpr是)(xpr的估計，由上面二式有VxpxdxpPNkR)(?)(??rrr===ò于是可得475.4概密的窗函數(shù)估計法概率密度的基本估計式設(shè)區(qū)域R的體積5.4概密的窗函數(shù)估計法概率密度的基本估計式顯然是的基本估計式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時k，N。

而實際估計時體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以485.4概密的窗函數(shù)估計法概率密度的基本估計式顯然是的基本估5.4概密的窗函數(shù)估計法概率密度的基本估計式為了提高處的概密)(xpr的估計精度，我們根據(jù)理論，可以采用如下步驟以盡量滿足理論要求：極限⑴

構(gòu)造一包含的區(qū)域序列各區(qū)域的體積滿足⑵相對區(qū)域作估計實驗，對取N個樣本進(jìn)行估計，設(shè)有個樣本落入樣本數(shù)目應(yīng)滿足中，495.4概密的窗函數(shù)估計法概率密度的基本估計式為了提高處的概5050515152525.4概密的窗函數(shù)估計法Parzen窗法為能用函數(shù)描述區(qū)域NR和對落入NR的樣本計數(shù)，定義窗函數(shù)),,,(21￠=nuuuuLr?íì=￡=j其它當(dāng),0,,2,1,21,1)(niuuiLr

這樣，)(urj以函數(shù)值1界定了一個以原點為中心、棱長為1的n維超立方體。535.4概密的窗函數(shù)估計法Parzen窗法為能用函數(shù)描述區(qū)域5.4概密的窗函數(shù)估計法Parzen窗法

如果一個樣本jxr落入以xr為中心以Nh為棱長的超立方體NR內(nèi)時則計數(shù)為1，否則計數(shù)為0，我們可以利用窗函數(shù))(xrj實現(xiàn)這個約定，即落入該立方體NR的樣本數(shù)545.4概密的窗函數(shù)估計法Parzen窗法如果一個樣本jx55555.4概密的窗函數(shù)估計法Parzen窗法上面所講的是從構(gòu)造上導(dǎo)出了估計式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實上只要窗函數(shù)滿足下面的兩個條件:由式構(gòu)造的估計式就是概密函數(shù)。565.4概密的窗函數(shù)估計法Parzen窗法上面所講的是從構(gòu)造5.4概密的窗函數(shù)估計法Parzen窗法

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個條件的函數(shù)作窗函數(shù)。下面列出幾個一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu575.4概密的窗函數(shù)估計法Parzen窗法按下面進(jìn)一步討論窗寬對估計的影響:5.4概密的窗函數(shù)估計法Parzen窗法定義:于是估計式表示成:影響的幅度和寬度。注意到:可看出58下面進(jìn)一步討論窗寬對估計的影響:5.4概密的窗函數(shù)5.4概密的窗函數(shù)估計法Parzen窗法若Nh較大，則)(jNxxrr-d幅度將較小，而寬度增大)(?xpNr是N個低幅緩變寬的函數(shù)迭加,)(?xpNr較平滑，不能跟上的變化，分辨率較低。)(xpr595.4概密的窗函數(shù)估計法Parzen窗法若Nh較大，則)(60605.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑴

概密)(xpr在xr處連續(xù)⑵

窗函數(shù)滿足下列條件①0)(3jur②

ò=j1)(udurr③

￥<j)(supuurr④

0)(lim1=j?=￥?niiuuurr615.4概密的窗函數(shù)估計法Parzen窗法估計量5.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑶窗寬限制⑤

⑥⑷對樣本的要求⑦⑧625.4概密的窗函數(shù)估計法Parzen窗法估計量(1)是的漸近無偏估計證明：63(1)是的漸近無偏估計證明：636464P—窗法的特點

適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。但它要求樣本分布較好且數(shù)量要大，顯然這也是一個良好估計所必須的，但它的取樣過程的操作增加了取樣工作的復(fù)雜性。窗函數(shù)選取得當(dāng)有利于提高估計的精度和減少樣本的數(shù)量。65P—窗法的特點適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰（a）圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函數(shù)選擇為正態(tài)窗函數(shù)：h1為可調(diào)節(jié)參量。于是：66（a）圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函（a）由結(jié)果曲線可以看出，樣本量越大，估計越精確；同時，也可以看出窗口選擇是否適當(dāng)對估計結(jié)果有一定影響。67（a）由結(jié)果曲線可以看出，樣本量越大，估計越精確；同時，也可和

同上由圖中曲線可以看出，當(dāng)N較小時，窗函數(shù)對估計結(jié)果影響較大，其估計結(jié)果與真實分布相差較遠(yuǎn)；當(dāng)N增大時，估計結(jié)果與真實分布較為接近。68和同上由圖中曲線可以看出，當(dāng)N較小時，窗函數(shù)對估計結(jié)果影5.4概密的窗函數(shù)估計法kN-近鄰估計法在P—窗法中，把體積作為的函數(shù)導(dǎo)致對估計結(jié)果影響很大。例如當(dāng)選得太小將導(dǎo)致大部分區(qū)域是空的，會使不穩(wěn)定；選得太大，則較平坦，將丟失的一些重要空間變化。當(dāng)—近鄰元估計法是克服這個問題的一個可能的方法。695.4概密的窗函數(shù)估計法kN-近鄰估計法在P—窗法中，把體5.4概密的窗函數(shù)估計法kN-近鄰估計法基本思想：把含點的序列區(qū)域的體積作為落入中樣本數(shù)的函數(shù)，而不是直接作為的函數(shù)。我們可以預(yù)先確定是的某個函數(shù)，然后在點附近選擇一“緊湊”區(qū)域，個鄰近樣本。實驗樣本數(shù)讓它只含點附近概密較大，則包含個樣本的區(qū)域如果體積自然就相對的?。稽c附近概密較小，則區(qū)域體積就較大。個鄰近樣本而擴(kuò)展到高密度如果顯然，當(dāng)區(qū)域為含有區(qū)時，擴(kuò)展過程必然會停止。705.4概密的窗函數(shù)估計法kN-近鄰估計法基本思想：把含點的5.4概密的窗函數(shù)估計法kN-近鄰估計法如果滿足條件

②③①715.4概密的窗函數(shù)估計法kN-近鄰估計法如果滿足條件②③5.4概密的窗函數(shù)估計法kN-近鄰估計法725.4概密的窗函數(shù)估計法kN-近鄰估計法725.4概密的窗函數(shù)估計法kN-近鄰估計法-20210.01.00.10.010.001N=1,KN=1-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001N=16,KN=4N=256,KN=16N=,KN=735.4概密的窗函數(shù)估計法kN-近鄰估計法-20作業(yè)P1705.75.874作業(yè)P1705.75.87475755·5有限項正交函數(shù)級數(shù)逼近法第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計765·5有限項正交函數(shù)級數(shù)逼近法第五章統(tǒng)計決策中的訓(xùn)練、學(xué)5·5有限項正交函數(shù)級數(shù)逼近法—設(shè)有個抽自同一母體

的樣本用于估計總體概密，我們將概密的估計表示成有限項正交級數(shù)式中，是某一正交函數(shù)集的基函數(shù)，為待定系數(shù)。應(yīng)根據(jù)的特點適當(dāng)選擇以期在固定的項數(shù)下減小誤差，項數(shù)R取得越大近似得就越好。最小積分平方逼近方法775·5有限項正交函數(shù)級數(shù)逼近法—設(shè)有個抽自同一母體的樣本5·5有限項正交函數(shù)級數(shù)逼近法—

估計與真值之間的誤差可用下式測度式中，是特征空間，是權(quán)函數(shù)，顯然越小，我們得到的估計從總體上講就越精確。將的具體表示代入上式得：最小積分平方逼近方法785·5有限項正交函數(shù)級數(shù)逼近法—估計與真值上式的是的二次函數(shù)，因此使達(dá)到最小值的必要且只要滿足：由此可得：從而有：79上式的是的二次函數(shù)，因此使達(dá)到最小值的必要且只要滿足：由此可

令是帶權(quán)函數(shù)的正交函數(shù)集，即

80 令是帶權(quán)函數(shù)的正交函數(shù)集，即80則有:若是在下的規(guī)范化的正交函數(shù)集，即則有:將所求得的最佳系數(shù)代入式。便可以得到81則有:若是在下的規(guī)范化的正交函數(shù)集，即則有:將所求得的最佳系的計算式可寫成迭代形式。

令，若表示用前個樣本所求得的系數(shù)個樣本后，當(dāng)加入第初始系數(shù):，顯然。

82的計算式可寫成迭代形式。令，若表示用前個樣本所求得的系數(shù)個同理可得到的迭代形式。

初始值:83同理可得到的迭代形式。前面介紹的方法中被逼近的函數(shù)是概密，對于這種幅值大小變化較劇烈的函數(shù)，須用較多的項才可能在整個空間中有較好的逼近。為減少計算量,在樣本出現(xiàn)較密集的區(qū)域（即概密取值較大的區(qū)域）中，應(yīng)要求逼近精度高些；而在樣本出現(xiàn)稀疏的區(qū)域（即概密取值較小的區(qū)域）中，可以讓逼近精度低一些。這樣分別對待會使在相同的訓(xùn)練樣本下總的誤判概率較小。因此應(yīng)考慮加權(quán)的最小均方差逼近。84前面介紹的方法中被逼近的函數(shù)是概密，對于這種對于c類問題，設(shè)類概密和類概率分別為)(ixpwr和)(iPw),,2,1(ciL=，則混合概密為

?=ww=ciiixpPxp1)()()(rr設(shè)對每類的概密)(ixpwr的估計)(?ixpwr用正交函數(shù)有限項表示為

?=j=wRjjijixCxp1)()()(?rr85對于c類問題，設(shè)類概密和類概率分別為)(ixpwr和)(iP考慮以混合概密作為權(quán)值的加權(quán)均方差:求的最小值，有如下的定理：記為，其中，若取各類的概率為使上面所確定的達(dá)到最小值的近似滿足線性方程組:設(shè)有個樣本，其中有個樣本屬于類，86考慮以混合概密作為權(quán)值的加權(quán)均方差:求的最小值，有如下的定其中:87其中:87求得后就能構(gòu)造各類的概密逼近式：88求得后就能構(gòu)造各類的概密逼近式：88解：用正交的二維Hermite多項式來構(gòu)成正交函數(shù)集。例：用逼近法求如下模式類別的和

的估計。89解：用正交的二維Hermite多項式來構(gòu)成正交函數(shù)集。例：用9090對于1,N1=7,系數(shù)為91對于1,N1=7,系數(shù)為91對于2,N2=6,系數(shù)為92對于2,N2=6,系數(shù)為92使用最小錯誤判決規(guī)則:若只取線性項，則為122令則判別界面方程為93使用最小錯誤判決規(guī)則:若只取線性項，則為122令則判別1229412294作業(yè):5.995作業(yè):5.995演講完畢，謝謝觀看！演講完畢，謝謝觀看！模式識別主講：蔡宣平教授

電話：73441（O）,73442（H）

E-mail：xpcai@

單位:電子科學(xué)與工程學(xué)院信息工程系97模式識別主講：蔡宣平教授

電話：73441（O第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計統(tǒng)計推斷概述參數(shù)估計概密的窗函數(shù)估計法有限項正交函數(shù)級數(shù)逼近法98第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試5·1統(tǒng)計推斷概述第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計995·1統(tǒng)計推斷概述第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

本章目的：已知類別的樣本（訓(xùn)練樣本）→學(xué)習(xí)或訓(xùn)練→獲得類概密在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計貝葉斯分類器。但在實際中，這些知識往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計推斷理論中的估計方法，從樣本集數(shù)據(jù)中估計這些參數(shù)。5.1統(tǒng)計推斷概述100本章目的：已知類別的樣本（訓(xùn)練樣本）→在如果已知iw類的概密)(ixpwr的函數(shù)類型，即知道iw

類的概型，但不知道其中的參數(shù)或參數(shù)集，可采用參數(shù)估計的方法，當(dāng)解得這些參數(shù)后)(ixpwr也就確定了。{}),,,(21￠qqq=qD

qmiLr確定未知參數(shù)參數(shù)估計參數(shù)估計有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計、最大似然估計；將參數(shù)作為隨機(jī)變量，貝葉斯估計就屬此類。5.1統(tǒng)計推斷概述101如果已知iw類的概密)(ixpwr的函數(shù)類型，即知道iw類非參數(shù)估計5.1統(tǒng)計推斷概述當(dāng)不知道類的概型時，就要采用非參數(shù)估計的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法2.有限項正交函數(shù)級數(shù)逼近法3.隨機(jī)逼近法102非參數(shù)估計5.1統(tǒng)計推斷概述當(dāng)不知道類的概型時，就要采用基本概念母體（總體）：一個模式類稱為一個總體或母體5.1統(tǒng)計推斷概述母體的子樣：一個模式類中某些模式(即母體中的一些元素)的集合稱為這個母體的子樣。母體的子樣含有母體的某些信息，可以通過構(gòu)造樣本的函數(shù)來獲得。統(tǒng)計量：一般來說，每一個樣本都包含著母體的某些信息，為了估計未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學(xué)中稱為統(tǒng)計量。103基本概念母體（總體）：一個模式類稱為一個總體或母體5.1基本概念經(jīng)驗分布：由樣本推斷的分布稱為經(jīng)驗分布。5.1統(tǒng)計推斷概述數(shù)學(xué)期望、方差等理論量（或理論分布）：參數(shù)空間：在統(tǒng)計學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。點估計、估計量：針對某未知參數(shù)q構(gòu)造一個統(tǒng)計量作為q的估計，這種估計稱為點估計。稱為q的估計量。104基本概念經(jīng)驗分布：由樣本推斷的分布稱為經(jīng)驗分布。5.1統(tǒng)基本概念5.1統(tǒng)計推斷概述為了準(zhǔn)確地對某一類的分布進(jìn)行參數(shù)估計或總體推斷，應(yīng)只使用該類的樣本。就是說在進(jìn)行參數(shù)估計時，應(yīng)對各類進(jìn)行獨立的參數(shù)估計或總體推斷。因此在以后的論述中，如無必要，不特別言明類別。區(qū)間估計：在一定置信度條件下估計某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計成為區(qū)間估計。105基本概念5.1統(tǒng)計推斷概述為了準(zhǔn)確地對某一類的分10610基本概念5.1統(tǒng)計推斷概述漸近無偏估計：即。當(dāng)不能對所有

的都有

時，希望估計量是漸近無偏估計。107基本概念5.1統(tǒng)計推斷概述漸近無偏估計：即基本概念5.1統(tǒng)計推斷概述均方收斂:均方逼近:均方收斂:又稱相合估計一致估計:

當(dāng)樣本無限增多時，估計量依概率收斂于，108基本概念5.1統(tǒng)計推斷概述均方收斂:均方逼近:均方收斂:

5·2參數(shù)估計第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計109第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估5.2參數(shù)估計5.2.1均值矢量和協(xié)方差陣的矩法估計5.2.2最大似然估計(MLE)5.2.3貝葉斯估計(BE)1105.2參數(shù)估計5.2.1均值矢量和協(xié)方差陣的矩法估計5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計矩法估計是用樣本(的統(tǒng)計)矩作為總體(理論)矩的估值。若類的概型為正態(tài)分布，我們用矩法估計出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。均值矢量:均值無偏估計:1115.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計矩法估計是用5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:1125.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣

:協(xié)方差陣無偏估計

:或1135.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計協(xié)方差陣:5.2參數(shù)估計設(shè)和是由個樣本算得的均矢和協(xié)方差陣，則可采用遞推公式進(jìn)行估算若再加入一個新的樣本初始值:))((11)(1NmxNNmNrrr-++=+均值矢量和協(xié)方差陣的矩法估計1145.2參數(shù)估計設(shè)和是由個樣本算得的均矢和協(xié)方差陣，則可5.2參數(shù)估計協(xié)方差矩陣的遞推估計式:均值矢量和協(xié)方差陣的矩法估計?+=+++-=11)'1()1(1'1NjjjNmNmNNxxNrrrr'11')(12)'()(1'11111+++=+++-+-=?NNNjNjjxxNxNmNNmNmNNxxNrrrrrrrr))'())(((11)(111NmxNmxNNCNNNNrrrr--++-=++F=-=-='')'1()1(')1(111111xxxxmmxxCrrrrrrrr初始值:1155.2參數(shù)估計協(xié)方差矩陣的遞推估計式:均值矢量和協(xié)方5.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計1165.2參數(shù)估計均值矢量和協(xié)方差陣的矩法估計205.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

如同矩法估計一樣，最大似然估計要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計量作為確定性的變量對待。但最大似然估計適用范圍比矩法估計更寬一些，可以用于不是正態(tài)分布的情況。最大似然估計是參數(shù)估計中最重要的方法。1175.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

似然函數(shù):當(dāng)個隨機(jī)樣本取定值時，稱為相對于的的似然函數(shù)。聯(lián)合概密設(shè)一個總體的概密為，其中是一個未知參數(shù)集，1185.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

由于是概密的一個確定性的參數(shù)集,因此實際上就是條件概密上式中不同的,將不同。如果各個是獨立抽取的，則進(jìn)一步有：1195.2參數(shù)估計最大似然估計(MLE)(MaximumL5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)最大似然估計：1205.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)在實際中多是獨立取樣和經(jīng)常處理正態(tài)變量，而且對數(shù)函數(shù)是單值單調(diào)函數(shù)，對數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。1215.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

在似然函數(shù)可微的條件下，求下面微分方程組的解：或等價地求作為極值的必要條件。對數(shù)似然方程組1225.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

需要指出的是：對于具體問題，有時用上述方法不一定可行，原因之一是似然函數(shù)在最大值點處沒有零斜率。求出上面方程組中的一切解及邊界值，計算使最大的作為的最大似然估計。因此，最大似然的關(guān)鍵是必須知道概型。1235.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

下面我們以多維正態(tài)分布為例進(jìn)行說明。（1）假設(shè)Σ是已知的，未知的只是均值μ，則：1245.2參數(shù)估計最大似然估計(MLE)(Maximum5.2參數(shù)估計最大似然估計(MLE)(MaximumLikelihoodEstimate)

這說明，樣本總體的未知均值的最大似然估計就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個樣本看成是一群質(zhì)點，則樣本均值便是它們的質(zhì)心。1255.2參數(shù)估計最大似然估計(MLE)(Maximum12630可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計量等于N個矩陣的算術(shù)平均值。127可見，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計量等于N個矩陣的算（3）對于一般的多維正態(tài)密度的情況，計算方法完全是類似的。最后的結(jié)果是：可以證明上式的均值是無偏估計，但協(xié)方差陣并不是無偏估計，無偏估計是：128（3）對于一般的多維正態(tài)密度的情況，計算方法完全是類似的。最5.2參數(shù)估計貝葉斯估計(BE)考慮到的各種取值，我們應(yīng)求在空間中的期望，即平均損失：

1295.2參數(shù)估計貝葉斯估計(BE)考慮到的各種取值，我們5.2參數(shù)估計貝葉斯估計(BE)1305.2參數(shù)估計貝葉斯估計(BE)345.2參數(shù)估計貝葉斯估計(BE)不同的具體定義，可得到不同的最佳貝葉斯估計。比如，可以用平方誤差作為代價，此時：上式中，對于于是：1315.2參數(shù)估計貝葉斯估計(BE)5.2參數(shù)估計貝葉斯估計(BE)由于是非負(fù)的，只出現(xiàn)在內(nèi)層積分中，關(guān)于使最小等價于：為求極小，令1325.2參數(shù)估計貝葉斯估計(BE)由于是非負(fù)的，只出現(xiàn)在5.2參數(shù)估計貝葉斯估計(BE)從而可得：1335.2參數(shù)估計貝葉斯估計(BE)從而可得：375.2參數(shù)估計貝葉斯估計(BE)下面介紹估計所涉及的其它公式或近似算式：由于各樣本是獨立抽取的，故它們條件獨立，即有由貝葉斯定理知：1345.2參數(shù)估計貝葉斯估計(BE)下面介紹估計5.2參數(shù)估計貝葉斯估計(BE)1355.2參數(shù)估計貝葉斯估計(BE)395.2參數(shù)估計貝葉斯估計(BE)1365.2參數(shù)估計貝葉斯估計(BE)40作業(yè)：P1705.1,5.2,5.3137作業(yè)：P1705.1,5.2,5·4概密的窗函數(shù)估計法

第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估計138第五章統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí)

與錯誤率測試、估設(shè)個樣本是從上述概密為的總體中獨立抽取的，個樣本中有個樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項分布139設(shè)個樣本令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和140令為眾數(shù)，如果由于：所以：這里是的估計，當(dāng)較大較小時上式的近似程度是足夠的。141由于：所以：這里是的估計，當(dāng)較大5.4概密的窗函數(shù)估計法概率密度的基本估計式當(dāng)固定時，對的最大似然估計，由概率論知，的數(shù)學(xué)期望。1425.4概密的窗函數(shù)估計法概率密度的基本估計式當(dāng)固定5.4概密的窗函數(shù)估計法概率密度的基本估計式設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(rrr設(shè))(?xpr是)(xpr的估計，由上面二式有VxpxdxpPNkR)(?)(??rrr===ò于是可得1435.4概密的窗函數(shù)估計法概率密度的基本估計式設(shè)區(qū)域R的體積5.4概密的窗函數(shù)估計法概率密度的基本估計式顯然是的基本估計式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時k，N。

而實際估計時體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以1445.4概密的窗函數(shù)估計法概率密度的基本估計式顯然是的基本估5.4概密的窗函數(shù)估計法概率密度的基本估計式為了提高處的概密)(xpr的估計精度，我們根據(jù)理論，可以采用如下步驟以盡量滿足理論要求：極限⑴

構(gòu)造一包含的區(qū)域序列各區(qū)域的體積滿足⑵相對區(qū)域作估計實驗，對取N個樣本進(jìn)行估計，設(shè)有個樣本落入樣本數(shù)目應(yīng)滿足中，1455.4概密的窗函數(shù)估計法概率密度的基本估計式為了提高處的概1465014751148525.4概密的窗函數(shù)估計法Parzen窗法為能用函數(shù)描述區(qū)域NR和對落入NR的樣本計數(shù)，定義窗函數(shù)),,,(21￠=nuuuuLr?íì=￡=j其它當(dāng),0,,2,1,21,1)(niuuiLr

這樣，)(urj以函數(shù)值1界定了一個以原點為中心、棱長為1的n維超立方體。1495.4概密的窗函數(shù)估計法Parzen窗法為能用函數(shù)描述區(qū)域5.4概密的窗函數(shù)估計法Parzen窗法

如果一個樣本jxr落入以xr為中心以Nh為棱長的超立方體NR內(nèi)時則計數(shù)為1，否則計數(shù)為0，我們可以利用窗函數(shù))(xrj實現(xiàn)這個約定，即落入該立方體NR的樣本數(shù)1505.4概密的窗函數(shù)估計法Parzen窗法如果一個樣本jx151555.4概密的窗函數(shù)估計法Parzen窗法上面所講的是從構(gòu)造上導(dǎo)出了估計式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實上只要窗函數(shù)滿足下面的兩個條件:由式構(gòu)造的估計式就是概密函數(shù)。1525.4概密的窗函數(shù)估計法Parzen窗法上面所講的是從構(gòu)造5.4概密的窗函數(shù)估計法Parzen窗法

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個條件的函數(shù)作窗函數(shù)。下面列出幾個一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu1535.4概密的窗函數(shù)估計法Parzen窗法按下面進(jìn)一步討論窗寬對估計的影響:5.4概密的窗函數(shù)估計法Parzen窗法定義:于是估計式表示成:影響的幅度和寬度。注意到:可看出154下面進(jìn)一步討論窗寬對估計的影響:5.4概密的窗函數(shù)5.4概密的窗函數(shù)估計法Parzen窗法若Nh較大，則)(jNxxrr-d幅度將較小，而寬度增大)(?xpNr是N個低幅緩變寬的函數(shù)迭加,)(?xpNr較平滑，不能跟上的變化，分辨率較低。)(xpr1555.4概密的窗函數(shù)估計法Parzen窗法若Nh較大，則)(156605.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑴

概密)(xpr在xr處連續(xù)⑵

窗函數(shù)滿足下列條件①0)(3jur②

ò=j1)(udurr③

￥<j)(supuurr④

0)(lim1=j?=￥?niiuuurr1575.4概密的窗函數(shù)估計法Parzen窗法估計量5.4概密的窗函數(shù)估計法Parzen窗法估計量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計量的性能只能用統(tǒng)計性質(zhì)表示。在滿足下列條件下是漸近無偏估計、均方收斂、均方逼近、且是漸近正態(tài)分布。⑶窗寬限制⑤

⑥⑷對樣本的要求⑦⑧1585.4概密的窗函數(shù)估計法Parzen窗法估計量(1)是的漸近無偏估計證明：159(1)是的漸近無偏估計證明：6316064P—窗法的特點

適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。但它要求樣本分布較好且數(shù)量要大，顯然這也是一個良好估計所必須的，但它的取樣過程的操作增加了取樣工作的復(fù)雜性。窗函數(shù)選取得當(dāng)有利于提高估計的精度和減少樣本的數(shù)量。161P—窗法的特點適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰（a）圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函數(shù)選擇為正態(tài)窗函數(shù)：h1為可調(diào)節(jié)參量。于是：162（a）圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函（a）由結(jié)果曲線可以看出，樣本量越大，估計越精確；同時，也可以看出窗口選擇是否適當(dāng)對估計結(jié)果有一定影響。163（a）由結(jié)果曲線可以看出，樣本量越大，估計越精確；同時，也可和

同上由圖中曲線可以看出，當(dāng)N較小時，窗函數(shù)對估計結(jié)果影響較大，其估計結(jié)果與真實分布相差較遠(yuǎn)；當(dāng)N增大時，估計結(jié)果與真實分布較為接近。164和同上由圖中曲線可以看出，當(dāng)N較小時，窗函數(shù)對估計結(jié)果影5.4概密的窗函數(shù)估計法kN-近鄰估計法在P—窗法中，把體積作為的函數(shù)導(dǎo)致對估計結(jié)果影響很大。例如當(dāng)選得太小將導(dǎo)致大部分區(qū)域是空的，會使不穩(wěn)定；選得太大，則較平坦，將丟失的一些重要空間變化。當(dāng)—近鄰元估計法是克服這個問題的一個可能的方法。1655.4概密的窗函數(shù)估計法kN-近鄰估計法在P—窗法中，把體5.4概密的窗函數(shù)估計法kN-近鄰估計法基本思想：把含點的序列區(qū)域的體積作為落入中樣本數(shù)的函數(shù)，而不是直接作為的函數(shù)。我們可以預(yù)先確定是的某個函數(shù)，然后在點附近選擇一“緊湊”區(qū)域，個鄰近樣本。實驗樣本數(shù)讓它只含點附近概密較大，則包含個樣本的區(qū)域如果體積自然就相對的?。稽c附近概密較小，則區(qū)域體積就較大。個鄰近樣本而擴(kuò)展到高密度如果顯然，當(dāng)區(qū)域為含有區(qū)時，擴(kuò)展過程必然會停止。1665.4概密的窗函數(shù)估計法kN-近鄰估計法基本思想：把含點的5.4概密的窗函數(shù)估計法kN-近鄰估計法如果滿足條件

②③①1675.4概密的窗函數(shù)估計法kN-近鄰估計法如果滿足條件②③5.4概密的窗函數(shù)估計法kN-近鄰估計法1685.