a05統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì)模式識(shí).ppt

模式識(shí)別,73441（O）,73442（H）E-mail：xpcai:,第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì),統(tǒng)計(jì)推斷概述參數(shù)估計(jì)概密的窗函數(shù)估計(jì)法有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法,51統(tǒng)計(jì)推斷概述,第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì),本章目的：已知類別的樣本（訓(xùn)練樣本）學(xué)習(xí)或訓(xùn)練獲得類概密,在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計(jì)貝葉斯分類器。但在實(shí)際中，這些知識(shí)往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計(jì)推斷理論中的估計(jì)方法，從樣本集數(shù)據(jù)中估計(jì)這些參數(shù)。,5.1統(tǒng)計(jì)推斷概述,參數(shù)估計(jì),參數(shù)估計(jì)有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計(jì)、最大似然估計(jì)；將參數(shù)作為隨機(jī)變量，貝葉斯估計(jì)就屬此類。,5.1統(tǒng)計(jì)推斷概述,非參數(shù)估計(jì),5.1統(tǒng)計(jì)推斷概述,當(dāng)不知道類的概型時(shí)，就要采用非參數(shù)估計(jì)的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法2.有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法3.隨機(jī)逼近法,基本概念,母體（總體）：一個(gè)模式類稱為一個(gè)總體或母體,5.1統(tǒng)計(jì)推斷概述,母體的子樣：一個(gè)模式類中某些模式(即母體中的一些元素)的集合稱為這個(gè)母體的子樣。母體的子樣含有母體的某些信息，可以通過構(gòu)造樣本的函數(shù)來獲得。,統(tǒng)計(jì)量：一般來說，每一個(gè)樣本都包含著母體的某些信息，為了估計(jì)未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計(jì)學(xué)中稱為統(tǒng)計(jì)量。,基本概念,經(jīng)驗(yàn)分布：由樣本推斷的分布稱為經(jīng)驗(yàn)分布。,5.1統(tǒng)計(jì)推斷概述,數(shù)學(xué)期望、方差等,理論量（或理論分布）：,參數(shù)空間：在統(tǒng)計(jì)學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。,點(diǎn)估計(jì)、估計(jì)量：針對(duì)某未知參數(shù)q構(gòu)造一個(gè)統(tǒng)計(jì)量作為q的估計(jì)，這種估計(jì)稱為點(diǎn)估計(jì)。稱為q的估計(jì)量。,基本概念,5.1統(tǒng)計(jì)推斷概述,為了準(zhǔn)確地對(duì)某一類的分布進(jìn)行參數(shù)估計(jì)或總體推斷，應(yīng)只使用該類的樣本。,就是說在進(jìn)行參數(shù)估計(jì)時(shí)，應(yīng)對(duì)各類進(jìn)行獨(dú)立的參數(shù)估計(jì)或總體推斷。因此在以后的論述中，如無必要，不特別言明類別。,區(qū)間估計(jì)：在一定置信度條件下估計(jì)某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計(jì)成為區(qū)間估計(jì)。,基本概念,5.1統(tǒng)計(jì)推斷概述,漸近無偏估計(jì)：即。當(dāng)不能對(duì)所有的都有時(shí)，希望估計(jì)量是漸近無偏估計(jì)。,基本概念,5.1統(tǒng)計(jì)推斷概述,均方收斂:,又稱相合估計(jì),一致估計(jì):當(dāng)樣本無限增多時(shí)，估計(jì)量依概率收斂于，,52參數(shù)估計(jì),第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì),5.2參數(shù)估計(jì),5.2.1均值矢量和協(xié)方差陣的矩法估計(jì)5.2.2最大似然估計(jì)(MLE)5.2.3貝葉斯估計(jì)(BE),5.2參數(shù)估計(jì),均值矢量和協(xié)方差陣的矩法估計(jì),矩法估計(jì)是用樣本(的統(tǒng)計(jì))矩作為總體(理論)矩的估值。若類的概型為正態(tài)分布，我們用矩法估計(jì)出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。,均值矢量:,均值無偏估計(jì):,5.2參數(shù)估計(jì),均值矢量和協(xié)方差陣的矩法估計(jì),協(xié)方差陣:,5.2參數(shù)估計(jì),均值矢量和協(xié)方差陣的矩法估計(jì),協(xié)方差陣:,協(xié)方差陣無偏估計(jì):,或,5.2參數(shù)估計(jì),初始值:,均值矢量和協(xié)方差陣的矩法估計(jì),5.2參數(shù)估計(jì),協(xié)方差矩陣的遞推估計(jì)式:,均值矢量和協(xié)方差陣的矩法估計(jì),初始值:,5.2參數(shù)估計(jì),均值矢量和協(xié)方差陣的矩法估計(jì),5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),如同矩法估計(jì)一樣，最大似然估計(jì)要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計(jì)量作為確定性的變量對(duì)待。但最大似然估計(jì)適用范圍比矩法估計(jì)更寬一些，可以用于不是正態(tài)分布的情況。,最大似然估計(jì)是參數(shù)估計(jì)中最重要的方法。,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),似然函數(shù):,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),最大似然估計(jì)：,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),在實(shí)際中多是獨(dú)立取樣和經(jīng)常處理正態(tài)變量，而且對(duì)數(shù)函數(shù)是單值單調(diào)函數(shù)，對(duì)數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),在似然函數(shù)可微的條件下，求下面微分方程組的解：,或等價(jià)地求,作為極值的必要條件。,對(duì)數(shù)似然方程組,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),需要指出的是：對(duì)于具體問題，有時(shí)用上述方法不一定可行，原因之一是似然函數(shù)在最大值點(diǎn)處沒有零斜率。,因此，最大似然的關(guān)鍵是必須知道概型。,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),下面我們以多維正態(tài)分布為例進(jìn)行說明。,（1）假設(shè)是已知的，未知的只是均值，則：,5.2參數(shù)估計(jì),最大似然估計(jì)(MLE),(MaximumLikelihoodEstimate),這說明，樣本總體的未知均值的最大似然估計(jì)就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個(gè)樣本看成是一群質(zhì)點(diǎn)，則樣本均值便是它們的質(zhì)心。,可見，正態(tài)分布中的協(xié)方差陣的最大似然估計(jì)量等于N個(gè)矩陣的算術(shù)平均值。,（3）對(duì)于一般的多維正態(tài)密度的情況，計(jì)算方法完全是類似的。最后的結(jié)果是：,可以證明上式的均值是無偏估計(jì)，但協(xié)方差陣并不是無偏估計(jì)，無偏估計(jì)是：,5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),于是：,5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),從而可得：,5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),下面介紹估計(jì),所涉及的其它公式或近似算式：由于各樣本是獨(dú)立抽取的，故它們條件獨(dú)立，即有,由貝葉斯定理知：,5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),5.2參數(shù)估計(jì),貝葉斯估計(jì)(BE),作業(yè)：,P1705.1,5.2,5.3,54概密的窗函數(shù)估計(jì)法,第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì),設(shè)個(gè)樣本是從上述概密為的總體中獨(dú)立抽取的，個(gè)樣本中有個(gè)樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項(xiàng)分布,如果是整數(shù)，則:和,由于：,所以：,這里是的估計(jì)，當(dāng)較大較小時(shí)上式的近似程度是足夠的。,5.4概密的窗函數(shù)估計(jì)法,概率密度的基本估計(jì)式,當(dāng)固定時(shí)，對(duì)的最大似然估計(jì)，由概率論知，的數(shù)學(xué)期望。,5.4概密的窗函數(shù)估計(jì)法,概率密度的基本估計(jì)式,于是可得,5.4概密的窗函數(shù)估計(jì)法,概率密度的基本估計(jì)式,R0V0，同時(shí)k，N。,5.4概密的窗函數(shù)估計(jì)法,概率密度的基本估計(jì)式,為了提高,處的概密,的估計(jì)精度，我們根據(jù),理論，可以采用如下步驟以盡量滿足理論要求：,極限,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,上面所講的是從構(gòu)造上導(dǎo)出了估計(jì)式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實(shí)上只要窗函數(shù)滿足下面的兩個(gè)條件:,由式構(gòu)造的估計(jì)式就是概密函數(shù)。,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個(gè)條件的函數(shù)作窗函數(shù)。下面列出幾個(gè)一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。,指數(shù)窗函數(shù),方窗函數(shù),正態(tài)窗函數(shù),下面進(jìn)一步討論窗寬對(duì)估計(jì)的影響:,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,定義:,于是估計(jì)式表示成:,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,估計(jì)量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計(jì)量的性能只能用統(tǒng)計(jì)性質(zhì)表示。,在滿足下列條件下是漸近無偏估計(jì)、均方收斂、均方逼近、且是漸近正態(tài)分布。,5.4概密的窗函數(shù)估計(jì)法,Parzen窗法,(1)是的漸近無偏估計(jì),證明：,P窗法的特點(diǎn),適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。,但它要求樣本分布較好且數(shù)量要大，顯然這也是一個(gè)良好估計(jì)所必須的，但它的取樣過程的操作增加了取樣工作的復(fù)雜性。,窗函數(shù)選取得當(dāng)有利于提高估計(jì)的精度和減少樣本的數(shù)量。,（a）,圖中，p(x)是均值為零、方差為1的一維正態(tài)分布，窗函數(shù)選擇為正態(tài)窗函數(shù)：,h1為可調(diào)節(jié)參量。于是：,（a）,由結(jié)果曲線可以看出，樣本量越大，估計(jì)越精確；同時(shí)，也可以看出窗口選擇是否適當(dāng)對(duì)估計(jì)結(jié)果有一定影響。,和,同上,由圖中曲線可以看出，當(dāng)N較小時(shí)，窗函數(shù)對(duì)估計(jì)結(jié)果影響較大，其估計(jì)結(jié)果與真實(shí)分布相差較遠(yuǎn)；當(dāng)N增大時(shí)，估計(jì)結(jié)果與真實(shí)分布較為接近。,5.4概密的窗函數(shù)估計(jì)法,kN-近鄰估計(jì)法,近鄰元估計(jì)法是克服這個(gè)問題的一個(gè)可能的方法。,5.4概密的窗函數(shù)估計(jì)法,kN-近鄰估計(jì)法,基本思想：把含,點(diǎn)的序列區(qū)域的體積,作為落入,中樣本數(shù),的函數(shù)，而不是直接作為,的函數(shù)。我們可以預(yù)先確定,是,的某個(gè)函數(shù)，然后在,點(diǎn)附近選擇一“緊湊”區(qū)域，,個(gè)鄰近樣本。,實(shí)驗(yàn)樣本數(shù),讓它只含,點(diǎn)附近概密較大，則包含,個(gè)樣本的區(qū)域,如果,體積自然就相對(duì)的??；,點(diǎn)附近概密較小，則區(qū)域體積就較大。,個(gè)鄰近樣本而擴(kuò)展到高密度,如果,顯然，當(dāng)區(qū)域?yàn)楹?區(qū)時(shí)，擴(kuò)展過程必然會(huì)停止。,5.4概密的窗函數(shù)估計(jì)法,kN-近鄰估計(jì)法,如果滿足條件,5.4概密的窗函數(shù)估計(jì)法,kN-近鄰估計(jì)法,5.4概密的窗函數(shù)估計(jì)法,kN-近鄰估計(jì)法,作業(yè),P1705.75.8,55有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法,第五章統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測(cè)試、估計(jì),55有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法,應(yīng)根據(jù)的特點(diǎn)適當(dāng)選擇以期在固定的項(xiàng)數(shù)下減小誤差，項(xiàng)數(shù)R取得越大近似得就越好。,最小積分平方逼近方法,55有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法,將的具體表示代入上式得：,最小積分平方逼近方法,由此可得：,從而有：,則有:,則有:,的計(jì)算式可寫成迭代形式。,同理可得到的迭代形式。,初始值:,前面介紹的方法中被逼近的函數(shù)是概密，對(duì)于這種幅值大小變化較劇烈的函數(shù)，須用較多的項(xiàng)才可能在整個(gè)空間中有較好的逼近。,為減少計(jì)算量,在樣本出現(xiàn)較密集的區(qū)域（即概密取值較大的區(qū)域）中，應(yīng)要求逼