條件概率密度函數(shù)的最大似然估計

任課教師：劉瓊自動化學(xué)院,模式識別,條件概率密度函數(shù)的最大似然估計MaximumLikelihoodEstimationofClass-conditionalProbabilityDensityFunction,教材：模式識別（第三版）張學(xué)工編著清華大學(xué)出版社,講授提綱,問題提出最大似然估計基于最大似然估計的模式分類實例,2,講授提綱,問題提出貝葉斯決策論貝葉斯公式最大似然估計基于最大似然估計的模式分類實例,3,問題提出（1/4）,4,80條鮭魚，20條多寶魚,問題提出（2/4）,5,第一種情況：不知曉這條魚的任何信息，判決依據(jù)P(i)的大??；結(jié)論：第二種情況：給你這條魚的寬度值x，判決依據(jù)P(i|x)；,貝葉斯決策論,？,鮭魚,問題提出（3/4）,貝葉斯公式用非正式的英語表述,6,后驗概率,類條件概率密度,先驗概率根據(jù)領(lǐng)域知識或大量樣本中計算各類樣本所占的比例得到,總體密度所有樣本關(guān)于特征x的概率密度,問題提出（4/4）,7,講授提綱,問題提出最大似然估計假設(shè)條件主要思想求解方法及解的分析正態(tài)分布參數(shù)的最大似然估計基于最大似然估計的模式分類實例,8,最大似然估計的假設(shè)條件,假設(shè)條件：類條件概率密度p(x|i)的函數(shù)形式是已知的，但是其中的某些參數(shù)是未知的待估計參數(shù)是確定性的未知量按類別將樣本劃分c類，第i樣本都是從類條件概率密度p(x|i)的總體中獨立地抽取出來的第i類的樣本不包含有關(guān)j(ij)的信息。不同類別的函數(shù)在參數(shù)上相互獨立，每一類樣本可以獨立進行處理,9,函數(shù)形式已知,參數(shù)確定但未知,樣本獨立同分布,類類互不干擾,設(shè)i類樣本集有N個樣本它們是獨立地按照概率密度p(x|i，)抽取出來的（獨立同分布樣本）似然函數(shù)可以表示為：含義：從總體中抽取x1,xN這樣N個樣本的聯(lián)合概率（可能性）,10,最大似然估計的主要思想,最大似然估計的主要思想：如果在一次觀察中一個事件出現(xiàn)了，則我們可以認(rèn)為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，樣本集（x1,xN）在一次觀察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認(rèn)為似然函數(shù)l()應(yīng)該達到最大值為了便于分析，可以取似然函數(shù)的對數(shù)，即對數(shù)函數(shù)是單調(diào)增函數(shù)，H()與l()的最大值點相同,11,求最大似然估計量的方法,如果H()滿足連續(xù)可微的數(shù)學(xué)性質(zhì)，可以直接應(yīng)用高等數(shù)學(xué)的知識來求最大值點，即求梯度（偏導(dǎo)數(shù)）,并令其等于零，解線性或者非線性方程組得到估計量假設(shè)：有s個參數(shù)梯度算子,12,求解過程：,13,從中求解出的最大似然估計量,最大似然估計結(jié)果的分析,可能存在多個解解決方法：使得似然函數(shù)最大的解才是最大似然估計量,14,有可能求不出正確的解（比如均勻分布）,15,例：正態(tài)分布函數(shù)的最大似然估計,單變量正態(tài)分布的概率密度函數(shù)要求的未知參數(shù)（均值與方差）已知，利用最大似然估計法，針對上述樣本集，求出均值與方差的估計值,16,17,對數(shù)似然函數(shù),求偏導(dǎo)數(shù),18,解釋：正態(tài)分布總體均值的最大似然估計量是樣本屬性值的算術(shù)平均（無偏）正態(tài)分布總體方差的最大似然估計量是樣本方差的算術(shù)平均（漸進無偏）推廣到多元正態(tài)分布,（無偏）,講授提綱,問題提出最大似然估計基于最大似然估計的模式分類實例,19,基于最大似然估計的模式分類實例,20,已知條件：80條鮭魚，20條多寶魚對于寬度特征，兩類魚均服從正態(tài)分布箱中這條魚的寬度為10cm問題：對箱中的魚進行貝葉斯分類決策,？,Step1：數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)獲?。簩?0條鮭魚和20條多寶魚分別測得他們的寬度值數(shù)據(jù)預(yù)處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個例）特征形成：每一條魚有兩個數(shù)據(jù)：類別標(biāo)識寬度（特征）,21,+16.2+15.7-18.9-19.5.,Step2：類條件概率密度函數(shù)估計,22,兩類樣本分別滿足各自的正態(tài)分布，利用最大似然估計方法分別求出鮭魚和多寶魚關(guān)于寬度特征的均值和方差的最大似然估計量為鮭魚關(guān)于寬度特征的均值和方差的最大似然估計結(jié)果：多寶魚關(guān)于寬度特征的均值和方差的最大似然估計結(jié)果：,Step3：后驗概率計算,23,關(guān)于寬度特征的類條件概率密度曲線,關(guān)于寬度特征的后驗概率曲線,Step4：分類決策,當(dāng)黑箱中魚的寬度為10cm時,24,決策結(jié)果：該魚為多寶魚,小結(jié),概率密度函數(shù)估計的目的與基本概念目的：用于最小錯誤率貝葉斯決策分類概念：某類關(guān)于特征x的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計方法分為兩類最大似然函數(shù)參數(shù)估計方法,并應(yīng)用于正態(tài)分布中的參數(shù)