條件概率密度函數(shù)的最大似然估計課件

任課教師：劉瓊自動化學院模式識別條件概率密度函數(shù)的最大似然估計MaximumLikelihoodEstimationof

Class-conditionalProbabilityDensityFunction教材：模式識別（第三版）張學工編著清華大學出版社講授提綱問題提出最大似然估計基于最大似然估計的模式分類實例2講授提綱問題提出貝葉斯決策論貝葉斯公式最大似然估計基于最大似然估計的模式分類實例3問題提出（2/4）5第一種情況：不知曉這條魚的任何信息，判決依據(jù)P(ωi)的大小；結論：第二種情況：給你這條魚的寬度值x，判決依據(jù)P(ωi|x)；貝葉斯決策論？鮭魚問題提出（3/4）貝葉斯公式用非正式的英語表述6后驗概率類條件概率密度先驗概率根據(jù)領域知識或大量樣本中計算各類樣本所占的比例得到總體密度所有樣本關于特征x的概率密度

問題提出（4/4）7函數(shù)形式估計目標估計方法已知函數(shù)中的未知參數(shù)參數(shù)估計（最大似然估計、貝葉斯估計）

未知函數(shù)形式非參數(shù)估計（kn近鄰估計、Parzen窗法）講授提綱問題提出最大似然估計假設條件主要思想求解方法及解的分析正態(tài)分布參數(shù)的最大似然估計基于最大似然估計的模式分類實例8設ωi類樣本集有N個樣本

它們是獨立地按照概率密度p(x|ωi，θ)抽取出來的（獨立同分布樣本）似然函數(shù)可以表示為：

含義：從總體中抽取x1,…xN

這樣N個樣本的聯(lián)合概率（可能性）10求最大似然估計量的方法如果H(θ)滿足連續(xù)可微的數(shù)學性質，可以直接應用高等數(shù)學的知識來求最大值點，即求梯度（偏導數(shù)）,并令其等于零，解線性或者非線性方程組得到估計量假設：有s個參數(shù)梯度算子12最大似然估計結果的分析可能存在多個解解決方法：使得似然函數(shù)最大的解才是最大似然估計量14有可能求不出正確的解（比如均勻分布）15例：正態(tài)分布函數(shù)的最大似然估計單變量正態(tài)分布的概率密度函數(shù)要求的未知參數(shù)（均值與方差）已知，利用最大似然估計法，針對上述樣本集，求出均值與方差的估計值1617對數(shù)似然函數(shù)求偏導數(shù)18解釋：正態(tài)分布總體均值的最大似然估計量是樣本屬性值的算術平均（無偏）正態(tài)分布總體方差的最大似然估計量是樣本方差的算術平均（漸進無偏）推廣到多元正態(tài)分布（無偏）基于最大似然估計的模式分類實例20已知條件：80條鮭魚，20條多寶魚對于寬度特征，兩類魚均服從正態(tài)分布箱中這條魚的寬度為10cm問題：對箱中的魚進行貝葉斯分類決策？Step1：數(shù)據(jù)準備數(shù)據(jù)獲?。簩?0條鮭魚和20條多寶魚分別測得他們的寬度值數(shù)據(jù)預處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個例）特征形成：每一條魚有兩個數(shù)據(jù)：類別標識寬度（特征）21+1

6.2+1

5.7……-1

8.9-1

9.5…….Step3：后驗概率計算23關于寬度特征的類