第四講概率密度估計(jì)

第四講概率密度估計(jì)第1頁(yè)，共43頁(yè)，2023年，2月20日，星期三內(nèi)容提要引言參數(shù)估計(jì)的方法高斯分布參數(shù)估計(jì)混合高斯分布參數(shù)估計(jì)第2頁(yè)，共43頁(yè)，2023年，2月20日，星期三一、引言問(wèn)題形式的變化本章學(xué)習(xí)的主要內(nèi)容參數(shù)估計(jì)的基本方法第3頁(yè)，共43頁(yè)，2023年，2月20日，星期三問(wèn)題一已知：（1）樣本總的類別數(shù)；（2）各樣本類別的先驗(yàn)概率；（3）測(cè)量值的類條件概率；（4）樣本特征矢量。求：給定樣本特征矢量所屬的類別第4頁(yè)，共43頁(yè)，2023年，2月20日，星期三求解方法（1）第5頁(yè)，共43頁(yè)，2023年，2月20日，星期三求解方法（2）第6頁(yè)，共43頁(yè)，2023年，2月20日，星期三問(wèn)題二已知：（1）樣本總的類別數(shù)；（2）各樣本類別的先驗(yàn)概率；（3）類條件概率的分布形式及參數(shù)值；（如：正態(tài)分布及均值和協(xié)方差）（4）樣本特征矢量。求：給定樣本特征矢量所屬的類別第7頁(yè)，共43頁(yè)，2023年，2月20日，星期三求解方法第8頁(yè)，共43頁(yè)，2023年，2月20日，星期三問(wèn)題三—本講擬解決的問(wèn)題已知：（1）樣本總的類別數(shù)；（2）若干訓(xùn)練樣本特征矢量及其對(duì)應(yīng)的類別（）（3）樣本所服從的統(tǒng)計(jì)分布函數(shù)但參數(shù)未知（如：正態(tài)分布，但均值與協(xié)方差矩陣未知）（4）測(cè)試樣本特征矢量：求：給定樣本特征矢量所屬的類別第9頁(yè)，共43頁(yè)，2023年，2月20日，星期三本章學(xué)習(xí)內(nèi)容第10頁(yè)，共43頁(yè)，2023年，2月20日，星期三參數(shù)估計(jì)的分類監(jiān)督參數(shù)估計(jì)（已知樣本的特征矢量及類別，先估計(jì)分布參數(shù)，再計(jì)算條件概率，然后計(jì)算后驗(yàn)概率，最后決策。）非監(jiān)督參數(shù)估計(jì)（已知樣本的特征矢量沒有告訴樣本的類別，先估計(jì)分布參數(shù)，再計(jì)算條件概率，然后計(jì)算后驗(yàn)概率，最后進(jìn)行決策。）非參數(shù)估計(jì)（不去估計(jì)概率，直接根據(jù)已有訓(xùn)練樣本提供的類別信息進(jìn)行分類決策）第11頁(yè)，共43頁(yè)，2023年，2月20日，星期三二、未知概率密度函數(shù)估計(jì)參數(shù)估計(jì)的概念參數(shù)估計(jì)的方法最大似然參數(shù)估計(jì)(MaximumLikelihoodParameterEstimation)最大后驗(yàn)概率估計(jì)(MaximumAPosterioriProbabilityEstimation)貝葉斯推理(BayesianInference)最大熵估計(jì)(MaximumEntropyEstimation)第12頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.1基本概念（1）統(tǒng)計(jì)量：樣本中包含著總體的信息，我們希望通過(guò)樣本集把有關(guān)信息抽取出來(lái)，即針對(duì)不同要求構(gòu)造出樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計(jì)學(xué)上叫做統(tǒng)計(jì)量。參數(shù)空間：在參數(shù)估計(jì)中，總是假定總體概率密度函數(shù)的形式已知，但分布中的參數(shù)未知，這些未知參數(shù)全部可容許的取值集合叫做參數(shù)空間。第13頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.1基本概念（2）點(diǎn)估計(jì)、估計(jì)量和估計(jì)值：第14頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.1基本概念（3）兩點(diǎn)假設(shè)第15頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.2最大似然估計(jì)第16頁(yè)，共43頁(yè)，2023年，2月20日，星期三第17頁(yè)，共43頁(yè)，2023年，2月20日，星期三舉例：正態(tài)分布函數(shù)的參數(shù)估計(jì)第18頁(yè)，共43頁(yè)，2023年，2月20日，星期三結(jié)論第19頁(yè)，共43頁(yè)，2023年，2月20日，星期三討論ML估計(jì)是漸近無(wú)偏估計(jì)（asymptoticallyunbiased)ML估計(jì)也是漸近一致估計(jì)(asymptoticallyconsistent)ML估計(jì)是漸近有效的。滿足Cramer-Rao準(zhǔn)則ML估計(jì)當(dāng)N趨近無(wú)窮大時(shí)，接近Gaussian分布。第20頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.3最大后驗(yàn)概率估計(jì)第21頁(yè)，共43頁(yè)，2023年，2月20日，星期三與ML的區(qū)別第22頁(yè)，共43頁(yè)，2023年，2月20日，星期三舉例第23頁(yè)，共43頁(yè)，2023年，2月20日，星期三第24頁(yè)，共43頁(yè)，2023年，2月20日，星期三說(shuō)明方差很大，說(shuō)明高斯分布很寬，在某個(gè)范圍內(nèi)可近似為水平直線，即趨于均勻分布。所以MAP估計(jì)和ML估計(jì)兩者近似相等。第25頁(yè)，共43頁(yè)，2023年，2月20日，星期三2.4貝葉斯推理前提變化：原來(lái)假定估計(jì)量是確定的但未知?，F(xiàn)在假定估計(jì)量是隨機(jī)變量且未知。第26頁(yè)，共43頁(yè)，2023年，2月20日，星期三討論第27頁(yè)，共43頁(yè)，2023年，2月20日，星期三三高斯分布參數(shù)估計(jì)的改進(jìn)第28頁(yè)，共43頁(yè)，2023年，2月20日，星期三問(wèn)題的提出第29頁(yè)，共43頁(yè)，2023年，2月20日，星期三解決辦法（1）第30頁(yè)，共43頁(yè)，2023年，2月20日，星期三解決辦法（2）正則化判別分析Fredman(1989)提出。第31頁(yè)，共43頁(yè)，2023年，2月20日，星期三改進(jìn)后的判別函數(shù)第32頁(yè)，共43頁(yè)，2023年，2月20日，星期三討論第33頁(yè)，共43頁(yè)，2023年，2月20日，星期三方法簡(jiǎn)評(píng)當(dāng)協(xié)方差矩陣不是近似相等或樣本規(guī)模太小，以至于二次判別函數(shù)不可行時(shí)，正則化判別方法對(duì)改進(jìn)分類性能很有幫助。另有學(xué)者對(duì)非正態(tài)類型的線性和二次判別規(guī)則魯棒性進(jìn)行了研究。第34頁(yè)，共43頁(yè)，2023年，2月20日，星期三四高斯混合模型面臨的問(wèn)題前面我們只討論樣本特征矢量服從正態(tài)分布時(shí)我們?nèi)绾芜M(jìn)行判別決策。如果樣本特征矢量不服從正態(tài)分布，我們?cè)趺刺幚砟?？?5頁(yè)，共43頁(yè)，2023年，2月20日，星期三數(shù)學(xué)表示方式第36頁(yè)，共43頁(yè)，2023年，2月20日，星期三數(shù)學(xué)問(wèn)題第37頁(yè)，共43頁(yè)，2023年，2月20日，星期三解決方法第38頁(yè)，共43頁(yè)，2023年，2月20日，星期三EM算法原理第39頁(yè)，共43頁(yè)，2023年，2月20日，星期三EM