概率密度函數(shù)估計(jì)課件

第四章概率密度函數(shù)的估計(jì)◆概率密度估計(jì)的基礎(chǔ)知識(shí)◆參數(shù)估計(jì)理論極大似然估計(jì)(MLE)貝葉斯估計(jì)(或稱最大后驗(yàn)估計(jì))貝葉斯學(xué)習(xí)◆非參數(shù)估計(jì)理論密度估計(jì)Parzen窗估計(jì)K近鄰估計(jì)(KNE)第四章概率密度函數(shù)的估計(jì)1§4-1概率密度估計(jì)的基礎(chǔ)知識(shí)貝葉斯分類器中只要知道先驗(yàn)概率、條件概率或后驗(yàn)概概率P(),P(x/o,P(ω1/x)就可以設(shè)計(jì)分類器了?，F(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計(jì)P(),P(x/(o2),P(o3/x)參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì):先假定硏究的問題具有某種數(shù)學(xué)模型如正態(tài)分布,二項(xiàng)分布,再用已知類別的學(xué)習(xí)樣本佔(zhàn)計(jì)里面的參數(shù)。非參數(shù)估計(jì):不假定數(shù)學(xué)模型,直接用已知類別的學(xué)習(xí)樣本的先驗(yàn)知識(shí)直接估計(jì)數(shù)學(xué)模型。§4-1概率密度估計(jì)的基礎(chǔ)知識(shí)2二.監(jiān)督參數(shù)估計(jì)與非監(jiān)督參數(shù)估計(jì)監(jiān)督參數(shù)估計(jì):樣本所屬的類別及類條件總體概率概率密度函數(shù)的形式已知,而表征概率密度函數(shù)的某些參數(shù)是未知的。目的在于:由已知類別的樣本集對(duì)總體分布的某些參數(shù)進(jìn)行統(tǒng)計(jì)推斷,此種情況下的估計(jì)問題稱為監(jiān)督參數(shù)估計(jì)非監(jiān)督參數(shù)估計(jì):已知總體概率密度函數(shù)形式但未知樣本所屬類別,要求推斷出概率密度函數(shù)的某些參數(shù),稱這種推斷方法為非監(jiān)督情況卜的參數(shù)估計(jì)注:監(jiān)督與非監(jiān)督是針對(duì)樣本所屬類別是已知還是未知而言的。二.監(jiān)督參數(shù)估計(jì)與非監(jiān)督參數(shù)估計(jì)3參數(shù)估計(jì)的基本概念1.統(tǒng)計(jì)量:樣本中包含著總體的信息,總希望通過樣本集把有關(guān)信息抽取出來。也就是說,針對(duì)不同要求構(gòu)造出樣本的某種函數(shù),該函數(shù)稱為統(tǒng)計(jì)量。2.參數(shù)空間:在參數(shù)估計(jì)中,總假設(shè)總體概率密度函數(shù)的形式已知,而未知的僅是分布中的參數(shù),將未知參數(shù)記為,于是將總體分布未知參數(shù)b的全部可容許值組成的集合稱為參數(shù)空間,記為⊙3.點(diǎn)估計(jì)、估計(jì)量和估計(jì)值:點(diǎn)估計(jì)問題就是構(gòu)造一個(gè)統(tǒng)計(jì)量d(x1,L,x)堆作為參數(shù)0的估計(jì),在統(tǒng)計(jì)學(xué)中稱0為0的估計(jì)量。若x,L,x是屬于類別O的幾個(gè)樣本觀察值,代入統(tǒng)計(jì)量d就得到對(duì)于第類的的具體數(shù)值,該數(shù)值就稱為0的估計(jì)值參數(shù)估計(jì)的基本概念44.區(qū)間估計(jì):除點(diǎn)估計(jì)外,還有另一類估計(jì)問題,要求用區(qū)間(d1,d2)作為O可能取值范圍得一種估計(jì),此區(qū)間稱為置信區(qū)間,該類估計(jì)問題稱為區(qū)間估計(jì)參數(shù)估計(jì)方法:參數(shù)估計(jì)是統(tǒng)計(jì)學(xué)的經(jīng)典問題,解決方法很多,在此只考慮兩種常用方法:一種是最大似然估計(jì)方法種是貝葉斯估計(jì)方法(1)最大似然估計(jì):把參數(shù)看作是確定而未知的,最好的估計(jì)值是在獲得實(shí)際觀察樣本的最大的條件下得到的(2)貝葉斯估計(jì):把未知的參數(shù)當(dāng)作具有某種分布的隨機(jī)變量,樣本的觀察結(jié)果使先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布,再根據(jù)后驗(yàn)分布修正原先對(duì)參數(shù)的估計(jì)6.參數(shù)估計(jì)的評(píng)價(jià):評(píng)價(jià)一個(gè)估計(jì)的“好壞”,不能按次抽樣結(jié)果得到的估計(jì)值與參數(shù)真僨的偏差大小來確定,而必須從平均和方差的角度出發(fā)進(jìn)行分析,即關(guān)于估計(jì)量性質(zhì)的定義4.區(qū)間估計(jì):除點(diǎn)估計(jì)外,還有另一類估計(jì)問題,要求用5概率密度函數(shù)估計(jì)課件6概率密度函數(shù)估計(jì)課件7概率密度函數(shù)估計(jì)課件8概率密度函數(shù)估計(jì)課件9概率密度函數(shù)估計(jì)課件10概率密度函數(shù)估計(jì)課件11概率密度函數(shù)估計(jì)課件12概率密度函數(shù)估計(jì)課件13概率密度函數(shù)估計(jì)課件14概率密度函數(shù)估計(jì)課件15概率密度函數(shù)估計(jì)課件16概率密度函數(shù)估計(jì)課件17概率密度函數(shù)估計(jì)課件18概率密度函數(shù)估計(jì)課件19概率密度函數(shù)估計(jì)課件20概率密度函數(shù)估計(jì)課件21概率密度函數(shù)估計(jì)課件22概率密度函數(shù)估計(jì)課件23概率密度函數(shù)估計(jì)課件24概率密度函數(shù)估計(jì)課件25概率密度函數(shù)估計(jì)課件26概率密度函數(shù)估計(jì)課件27概率密度函數(shù)估計(jì)課件28概率密度函數(shù)估計(jì)課件29概率密度函數(shù)估計(jì)課件30概率密度函數(shù)估計(jì)課件31概率密度函數(shù)估計(jì)課件32概率密度函數(shù)估計(jì)課件33概率密度函數(shù)估計(jì)課件34概率密度函數(shù)估計(jì)課件35概率密度函數(shù)估計(jì)課件36概率密度函數(shù)估計(jì)課件37概率密度函數(shù)估計(jì)課件38概率密度函數(shù)估計(jì)課件39概率密度函數(shù)估計(jì)課件40概率密度函數(shù)估計(jì)課件41概率密度函數(shù)估計(jì)課件42概率密度函數(shù)估計(jì)課件43概率密度函數(shù)估計(jì)課件44概率密度函數(shù)估計(jì)課件45概率密度函數(shù)估計(jì)課件46概率密度函數(shù)估計(jì)課件47概率密度函數(shù)估計(jì)課件48概率密度函數(shù)估計(jì)課件49概率密度函數(shù)估計(jì)課件50第四章概率密度函數(shù)的估計(jì)◆概率密度估計(jì)的基礎(chǔ)知識(shí)◆參數(shù)估計(jì)理論極大似然估計(jì)(MLE)貝葉斯估計(jì)(或稱最大后驗(yàn)估計(jì))貝葉斯學(xué)習(xí)◆非參數(shù)估計(jì)理論密度估計(jì)Parzen窗估計(jì)K近鄰估計(jì)(KNE)第四章概率密度函數(shù)的估計(jì)51§4-1概率密度估計(jì)的基礎(chǔ)知識(shí)貝葉斯分類器中只要知道先驗(yàn)概率、條件概率或后驗(yàn)概概率P(),P(x/o,P(ω1/x)就可以設(shè)計(jì)分類器了。現(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計(jì)P(),P(x/(o2),P(o3/x)參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì):先假定硏究的問題具有某種數(shù)學(xué)模型如正態(tài)分布,二項(xiàng)分布,再用已知類別的學(xué)習(xí)樣本佔(zhàn)計(jì)里面的參數(shù)。非參數(shù)估計(jì):不假定數(shù)學(xué)模型,直接用已知類別的學(xué)習(xí)樣本的先驗(yàn)知識(shí)直接估計(jì)數(shù)學(xué)模型。§4-1概率密度估計(jì)的基礎(chǔ)知識(shí)52二.監(jiān)督參數(shù)估計(jì)與非監(jiān)督參數(shù)估計(jì)監(jiān)督參數(shù)估計(jì):樣本所屬的類別及類條件總體概率概率密度函數(shù)的形式已知,而表征概率密度函數(shù)的某些參數(shù)是未知的。目的在于:由已知類別的樣本集對(duì)總體分布的某些參數(shù)進(jìn)行統(tǒng)計(jì)推斷,此種情況下的估計(jì)問題稱為監(jiān)督參數(shù)估計(jì)非監(jiān)督參數(shù)估計(jì):已知總體概率密度函數(shù)形式但未知樣本所屬類別,要求推斷出概率密度函數(shù)的某些參數(shù),稱這種推斷方法為非監(jiān)督情況卜的參數(shù)估計(jì)注:監(jiān)督與非監(jiān)督是針對(duì)樣本所屬類別是已知還是未知而言的。二.監(jiān)督參數(shù)估計(jì)與非監(jiān)督參數(shù)估計(jì)53參數(shù)估計(jì)的基本概念1.統(tǒng)計(jì)量:樣本中包含著總體的信息,總希望通過樣本集把有關(guān)信息抽取出來。也就是說,針對(duì)不同要求構(gòu)造出樣本的某種函數(shù),該函數(shù)稱為統(tǒng)計(jì)量。2.參數(shù)空間:在參數(shù)估計(jì)中,總假設(shè)總體概率密度函數(shù)的形式已知,而未知的僅是分布中的參數(shù),將未知參數(shù)記為,于是將總體分布未知參數(shù)b的全部可容許值組成的集合稱為參數(shù)空間,記為⊙3.點(diǎn)估計(jì)、估計(jì)量和估計(jì)值:點(diǎn)估計(jì)問題就是構(gòu)造一個(gè)統(tǒng)計(jì)量d(x1,L,x)堆作為參數(shù)0的估計(jì),在統(tǒng)計(jì)學(xué)中稱0為0的估計(jì)量。若x,L,x是屬于類別O的幾個(gè)樣本觀察值,代入統(tǒng)計(jì)量d就得到對(duì)于第類的的具體數(shù)值,該數(shù)值就稱為0的估計(jì)值參數(shù)估計(jì)的基本概念544.區(qū)間估計(jì):除點(diǎn)估計(jì)外,還有另一類估計(jì)問題,要求用區(qū)間(d1,d2)作為O可能取值范圍得一種估計(jì),此區(qū)間稱為置信區(qū)間,該類估計(jì)問題稱為區(qū)間估計(jì)參數(shù)估計(jì)方法:參數(shù)估計(jì)是統(tǒng)計(jì)學(xué)的經(jīng)典問題,解決方法很多,在此只考慮兩種常用方法:一種是最大似然估計(jì)方法種是貝葉斯估計(jì)方法(1)最大似然估計(jì):把參數(shù)看作是確定而未知的,最好的估計(jì)值是在獲得實(shí)際觀察樣本的最大的條件下得到的(2)貝葉斯估計(jì):把未知的參數(shù)當(dāng)作具有某種分布的隨機(jī)變量,樣本的觀察結(jié)果使先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布,再根據(jù)后驗(yàn)分布修正原先對(duì)參數(shù)的估計(jì)6.參數(shù)估計(jì)的評(píng)價(jià):評(píng)價(jià)一個(gè)估計(jì)的“好壞”,不能按次抽樣結(jié)果得到的估計(jì)值與參數(shù)真僨的偏差大小來確定,而必須從平均和方差的角度出發(fā)進(jìn)行分析,即關(guān)于估計(jì)量性質(zhì)的定義4.區(qū)間估計(jì):除點(diǎn)估計(jì)外,還有另一類估計(jì)問題,要求用55概率密度函數(shù)估計(jì)課件56概率密度函數(shù)估計(jì)課件57概率密度函數(shù)估計(jì)課件58概率密度函數(shù)估計(jì)課件59概率密度函數(shù)估計(jì)課件60概率密度函數(shù)估計(jì)課件61概率密度函數(shù)估計(jì)課件62概率密度函數(shù)估計(jì)課件63概率密度函數(shù)估計(jì)課件64概率密度函數(shù)估計(jì)課件65概率密度函數(shù)估計(jì)課件66概率密度函數(shù)估計(jì)課件67概率密度函數(shù)估計(jì)課件68概率密度函數(shù)估計(jì)課件69概率密度函數(shù)估計(jì)課件70概率密度函數(shù)估計(jì)課件71概率密度函數(shù)估計(jì)課件72概率密度函數(shù)估計(jì)課件73概率密度函數(shù)估計(jì)課件74概率密度函數(shù)估計(jì)課件75概率密度函數(shù)估計(jì)課件76概率密度函數(shù)估計(jì)課件77概率密度函數(shù)估計(jì)課件78概率密度函數(shù)估計(jì)課件79概率密度函數(shù)估計(jì)課件80概率密度函數(shù)估計(jì)課件81概率密度函數(shù)估計(jì)課件82概率密度函數(shù)估計(jì)課件83概率密度函數(shù)估計(jì)課件84概率密度函數(shù)估計(jì)課件85概率密度函數(shù)估計(jì)課件86概率密度函數(shù)估