模式識別課件總順序No4第二章NO3楊雅雙071013概率密度函數(shù)估計

第三章概率密度函數(shù)的估計一引言前述是在P(wi)和p(x|wi)情況下進行討論的。但實際中，我們能收集到的是有限數(shù)目的樣本，而未知的那么可能是：①條件概率密度〔各類的總體分布〕p(x|wi)；②先驗概率P(wi)。也許P(wi)和p(x|wi)的形式可知，但其中的參數(shù)未知。這時就利用統(tǒng)計推斷中的估計理論：如利用樣本集估計p(wi)和p(x|wi)(分別記為和)

整理ppt二參數(shù)估計的根本概念1參數(shù)估計的類型(1)監(jiān)督參數(shù)估計：樣本所屬的類別及p(x|wi)的形式為，而概率密度p(x|wi)中的一些參數(shù)是未知的。這時要由類別的樣本集對總體分布的某些參數(shù)進行估計。(2)非監(jiān)督參數(shù)估計：p(x|wi)的形式，但未知樣本所屬類別。這時就要估計概率密度中的一些參數(shù)。注：監(jiān)督與非監(jiān)督參數(shù)估計的區(qū)別：樣本所屬類別是還是未知的。(3)非參數(shù)估計：樣本所屬類別，但未知p(x|wi)形式。這時就要推斷出概率密度函數(shù)。整理ppt2名詞解釋(1)訓(xùn)練〔學(xué)習(xí)〕：在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道時，而根據(jù)樣本來確定他們，這項工作成為訓(xùn)練或?qū)W習(xí)。(2)總體〔母體〕：一個模式類。(3)總體的子樣：一個模式類中某些模式〔總體中的一些元素〕的集合稱之這個總體的子樣。(4)統(tǒng)計量：由樣本構(gòu)造的函數(shù)d(xi,…,xn)，即針對不同要求構(gòu)造出樣本的某種函數(shù)。(5)經(jīng)驗分布：由樣本推斷的分布。(6)估計：由樣本按某種規(guī)那么構(gòu)造的一個統(tǒng)計量θ’=θ(x1,x2,…,xn)，用θ’的值作為被估參數(shù)集θ的近似值。整理ppt(7)點估計：構(gòu)造一個統(tǒng)計量d(x1,…,xn)作為參數(shù)θ的估計θ’。(8)估計量：在統(tǒng)計學(xué)中稱θ’為θ的估計量。(9)估計值：將類別wi中的幾個樣本觀察值x1i,…,xni代入統(tǒng)計量d中所求得的第i類的具體數(shù)值θ’。(10)區(qū)間估計：在一區(qū)間內(nèi)對θ進行估計，此區(qū)間稱為置信區(qū)間。(11)參數(shù)空間：在概率密度形式，而未知的是其所含(幾個)參數(shù)時，那么未知參數(shù)(記為θ)的取值范圍(即集合)稱為參數(shù)空間。整理ppt三參數(shù)估計的幾種常用方法1最大似然估計(1)假設(shè)：①按類別把樣本集分開，設(shè)有c類，即有c個樣本集?1，?2,…,?c，其中?j的樣本X=(x1,…,xn)是按類條件概率密度為p(X|wj)從總體中獨立抽取的。②p(X|wj)的函數(shù)形式，但其參數(shù)向量θj未知，且θj唯一地是由p(X|wi)決定的(將其記為p(X|wj,θj)，即表示p(X|wj)與θj有關(guān)。或說認(rèn)為此概率密度是由θj、wj作為條件的條件概率密度)。整理ppt③參數(shù)θ是由樣本集唯一地確定〔即θ是確定而未知的量〕。④假設(shè)?i類中的樣本不包含θj(i≠j)的信息，即不同類別的參數(shù)在函數(shù)上是獨立的。(2)現(xiàn)在的問題就是：從樣本提供的信息來得到參數(shù)向量θ1,θ2,…,θc〔每個類得到一個參數(shù)向量θ〕的估計值。(3)最大似然估計的根本思想：如果在一次觀察中一個事件X出現(xiàn)了，那么可認(rèn)為這個事件出現(xiàn)的可能性很大。這里，事件X={x1,x2,…,xn}是按概率密度p(X|wi)從總體中抽出的樣本，這時就認(rèn)為p(X|θ)到達了最大值，使p(X|θ)到達最大值的θ’就是θ的最大似然估計。整理ppt(4)最大似然估計的求解設(shè)已得到屬于同一類的N個樣本，即X={x1,…,xN}它們具有概率密度p(xk|θ)(k=1,…,N〕，且樣本是獨立抽取的，那么Np(X|θ)=p(x1,…,xN|θ)=∏p(xk|θ)(2-26)k=1p(X|θ)是θ的函數(shù)〔將其稱為相對于樣本集X的θ的似然函數(shù)，記為l(θ)〕，即Nl(θ)=p(X|θ)=∏p(xk|θ)(2-27)k=1注：(1)l(θ)給出了從總體中抽出x1,…,xN這樣N個樣本的概率。整理ppt(2)未知參數(shù)θ的最大似然估計θ’被定義為使l(θ)最大的θ值。(3)當(dāng)X的N個樣本確定后，似然函數(shù)l(θ)只是θ的函數(shù)。(4)但假設(shè)換一組樣本，l(θ)的形式也會發(fā)生改變。即使l(θ)的值最大的θ’是樣本x1,x2,…,xN的函數(shù)，記為θ’=d(x1,x2,…,xN)〔其稱為θ的最大似然估計量〕。l(θ)的對數(shù)形式lnl(θ)〔記為H(θ)，稱其為對數(shù)似然函數(shù))，使H(θ)極大的θ同樣使l(θ)取極大值。

H(θ)=lnl(θ)=lnp(X|θ)=lnp(x1,…,xN|θ)(2-28)整理ppt在N個樣本獨立抽取時，且設(shè)參數(shù)向量

在該式對θ的偏導(dǎo)等于零的解，就是θ’。其中梯度算子即從的s個方程中求得θ’={θ1,…,θs}。

如果以上方程的解θ’能使似然函數(shù)值最大，那么θ’就是θ的最大似然估計。整理ppt注意：①有時上方程組可能有假設(shè)干解。如以下圖中都是解，但只有θ’才使似然函數(shù)最大，即θ’才是最大似然估計。②有時上方程組無解，如無極值點。整理ppt3貝葉斯〔Bayes〕估計(1)貝葉斯估計中的損失函數(shù)在最小風(fēng)險Bayes決策中是依據(jù)總風(fēng)險R或條件風(fēng)險最小準(zhǔn)那么建立判決規(guī)那么。同樣，在Bayes參數(shù)估計中，也可以考慮總風(fēng)險/損失問題，但這里損失函數(shù)是用估計值θ’作為真實參數(shù)值θ的代價。令λ(θ’,θ)作為θ’代替θ所造成的損失〔損失函數(shù)〕，對于一個觀測樣本集X={x1,x2,…,xd}，當(dāng)用θ’作為θ的估計時，在X條件下的條件風(fēng)險定義為：R(θ’|X)=∫Θλ(θ’,θ)*P(θ|X)dθ〔2-31〕其中Θ為參數(shù)空間。整理ppt考慮到X的各種取值，因此總風(fēng)險R應(yīng)是R(θ’|X)在Ωd=Ω×Ω×,…,×Ω特征空間中的期望。即：R=∫ΩdR(θ’|X)*P(X)dX=∫Ωd∫Θλ(θ’,θ)*P(θ|X)*P(X)dθdX〔2-32〕(2)Bayes估計的思想：所求得的θ的估計值θ’應(yīng)使估計損失的期望最小，這種使R或等價地使R(θ’|X)取最小值的θ的估計值θ’稱為θ的貝葉斯估計。注：損失函數(shù)λ(θ’,θ)可定義成不同的形式，對于λ(θ’,θ)不同的具體定義，可得到不同的最正確Bayes估計量θ’。整理ppt(3)二次函數(shù)下的貝葉斯估計例如：取λ(θ’,θ)為二次函數(shù)，即平方誤差損失函數(shù)，這種取法是Bayes估計中最理想最常用的Bayes最優(yōu)估計。即λ(θ’,θ)=(θ-θ’)2〔2-33〕于是，估計的平均損失〔總風(fēng)險Ｒ〕為：R=∫Ωd∫Θ(θ-θ’)2*P(θ|X)*P(X)dθdX=∫Ωd[∫Θ(θ-θ’)2*P(θ|X)dθ]*P(X)dX〔2-34〕由于p(X)是非負(fù)的，θ’只出現(xiàn)在內(nèi)積分中，因此θ’使R最小等價于使R(θ’|X)=∫Θ(θ-θ’)2*P(θ|X)dθ最小。整理ppt為求R(θ’|X)極小，那么需從而可得：因為：由于R是關(guān)于θ’的二次函數(shù)，所以上式的θ’確使R或R〔θ’|X〕最小。上式同時說明，θ的最小方差Bayes估計θ’是在觀測X條件下的θ的條件期望。整理ppt(4)歸納起來Bayes估計的步驟是：①確定未知參數(shù)集θ的先驗概率P〔θ〕；②由樣本集X求出樣本聯(lián)合分布p(X|θ)，它是θ的函數(shù)；條件是：類的概型是的，且各樣本是獨立抽取的，即它們條件獨立。利用Bayes公式，求出θ的后驗概率p(θ|X)

④求出Bayes估計量整理ppt4貝葉斯學(xué)習(xí)Bayes學(xué)習(xí)與Bayes估計的前提條件是相同的，不同的是，Bayes學(xué)習(xí)不是進行參數(shù)估計，而是進行總體概率密度的推斷以獲得總體分布p(x|X)，因此它們具有某些相同的計算過程和內(nèi)容，也有不同的計算目標(biāo)。即Bayes學(xué)習(xí)是在執(zhí)行完Bayes估計的前3步得到θ的后驗概率p(θ|X)之后不是去求θ’，而是求總體x的后驗概率p(x|X)。整理ppt

另設(shè)

因為在θ的條件下，λ對x已無作用。由于抽樣是獨立進行的，x1,x2,…,xn是條件獨立的，故有整理ppt另據(jù)Bayes公式，有

一般而言，運用上述公式可由觀測XN對總體概率密度p(x|XN)進行推斷。下面給出具有遞推收斂性質(zhì)下的Bayes學(xué)習(xí)的一般陳述。整理ppt上式為一遞推公式，顯然p(θ|X0)=p(θ)為無樣本條件下θ的條件概率密度，其等于θ的先驗概率密度。反復(fù)逐一增加樣本，重復(fù)使用上式時，可得到一個密度函數(shù)序列：p(θ),p(θ,x1),p(θ,x1,x2)…等，這稱為參數(shù)估計的遞推Bayes方法。如果這個密度序列收斂于一個以真實參數(shù)θ為中心的δ函數(shù)，那么把具有這種性質(zhì)的遞推過程稱為Bayes學(xué)習(xí)。由于p(θ|XN)在真是參數(shù)集θ處逼近一個δ函數(shù)，將其代入p(x|XN)=∫θp(x|θ)·p(θ|λN)·dθ,當(dāng)樣本數(shù)目N無窮大時，可得：

整理ppt最大似然估計、貝葉斯估計、貝葉斯學(xué)習(xí)之間的關(guān)系(1)最大似然估計將參數(shù)看成隨機的未知參數(shù)〔而非隨機參數(shù)〕，似然函數(shù)然后求使l(θ)為最大的θ’作為最大似然估計量整理ppt(2)貝葉斯估計將θ看成為隨機的未知參數(shù)，且θ具有先驗分布P(θ)，樣本通過l(θ)并利用Baye