概率密度函數(shù)的參數(shù)估計(jì)

第三章概率密度函數(shù)的參數(shù)估計(jì)概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第1頁!3.0引言貝葉斯分類器的學(xué)習(xí)：類條件概率密度函數(shù)的估計(jì)。問題的表示：已有c個(gè)類別的訓(xùn)練樣本集合D1，D2，…，Dc，求取每個(gè)類別的類條件概率密度。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第2頁!概率密度函數(shù)的估計(jì)方法參數(shù)估計(jì)方法：預(yù)先假設(shè)每一個(gè)類別的概率密度函數(shù)的形式已知，而具體的參數(shù)未知；最大似然估計(jì)(MLE,MaximumLikelihoodEstimation)；貝葉斯估計(jì)(BayesianEstimation)。非參數(shù)估計(jì)方法。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第3頁!3.1最大似然估計(jì)獨(dú)立同分布假設(shè)：樣本集D中包含n個(gè)樣本：x1，x2，…,xn，樣本都是獨(dú)立同分布的隨機(jī)變量(i.i.d，independentidenticallydistributed)。對(duì)類條件概率密度函數(shù)的函數(shù)形式作出假設(shè)，參數(shù)可以表示為參數(shù)矢量θ：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第4頁!最大似然估計(jì)最大似然估計(jì)：尋找到一個(gè)最優(yōu)矢量，使得似然函數(shù)最大。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第5頁!3.2期望最大化算法(EM算法)EM算法的應(yīng)用可以分為兩個(gè)方面：訓(xùn)練樣本中某些特征丟失情況下，分布參數(shù)的最大似然估計(jì)；對(duì)某些復(fù)雜分布模型假設(shè)，最大似然估計(jì)很難得到解析解時(shí)的迭代算法。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第6頁!兩個(gè)高斯函數(shù)的混合概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第7頁!GMM模型產(chǎn)生的2維樣本數(shù)據(jù)概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第8頁!訓(xùn)練樣本：來自子類：已知y的條件下，參數(shù)的估計(jì)：已知參數(shù)條件下，y的估計(jì)：K-mean算法概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第9頁!GMM的參數(shù)估計(jì)算法(EM)隨機(jī)初始化參數(shù)：計(jì)算：重新估計(jì)參數(shù)θ；迭代計(jì)算2，3步，直到收斂為止。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第10頁!基本EM算法樣本集：令X是觀察到的樣本數(shù)據(jù)集合，Y為丟失的數(shù)據(jù)集合，完整的樣本集合D=XY。似然函數(shù)：由于Y未知，在給定參數(shù)θ時(shí)，似然函數(shù)可以看作Y的函數(shù)：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第11頁!基本EM算法begininitialize

，T，i0；

doii+1

E步：計(jì)算;

M步：

until

return概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第12頁!輸入語音波形概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第13頁!一階Markov模型狀態(tài)序列的產(chǎn)生：一階Markov模型由M個(gè)狀態(tài)構(gòu)成，在每個(gè)時(shí)刻t，模型處于某個(gè)狀態(tài)w(t)，經(jīng)過T個(gè)時(shí)刻，產(chǎn)生出一個(gè)長(zhǎng)度為T的狀態(tài)序列WT=w(1),…,w(T)。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第14頁!Markov模型的初始狀態(tài)概率模型初始于狀態(tài)wi的概率用表示。模型參數(shù)：一階Markov模型可以用參數(shù)表示，其中：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第15頁!一階隱含Markov模型隱含Markov模型中，狀態(tài)是不可見的，在每一個(gè)時(shí)刻t，模型當(dāng)前的隱狀態(tài)可以輸出一個(gè)觀察值。隱狀態(tài)輸出的觀察值可以是離散值，連續(xù)值，也可以是一個(gè)矢量。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第16頁!HMM的工作過程概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第17頁!HMM的三個(gè)核心問題估值問題：已有一個(gè)HMM模型，其參數(shù)已知，計(jì)算這個(gè)模型輸出特定的觀察序列VT的概率；解碼問題：已有一個(gè)HMM模型，其參數(shù)已知，計(jì)算最有可能輸出特定的觀察序列VT的隱狀態(tài)轉(zhuǎn)移序列WT；學(xué)習(xí)問題：已知一個(gè)HMM模型的結(jié)構(gòu)，其參數(shù)未知，根據(jù)一組訓(xùn)練序列對(duì)參數(shù)進(jìn)行訓(xùn)練；概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第18頁!估值問題的計(jì)算計(jì)算復(fù)雜度：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第19頁!HMM的前向算法初始化：迭代計(jì)算：結(jié)束輸出：計(jì)算復(fù)雜度：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第20頁!Viterbi算法因?yàn)樾枰厮纷顑?yōu)路徑，所以建立一個(gè)矩陣Φ，其元素保存第t步，第i個(gè)狀態(tài)在第t-1步的最優(yōu)狀態(tài)。初始化：迭代計(jì)算：結(jié)束：路徑回朔：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第21頁!學(xué)習(xí)問題HMM的學(xué)習(xí)問題： 已知一組觀察序列(訓(xùn)練樣本集合)：

如何確定最優(yōu)的模型參數(shù)θ，使得模型產(chǎn)生訓(xùn)練集合V的聯(lián)合概率最大

這同樣是一個(gè)最大似然估計(jì)問題，需要采用EM算法。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第22頁!變量說明：表示在t-1時(shí)刻HMM處于狀態(tài)ωi，并且從1t-1時(shí)刻之間產(chǎn)生觀察序列V1t-1的概率；：表示在t時(shí)刻HMM處于狀態(tài)ωj，并且從t+1T時(shí)刻之間產(chǎn)生觀察序列Vt+1T的概率；概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第23頁!前向-后向算法(Baum-Welch算法)迭代公式： 初始概率： 狀態(tài)轉(zhuǎn)移概率： 輸出概率：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第24頁!“左-右”模型結(jié)構(gòu)概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第25頁!3.3貝葉斯估計(jì)為什么要采用貝葉斯估計(jì)？貝葉斯估計(jì)與最大似然估計(jì)有什么差別？概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第26頁!貝葉斯估計(jì)的一般理論識(shí)別過程：類條件概率密度的計(jì)算學(xué)習(xí)過程：參數(shù)后驗(yàn)概率密度的估計(jì)概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第27頁!均值的后驗(yàn)概率經(jīng)推導(dǎo)可得，在已知訓(xùn)練樣本集合D的條件下，參數(shù)μ的分布：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第28頁!均值分布的變化概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第29頁!共軛先驗(yàn)分布如果假設(shè)參數(shù)的先驗(yàn)分布為其共軛分布，則參數(shù)的后驗(yàn)分布與先驗(yàn)分布屬于同一分布族。GMM中參數(shù)的共軛先驗(yàn)分布：μ的共軛先驗(yàn)為Gauss分布；Σ的共軛先驗(yàn)分布為Wishart分布；α的共軛先驗(yàn)分布為Dirichlet分布。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第30頁!似然函數(shù)樣本集D出現(xiàn)的概率：對(duì)數(shù)似然函數(shù)：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第31頁!正態(tài)分布的似然估計(jì)Gauss分布的參數(shù)：由均值矢量μ和協(xié)方差矩陣Σ構(gòu)成，最大似然估計(jì)結(jié)果為：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第32頁!混合密度模型混合密度模型：一個(gè)復(fù)雜的概率密度分布函數(shù)可以由多個(gè)簡(jiǎn)單的密度函數(shù)混合構(gòu)成：高斯混合模型：GMM，GaussMixture

Model概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第33頁!樣本的產(chǎn)生過程高斯模型樣本的產(chǎn)生：每一個(gè)樣本都是按照正態(tài)分布產(chǎn)生的；GMM樣本的產(chǎn)生：先按照先驗(yàn)概率ai選擇一個(gè)子類，然后按照這個(gè)子類滿足的正態(tài)分布產(chǎn)生樣本。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第34頁!GMM模型的參數(shù)估計(jì)GMM的參數(shù)：參數(shù)估計(jì)：已知樣本x1,…,xn，估計(jì)參數(shù)θ。存在的問題：每個(gè)樣本是由哪一個(gè)子集產(chǎn)生的未知。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第35頁!存在的問題：樣本xt可能來自于任何一個(gè)子類，但在參數(shù)估計(jì)時(shí)只出現(xiàn)在一個(gè)子類中。修改計(jì)算過程：EM算法概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第36頁!EM算法的性質(zhì)收斂性：EM算法具有收斂性；最優(yōu)性：EM算法只能保證收斂于似然函數(shù)的局部最大值點(diǎn)（極值點(diǎn)），而不能保證收斂于全局最優(yōu)點(diǎn)。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第37頁!基本EM算法由于Y未知，因此我們需要尋找到一個(gè)在Y的所有可能情況下，平均意義下的似然函數(shù)最大值，即似然函數(shù)對(duì)Y的期望的最大值：E步：M步：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第38頁!隱含Markov模型

(HiddenMarkovModel,HMM)應(yīng)用領(lǐng)域：識(shí)別對(duì)象存在著先后次序信息，如語音識(shí)別，手勢(shì)識(shí)別，唇讀系統(tǒng)等；模式描述：特征矢量序列。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第39頁!觀察序列觀察序列：信號(hào)的特征需要用一個(gè)特征矢量的序列來表示：其中的vi為一個(gè)特征矢量，稱為一個(gè)觀察值。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第40頁!一階Markov模型的狀態(tài)轉(zhuǎn)移Markov性：模型在時(shí)刻t處于狀態(tài)wj的概率完全由t-1時(shí)刻的狀態(tài)wi決定，而且與時(shí)刻t無關(guān)，即：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第41頁!一階Markov模型輸出狀態(tài)序列的概率輸出狀態(tài)序列的概率：由初始狀態(tài)概率與各次狀態(tài)轉(zhuǎn)移概率相乘得到。例如：W5=w1,w1,w3,w1,w2，則模型輸出該序列的概率為：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第42頁!HMM的工作原理觀察序列的產(chǎn)生過程：HMM的內(nèi)部狀態(tài)轉(zhuǎn)移過程同Markov模型相同，在每次狀態(tài)轉(zhuǎn)移之后，由該狀態(tài)輸出一個(gè)觀察值，只是狀態(tài)轉(zhuǎn)移過程無法觀察到，只能觀察到輸出的觀察值序列。輸出概率：以離散的HMM為例，隱狀態(tài)可能輸出的觀察值集合為{v1,v2,…,vK}，第i個(gè)隱狀態(tài)輸出第k個(gè)觀察值的概率為bik。例如：T=5時(shí)，可能的觀察序列V5=v3v2v3v4v1概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第43頁!HMM的參數(shù)表示狀態(tài)轉(zhuǎn)移矩陣：A，M*M的方陣；狀態(tài)輸出概率：B，M*K的矩陣；初始概率：π，包括M個(gè)元素。

M個(gè)狀態(tài)，K個(gè)可能的輸出值。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第44頁!估值問題一個(gè)HMM模型產(chǎn)生觀察序列VT可以由下式計(jì)算：rmax=MT為HMM所有可能的狀態(tài)轉(zhuǎn)移序列數(shù)；為狀態(tài)轉(zhuǎn)移序列輸出觀察序列的概率；為狀態(tài)轉(zhuǎn)移序列發(fā)生的概率。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第45頁!HMM估值算法的簡(jiǎn)化概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第46頁!解碼問題解碼問題的計(jì)算：同估值問題的計(jì)算類似，最直觀的思路是遍歷所有的可能狀態(tài)轉(zhuǎn)移序列，取出最大值，計(jì)算復(fù)雜度為：O(MTT)。同樣存在著優(yōu)化算法：Viterbi算法。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第47頁!Viterbi算法圖示概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第48頁!圖示概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第49頁!變量說明輸出觀察序列VT時(shí)，在t-1時(shí)刻HMM處于ωi狀態(tài)，在時(shí)刻t處于ωj狀態(tài)的概率：概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第50頁!HMM的其它問題連續(xù)HMM模型：在觀察序列中每個(gè)觀察值是一個(gè)特征矢量，相應(yīng)的模型中輸出概率b就需要用一個(gè)概率密度函數(shù)描述，其函數(shù)形式需要假設(shè)，通常使用GMM。訓(xùn)練問題：通?？梢杂妹總€(gè)訓(xùn)練樣本分別計(jì)算γ值，然后分子和分母部分分別進(jìn)行累加，最后統(tǒng)一進(jìn)行參數(shù)修正；模型的拓?fù)浣Y(jié)構(gòu)：模型結(jié)構(gòu)可以根據(jù)實(shí)際問題的需要來設(shè)計(jì)，在初始化狀態(tài)轉(zhuǎn)移矩陣A時(shí)，將某些元素設(shè)為0即可。概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第51頁!帶跨越的“左-右”結(jié)構(gòu)HMM模型概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第52頁!貝葉斯估計(jì)與最大似然估計(jì)的差別觀點(diǎn)不同：最大似然估計(jì)認(rèn)為θ是一個(gè)確定的未知矢量;貝葉斯估計(jì)認(rèn)為θ是一個(gè)隨機(jī)矢量。過程不同：最大似然估計(jì)：樣本集D估計(jì)最優(yōu)參數(shù)θ*；貝葉斯估計(jì)：樣本集D和先驗(yàn)分布p(θ)估計(jì)參數(shù)的后驗(yàn)分布p(θ|D)；優(yōu)點(diǎn)：提高小樣本集條件下的估計(jì)準(zhǔn)確率；缺點(diǎn)：計(jì)算復(fù)雜概率密度函數(shù)的參數(shù)估計(jì)共57頁，您現(xiàn)在瀏覽的是第53頁!單變量正態(tài)分布的貝葉斯估計(jì)已知概率密度函數(shù)滿足正態(tài)分布，其中方差σ