概率密度函數(shù)的參數(shù)估計

概率密度函數(shù)的參數(shù)估計第一頁，共五十五頁，編輯于2023年，星期六3.0引言貝葉斯分類器的學習：類條件概率密度函數(shù)的估計。問題的表示：已有c個類別的訓練樣本集合D1，D2，…，Dc，求取每個類別的類條件概率密度。第二頁，共五十五頁，編輯于2023年，星期六概率密度函數(shù)的估計方法參數(shù)估計方法：預先假設每一個類別的概率密度函數(shù)的形式已知，而具體的參數(shù)未知；最大似然估計(MLE,MaximumLikelihoodEstimation)；貝葉斯估計(BayesianEstimation)。非參數(shù)估計方法。第三頁，共五十五頁，編輯于2023年，星期六3.1最大似然估計獨立同分布假設：樣本集D中包含n個樣本：x1，x2，…,xn，樣本都是獨立同分布的隨機變量(i.i.d，independentidenticallydistributed)。對類條件概率密度函數(shù)的函數(shù)形式作出假設，參數(shù)可以表示為參數(shù)矢量θ：第四頁，共五十五頁，編輯于2023年，星期六似然函數(shù)樣本集D出現(xiàn)的概率：對數(shù)似然函數(shù)：第五頁，共五十五頁，編輯于2023年，星期六最大似然估計最大似然估計：尋找到一個最優(yōu)矢量，使得似然函數(shù)最大。第六頁，共五十五頁，編輯于2023年，星期六正態(tài)分布的似然估計Gauss分布的參數(shù)：由均值矢量μ和協(xié)方差矩陣Σ構(gòu)成，最大似然估計結(jié)果為：第七頁，共五十五頁，編輯于2023年，星期六3.2期望最大化算法(EM算法)EM算法的應用可以分為兩個方面：訓練樣本中某些特征丟失情況下，分布參數(shù)的最大似然估計；對某些復雜分布模型假設，最大似然估計很難得到解析解時的迭代算法。第八頁，共五十五頁，編輯于2023年，星期六混合密度模型混合密度模型：一個復雜的概率密度分布函數(shù)可以由多個簡單的密度函數(shù)混合構(gòu)成：高斯混合模型：GMM，GaussMixture

Model第九頁，共五十五頁，編輯于2023年，星期六兩個高斯函數(shù)的混合第十頁，共五十五頁，編輯于2023年，星期六樣本的產(chǎn)生過程高斯模型樣本的產(chǎn)生：每一個樣本都是按照正態(tài)分布產(chǎn)生的；GMM樣本的產(chǎn)生：先按照先驗概率ai選擇一個子類，然后按照這個子類滿足的正態(tài)分布產(chǎn)生樣本。第十一頁，共五十五頁，編輯于2023年，星期六GMM模型產(chǎn)生的2維樣本數(shù)據(jù)第十二頁，共五十五頁，編輯于2023年，星期六GMM模型的參數(shù)估計GMM的參數(shù)：參數(shù)估計：已知樣本x1,…,xn，估計參數(shù)θ。存在的問題：每個樣本是由哪一個子集產(chǎn)生的未知。第十三頁，共五十五頁，編輯于2023年，星期六訓練樣本：來自子類：已知y的條件下，參數(shù)的估計：已知參數(shù)條件下，y的估計：K-mean算法第十四頁，共五十五頁，編輯于2023年，星期六存在的問題：樣本xt可能來自于任何一個子類，但在參數(shù)估計時只出現(xiàn)在一個子類中。修改計算過程：EM算法第十五頁，共五十五頁，編輯于2023年，星期六混合密度模型的參數(shù)估計混合密度模型的參數(shù)可以表示為：參數(shù)的估計方法：梯度法：利用最優(yōu)化方法直接對似然函數(shù)進行優(yōu)化；EM算法：引入未知隱變量Y對問題進行簡化，將Y看作丟失的數(shù)據(jù)，使用EM算法進行優(yōu)化。第十六頁，共五十五頁，編輯于2023年，星期六EM算法的性質(zhì)收斂性：EM算法具有收斂性；最優(yōu)性：EM算法只能保證收斂于似然函數(shù)的局部最大值點（極值點），而不能保證收斂于全局最優(yōu)點。第十七頁，共五十五頁，編輯于2023年，星期六基本EM算法樣本集：令X是觀察到的樣本數(shù)據(jù)集合，Y為丟失的數(shù)據(jù)集合，完整的樣本集合D=XY。似然函數(shù)：由于Y未知，在給定參數(shù)θ時，似然函數(shù)可以看作Y的函數(shù)：第十八頁，共五十五頁，編輯于2023年，星期六基本EM算法由于Y未知，因此我們需要尋找到一個在Y的所有可能情況下，平均意義下的似然函數(shù)最大值，即似然函數(shù)對Y的期望的最大值：E步：M步：第十九頁，共五十五頁，編輯于2023年，星期六基本EM算法begininitialize，T，i0；

doii+1

E步：計算;

M步：

until

return第二十頁，共五十五頁，編輯于2023年，星期六隱含Markov模型

(HiddenMarkovModel,HMM)應用領(lǐng)域：識別對象存在著先后次序信息，如語音識別，手勢識別，唇讀系統(tǒng)等；模式描述：特征矢量序列。第二十一頁，共五十五頁，編輯于2023年，星期六輸入語音波形第二十二頁，共五十五頁，編輯于2023年，星期六觀察序列觀察序列：信號的特征需要用一個特征矢量的序列來表示：其中的vi為一個特征矢量，稱為一個觀察值。第二十三頁，共五十五頁，編輯于2023年，星期六一階Markov模型狀態(tài)序列的產(chǎn)生：一階Markov模型由M個狀態(tài)構(gòu)成，在每個時刻t，模型處于某個狀態(tài)w(t)，經(jīng)過T個時刻，產(chǎn)生出一個長度為T的狀態(tài)序列WT=w(1),…,w(T)。第二十四頁，共五十五頁，編輯于2023年，星期六一階Markov模型的狀態(tài)轉(zhuǎn)移Markov性：模型在時刻t處于狀態(tài)wj的概率完全由t-1時刻的狀態(tài)wi決定，而且與時刻t無關(guān)，即：第二十五頁，共五十五頁，編輯于2023年，星期六Markov模型的初始狀態(tài)概率模型初始于狀態(tài)wi的概率用表示。模型參數(shù)：一階Markov模型可以用參數(shù)表示，其中：第二十六頁，共五十五頁，編輯于2023年，星期六一階Markov模型輸出狀態(tài)序列的概率輸出狀態(tài)序列的概率：由初始狀態(tài)概率與各次狀態(tài)轉(zhuǎn)移概率相乘得到。例如：W5=w1,w1,w3,w1,w2，則模型輸出該序列的概率為：第二十七頁，共五十五頁，編輯于2023年，星期六一階隱含Markov模型隱含Markov模型中，狀態(tài)是不可見的，在每一個時刻t，模型當前的隱狀態(tài)可以輸出一個觀察值。隱狀態(tài)輸出的觀察值可以是離散值，連續(xù)值，也可以是一個矢量。第二十八頁，共五十五頁，編輯于2023年，星期六HMM的工作原理觀察序列的產(chǎn)生過程：HMM的內(nèi)部狀態(tài)轉(zhuǎn)移過程同Markov模型相同，在每次狀態(tài)轉(zhuǎn)移之后，由該狀態(tài)輸出一個觀察值，只是狀態(tài)轉(zhuǎn)移過程無法觀察到，只能觀察到輸出的觀察值序列。輸出概率：以離散的HMM為例，隱狀態(tài)可能輸出的觀察值集合為{v1,v2,…,vK}，第i個隱狀態(tài)輸出第k個觀察值的概率為bik。例如：T=5時，可能的觀察序列V5=v3v2v3v4v1第二十九頁，共五十五頁，編輯于2023年，星期六HMM的工作過程第三十頁，共五十五頁，編輯于2023年，星期六HMM的參數(shù)表示狀態(tài)轉(zhuǎn)移矩陣：A，M*M的方陣；狀態(tài)輸出概率：B，M*K的矩陣；初始概率：π，包括M個元素。

M個狀態(tài)，K個可能的輸出值。第三十一頁，共五十五頁，編輯于2023年，星期六HMM的三個核心問題估值問題：已有一個HMM模型，其參數(shù)已知，計算這個模型輸出特定的觀察序列VT的概率；解碼問題：已有一個HMM模型，其參數(shù)已知，計算最有可能輸出特定的觀察序列VT的隱狀態(tài)轉(zhuǎn)移序列WT；學習問題：已知一個HMM模型的結(jié)構(gòu)，其參數(shù)未知，根據(jù)一組訓練序列對參數(shù)進行訓練；第三十二頁，共五十五頁，編輯于2023年，星期六估值問題一個HMM模型產(chǎn)生觀察序列VT可以由下式計算：rmax=MT為HMM所有可能的狀態(tài)轉(zhuǎn)移序列數(shù)；為狀態(tài)轉(zhuǎn)移序列輸出觀察序列的概率；為狀態(tài)轉(zhuǎn)移序列發(fā)生的概率。第三十三頁，共五十五頁，編輯于2023年，星期六估值問題的計算計算復雜度：第三十四頁，共五十五頁，編輯于2023年，星期六HMM估值算法的簡化第三十五頁，共五十五頁，編輯于2023年，星期六HMM的前向算法初始化：迭代計算：結(jié)束輸出：計算復雜度：第三十六頁，共五十五頁，編輯于2023年，星期六解碼問題解碼問題的計算：同估值問題的計算類似，最直觀的思路是遍歷所有的可能狀態(tài)轉(zhuǎn)移序列，取出最大值，計算復雜度為：O(MTT)。同樣存在著優(yōu)化算法：Viterbi算法。第三十七頁，共五十五頁，編輯于2023年，星期六Viterbi算法因為需要回朔最優(yōu)路徑，所以建立一個矩陣Φ，其元素保存第t步，第i個狀態(tài)在第t-1步的最優(yōu)狀態(tài)。初始化：迭代計算：結(jié)束：路徑回朔：第三十八頁，共五十五頁，編輯于2023年，星期六Viterbi算法圖示第三十九頁，共五十五頁，編輯于2023年，星期六學習問題HMM的學習問題： 已知一組觀察序列(訓練樣本集合)：

如何確定最優(yōu)的模型參數(shù)θ，使得模型產(chǎn)生訓練集合V的聯(lián)合概率最大

這同樣是一個最大似然估計問題，需要采用EM算法。第四十頁，共五十五頁，編輯于2023年，星期六圖示第四十一頁，共五十五頁，編輯于2023年，星期六變量說明

：表示在t-1時刻HMM處于狀態(tài)ωi，并且從1t-1時刻之間產(chǎn)生觀察序列V1t-1的概率；：表示在t時刻HMM處于狀態(tài)ωj，并且從t+1T時刻之間產(chǎn)生觀察序列Vt+1T的概率；第四十二頁，共五十五頁，編輯于2023年，星期六變量說明輸出觀察序列VT時，在t-1時刻HMM處于ωi狀態(tài)，在時刻t處于ωj狀態(tài)的概率：第四十三頁，共五十五頁，編輯于2023年，星期六前向-后向算法(Baum-Welch算法)迭代公式： 初始概率： 狀態(tài)轉(zhuǎn)移概率： 輸出概率：第四十四頁，共五十五頁，編輯于2023年，星期六HMM的其它問題連續(xù)HMM模型：在觀察序列中每個觀察值是一個特征矢量，相應的模型中輸出概率b就需要用一個概率密度函數(shù)描述，其函數(shù)形式需要假設，通常使用GMM。訓練問題：通?？梢杂妹總€訓練樣本分別計算γ值，然后分子和分母部分分別進行累加，最后統(tǒng)一進行參數(shù)修正；模型的拓撲結(jié)構(gòu)：模型結(jié)構(gòu)可以根據(jù)實際問題的需要來設計，在初始化狀態(tài)轉(zhuǎn)移矩陣A時，將某些元素設為0即可。第四十五頁，共五十五頁，編輯于2023年，星期六“左-右”模型結(jié)構(gòu)第四十六頁，共五十五頁，編輯于2023年，星期六帶跨越的“左-右”結(jié)構(gòu)HMM模型第四十七頁，共五十五頁，編輯于2023年，星期六3.3貝葉斯估計為什么要采用貝葉斯估計？貝葉斯估計與最大似然估計有什么差別？第四十八頁，共五十五頁，編輯于2023年，星期六貝葉斯估計與最大似然估計的差別觀點不同：最大似然估計認為θ是一個確定的未知矢量;貝葉斯估計認為θ是一個隨機矢量。過程不同：最大似然估計：樣本集D估計最優(yōu)參數(shù)θ*；貝葉斯估計：樣本集D和先驗分布p(θ)估計參數(shù)的后驗分布p(θ|D)；優(yōu)點：提高小樣本集條件下的估計準確率；缺點：計算復雜第四十九頁，共五十五頁，編輯于2023年，星期六貝葉斯估計的一般理論識別過程：類條件概率密度的計算學習過程：參數(shù)后驗概率密度的估計第五十頁，共五十五頁，編輯于2023年，星期六單變量正態(tài)分布的貝