概率密度函數(shù)參數(shù)估計(jì)

1、關(guān)于概率密度函數(shù)的參數(shù)估計(jì)第一張，PPT共六十一頁，創(chuàng)作于2022年6月3.0 引言貝葉斯分類器的學(xué)習(xí)：類條件概率密度函數(shù)的估計(jì)。問題的表示：已有c個(gè)類別的訓(xùn)練樣本集合D1，D2，Dc，求取每個(gè)類別的類條件概率密度 。第二張，PPT共六十一頁，創(chuàng)作于2022年6月概率密度函數(shù)的估計(jì)方法參數(shù)估計(jì)方法：預(yù)先假設(shè)每一個(gè)類別的概率密度函數(shù)的形式已知，而具體的參數(shù)未知；最大似然估計(jì)(MLE, Maximum Likelihood Estimation)；貝葉斯估計(jì)(Bayesian Estimation)。非參數(shù)估計(jì)方法。第三張，PPT共六十一頁，創(chuàng)作于2022年6月3.1 最大似然估計(jì)獨(dú)立同分布假設(shè)：

2、樣本集D中包含n個(gè)樣本：x1，x2， , xn，樣本都是獨(dú)立同分布的隨機(jī)變量(i.i.d，independent identically distributed)。對(duì)類條件概率密度函數(shù)的函數(shù)形式作出假設(shè)，參數(shù)可以表示為參數(shù)矢量：第四張，PPT共六十一頁，創(chuàng)作于2022年6月最大似然估計(jì)第五張，PPT共六十一頁，創(chuàng)作于2022年6月似然函數(shù)樣本集D出現(xiàn)的概率：對(duì)數(shù)似然函數(shù)：第六張，PPT共六十一頁，創(chuàng)作于2022年6月最大似然估計(jì)最大似然估計(jì)：尋找到一個(gè)最優(yōu)矢量 ，使得似然函數(shù) 最大。第七張，PPT共六十一頁，創(chuàng)作于2022年6月正態(tài)分布的似然估計(jì)Gauss分布的參數(shù)：由均值矢量和協(xié)方差矩陣構(gòu)成

3、，最大似然估計(jì)結(jié)果為：第八張，PPT共六十一頁，創(chuàng)作于2022年6月3.2 期望最大化算法(EM算法)EM算法的應(yīng)用可以分為兩個(gè)方面：訓(xùn)練樣本中某些特征丟失情況下，分布參數(shù)的最大似然估計(jì)；對(duì)某些復(fù)雜分布模型假設(shè)，最大似然估計(jì)很難得到解析解時(shí)的迭代算法。第九張，PPT共六十一頁，創(chuàng)作于2022年6月混合密度模型混合密度模型：一個(gè)復(fù)雜的概率密度分布函數(shù)可以由多個(gè)簡單的密度函數(shù)混合構(gòu)成：高斯混合模型：GMM，Gauss Mixture Model第十張，PPT共六十一頁，創(chuàng)作于2022年6月兩個(gè)高斯函數(shù)的混合第十一張，PPT共六十一頁，創(chuàng)作于2022年6月樣本的產(chǎn)生過程高斯模型樣本的產(chǎn)生：每一個(gè)樣本

4、都是按照正態(tài)分布產(chǎn)生的；GMM樣本的產(chǎn)生：先按照先驗(yàn)概率ai選擇一個(gè)子類，然后按照這個(gè)子類滿足的正態(tài)分布產(chǎn)生樣本。第十二張，PPT共六十一頁，創(chuàng)作于2022年6月GMM模型產(chǎn)生的2維樣本數(shù)據(jù)第十三張，PPT共六十一頁，創(chuàng)作于2022年6月GMM模型的參數(shù)估計(jì)GMM的參數(shù)：參數(shù)估計(jì)：已知樣本x1,xn，估計(jì)參數(shù)。存在的問題：每個(gè)樣本是由哪一個(gè)子集產(chǎn)生的未知。第十四張，PPT共六十一頁，創(chuàng)作于2022年6月訓(xùn)練樣本：來自子類：已知y的條件下，參數(shù)的估計(jì)：已知參數(shù)條件下，y的估計(jì)：K-mean算法第十五張，PPT共六十一頁，創(chuàng)作于2022年6月K-均值聚類begin initialize 樣本數(shù)n，

5、聚類數(shù)K，初始聚類中心1, , c； do 按照最近鄰i分類n個(gè)樣本； 重新計(jì)算聚類中心1, , c； until i不再改變；return 1, , c;end第十六張，PPT共六十一頁，創(chuàng)作于2022年6月存在的問題：樣本xt可能來自于任何一個(gè)子類，但在參數(shù)估計(jì)時(shí)只出現(xiàn)在一個(gè)子類中。修改計(jì)算過程：EM算法第十七張，PPT共六十一頁，創(chuàng)作于2022年6月GMM的參數(shù)估計(jì)算法(EM)隨機(jī)初始化參數(shù)：計(jì)算：重新估計(jì)參數(shù) ；迭代計(jì)算2，3步，直到收斂為止。第十八張，PPT共六十一頁，創(chuàng)作于2022年6月基本EM算法樣本集：令X是觀察到的樣本數(shù)據(jù)集合，Y為丟失的數(shù)據(jù)集合，完整的樣本集合D=XY。似然

6、函數(shù)：由于Y未知，在給定參數(shù)時(shí)，似然函數(shù)可以看作Y的函數(shù)：第十九張，PPT共六十一頁，創(chuàng)作于2022年6月基本EM算法由于Y未知，因此我們需要尋找到一個(gè)在Y的所有可能情況下，平均意義下的似然函數(shù)最大值，即似然函數(shù)對(duì)Y的期望的最大值：E步：M步：第二十張，PPT共六十一頁，創(chuàng)作于2022年6月基本EM算法begin initialize ，T，i0； do ii+1 E步：計(jì)算 ; M步： until return第二十一張，PPT共六十一頁，創(chuàng)作于2022年6月EM算法的性質(zhì)收斂性：EM算法具有收斂性；最優(yōu)性：EM算法只能保證收斂于似然函數(shù)的局部最大值點(diǎn)（極值點(diǎn)），而不能保證收斂于全局最優(yōu)點(diǎn)。

7、第二十二張，PPT共六十一頁，創(chuàng)作于2022年6月隱含Markov模型 (Hidden Markov Model, HMM)應(yīng)用領(lǐng)域：識(shí)別對(duì)象存在著先后次序信息，如語音識(shí)別，手勢識(shí)別，唇讀系統(tǒng)等；模式描述：特征矢量序列。第二十三張，PPT共六十一頁，創(chuàng)作于2022年6月輸入語音波形第二十四張，PPT共六十一頁，創(chuàng)作于2022年6月觀察序列觀察序列：信號(hào)的特征需要用一個(gè)特征矢量的序列來表示：其中的vi為一個(gè)特征矢量，稱為一個(gè)觀察值。第二十五張，PPT共六十一頁，創(chuàng)作于2022年6月一階Markov模型M個(gè)狀態(tài)：w1, w2, , wM時(shí)刻t：處于狀態(tài)w(t)；經(jīng)過T個(gè)時(shí)刻：WT=w(1),w(T

8、)。第二十六張，PPT共六十一頁，創(chuàng)作于2022年6月一階Markov模型的狀態(tài)轉(zhuǎn)移Markov性：模型在時(shí)刻t處于狀態(tài)wj的概率完全由t-1時(shí)刻的狀態(tài)wi決定，而且與時(shí)刻t無關(guān)，即：第二十七張，PPT共六十一頁，創(chuàng)作于2022年6月Markov模型的初始狀態(tài)概率模型初始于狀態(tài)wi的概率用 表示。模型參數(shù)：一階Markov模型可以用參數(shù) 表示，其中： 第二十八張，PPT共六十一頁，創(chuàng)作于2022年6月一階Markov模型輸出狀態(tài)序列的概率輸出狀態(tài)序列的概率：由初始狀態(tài)概率與各次狀態(tài)轉(zhuǎn)移概率相乘得到。例如：W5=w1, w1, w3, w1, w2，則模型輸出該序列的概率為：第二十九張，PPT共

9、六十一頁，創(chuàng)作于2022年6月一階Markov模型實(shí)例某個(gè)城市天氣的變化可以采用一階馬爾科夫模型描述，每天的天氣有4種狀態(tài)晴、陰、雨、雪。第三十張，PPT共六十一頁，創(chuàng)作于2022年6月一階隱含Markov模型隱含Markov模型中，狀態(tài)是不可見的，在每一個(gè)時(shí)刻t，模型當(dāng)前的隱狀態(tài)輸出一個(gè)觀察值。隱狀態(tài)輸出的觀察值可以是離散值，連續(xù)值，也可以是一個(gè)矢量。第三十一張，PPT共六十一頁，創(chuàng)作于2022年6月一階隱含Markov模型實(shí)例我們不知道某城市的天氣情況，只知道當(dāng)?shù)啬橙嗣刻斓幕顒?dòng)情況散步、購物、做家務(wù)。第三十二張，PPT共六十一頁，創(chuàng)作于2022年6月HMM的工作原理觀察序列的產(chǎn)生過程：HM

10、M的內(nèi)部狀態(tài)轉(zhuǎn)移過程同Markov模型相同，在每次狀態(tài)轉(zhuǎn)移之后，由該狀態(tài)輸出一個(gè)觀察值，只是狀態(tài)轉(zhuǎn)移過程無法觀察到，只能觀察到輸出的觀察值序列。輸出概率：以離散的HMM為例，隱狀態(tài)可能輸出的觀察值集合為v1, v2, , vK，第i個(gè)隱狀態(tài)輸出第k個(gè)觀察值的概率為bik。例如：T=5時(shí)，可能的觀察序列V5=v3v2v3v4v1第三十三張，PPT共六十一頁，創(chuàng)作于2022年6月HMM的參數(shù)表示狀態(tài)轉(zhuǎn)移矩陣：A，M*M的方陣；狀態(tài)輸出概率：B，M*K的矩陣；初始概率：，包括M個(gè)元素。M個(gè)狀態(tài)，K個(gè)可能的輸出值。第三十四張，PPT共六十一頁，創(chuàng)作于2022年6月HMM的三個(gè)核心問題估值問題：已有一個(gè)

11、HMM模型，其參數(shù)已知，計(jì)算這個(gè)模型輸出特定的觀察序列VT的概率；解碼問題：已有一個(gè)HMM模型，其參數(shù)已知，計(jì)算最有可能輸出特定的觀察序列VT的隱狀態(tài)轉(zhuǎn)移序列WT；學(xué)習(xí)問題：已知一個(gè)HMM模型的結(jié)構(gòu)，其參數(shù)未知，根據(jù)一組訓(xùn)練序列對(duì)參數(shù)進(jìn)行訓(xùn)練；第三十五張，PPT共六十一頁，創(chuàng)作于2022年6月估值問題一個(gè)HMM模型產(chǎn)生觀察序列VT可以由下式計(jì)算：rmax=MT為HMM所有可能的狀態(tài)轉(zhuǎn)移序列數(shù)； 為狀態(tài)轉(zhuǎn)移序列 輸出觀察序列 的概率； 為 狀態(tài)轉(zhuǎn)移序列 發(fā)生的概率。 第三十六張，PPT共六十一頁，創(chuàng)作于2022年6月估值問題的計(jì)算計(jì)算復(fù)雜度：第三十七張，PPT共六十一頁，創(chuàng)作于2022年6月HM

12、M估值算法的簡化第三十八張，PPT共六十一頁，創(chuàng)作于2022年6月HMM的前向算法初始化：迭代計(jì)算：結(jié)束輸出：計(jì)算復(fù)雜度：第三十九張，PPT共六十一頁，創(chuàng)作于2022年6月解碼問題解碼問題的計(jì)算：同估值問題的計(jì)算類似，最直觀的思路是遍歷所有的可能狀態(tài)轉(zhuǎn)移序列，取出最大值，計(jì)算復(fù)雜度為：O(MTT)。同樣存在著優(yōu)化算法：Viterbi算法。第四十張，PPT共六十一頁，創(chuàng)作于2022年6月Viterbi算法因?yàn)樾枰厮纷顑?yōu)路徑，所以建立一個(gè)矩陣，其元素 保存第t步，第i個(gè)狀態(tài)在第t-1步的最優(yōu)狀態(tài)。初始化：迭代計(jì)算：結(jié)束：路徑回朔：第四十一張，PPT共六十一頁，創(chuàng)作于2022年6月Viterbi算

13、法圖示第四十二張，PPT共六十一頁，創(chuàng)作于2022年6月學(xué)習(xí)問題HMM的學(xué)習(xí)問題：已知一組觀察序列(訓(xùn)練樣本集合)：如何確定最優(yōu)的模型參數(shù)，使得模型產(chǎn)生訓(xùn)練集合V的聯(lián)合概率最大這同樣是一個(gè)最大似然估計(jì)問題，需要采用EM算法。第四十三張，PPT共六十一頁，創(chuàng)作于2022年6月圖示第四十四張，PPT共六十一頁，創(chuàng)作于2022年6月變量說明 ：表示在t-1時(shí)刻HMM處于狀態(tài)i，并且從1t-1時(shí)刻之間產(chǎn)生觀察序列V1t-1的概率； ：表示在t時(shí)刻HMM處于狀態(tài)j，并且從t+1T時(shí)刻之間產(chǎn)生觀察序列Vt+1T的概率；第四十五張，PPT共六十一頁，創(chuàng)作于2022年6月變量說明輸出觀察序列VT時(shí)，在t-1時(shí)

14、刻HMM處于i狀態(tài)，在時(shí)刻t處于j狀態(tài)的概率：第四十六張，PPT共六十一頁，創(chuàng)作于2022年6月前向-后向算法(Baum-Welch算法)迭代公式：初始概率：狀態(tài)轉(zhuǎn)移概率：輸出概率：第四十七張，PPT共六十一頁，創(chuàng)作于2022年6月HMM的其它問題連續(xù)HMM模型：在觀察序列中每個(gè)觀察值是一個(gè)特征矢量，相應(yīng)的模型中輸出概率b就需要用一個(gè)概率密度函數(shù)描述，其函數(shù)形式需要假設(shè)，通常使用GMM。訓(xùn)練問題：通常可以用每個(gè)訓(xùn)練樣本分別計(jì)算值，然后分子和分母部分分別進(jìn)行累加，最后統(tǒng)一進(jìn)行參數(shù)修正；模型的拓?fù)浣Y(jié)構(gòu)：模型結(jié)構(gòu)可以根據(jù)實(shí)際問題的需要來設(shè)計(jì)，在初始化狀態(tài)轉(zhuǎn)移矩陣A時(shí)，將某些元素設(shè)為0即可。第四十八張

15、，PPT共六十一頁，創(chuàng)作于2022年6月“左-右”模型結(jié)構(gòu)第四十九張，PPT共六十一頁，創(chuàng)作于2022年6月帶跨越的“左-右”結(jié)構(gòu)HMM模型第五十張，PPT共六十一頁，創(chuàng)作于2022年6月3.3 貝葉斯估計(jì)為什么要采用貝葉斯估計(jì)？貝葉斯估計(jì)與最大似然估計(jì)有什么差別？第五十一張，PPT共六十一頁，創(chuàng)作于2022年6月貝葉斯估計(jì)與最大似然估計(jì)的差別觀點(diǎn)不同：最大似然估計(jì)認(rèn)為是一個(gè)確定的未知矢量;貝葉斯估計(jì)認(rèn)為是一個(gè)隨機(jī)矢量。過程不同：最大似然估計(jì)：樣本集D 估計(jì)最優(yōu)參數(shù)*；貝葉斯估計(jì)：樣本集D和先驗(yàn)分布p() 估計(jì)參數(shù)的后驗(yàn)分布p(|D)；優(yōu)點(diǎn)：提高小樣本集條件下的估計(jì)準(zhǔn)確率；缺點(diǎn)：計(jì)算復(fù)雜第五十二張，PPT共六十一頁，創(chuàng)作于2022年6月貝葉斯估計(jì)的一般理論識(shí)別過程：類條件概率密度的計(jì)算學(xué)習(xí)過程：參數(shù)后驗(yàn)概率密度的估計(jì)第五十三張，PPT共六十一頁，創(chuàng)作于2022年6月單變量正態(tài)分布的貝葉斯估計(jì)已知概率密度函數(shù)滿足正態(tài)分布，其中方差2已知，均值未知，假設(shè)的先驗(yàn)概率滿足正態(tài)分布，即：第五十四張，PPT共六十一頁，創(chuàng)作于2022年6月均值的后驗(yàn)概率經(jīng)推導(dǎo)可得，在已知訓(xùn)練樣本集合D的條件下，參數(shù)的分布：第五十五張，PPT共六十一頁，創(chuàng)作于2022年6月均值的后驗(yàn)概率均值的后驗(yàn)概率仍滿足正態(tài)分布，其中：第五十六張，PPT共六十一頁，創(chuàng)作于2022年6月均值分布的變化第五十七張，PPT