隱形馬爾科夫模型

隱形馬爾科夫模型第一頁(yè)，共二十一頁(yè)，2022年，8月28日隱形馬爾科夫模型介紹HMM的三種應(yīng)用評(píng)估：前向算法示例小結(jié)第二頁(yè)，共二十一頁(yè)，2022年，8月28日馬爾科夫模型馬爾科夫過(guò)程就是當(dāng)前的狀態(tài)只與前n個(gè)狀態(tài)有關(guān)。這被稱作n階馬爾科夫模型。最簡(jiǎn)單的模型就當(dāng)n=1時(shí)的一階模型。就當(dāng)前的狀態(tài)只與前一狀態(tài)有關(guān)。；兩種生成模式確定性的生成模式如：紅綠燈非確定性的生成模式如：天氣情況（晴、多云、和雨）第三頁(yè)，共二十一頁(yè)，2022年，8月28日非確定性的生成模式（天氣預(yù)測(cè)）假設(shè)該過(guò)程是一個(gè)一階過(guò)程，即今天的天氣情況僅和昨天的天氣有關(guān)用狀態(tài)轉(zhuǎn)移矩陣描述第四頁(yè)，共二十一頁(yè)，2022年，8月28日非確定性的生成模式（天氣預(yù)測(cè)）定義初始概率，稱為向量；一個(gè)一階馬爾科夫模型，包括如下概念：狀態(tài)：晴、多云、雨?duì)顟B(tài)轉(zhuǎn)移概率初始概率第五頁(yè)，共二十一頁(yè)，2022年，8月28日當(dāng)一個(gè)隱士不能通過(guò)直接觀察天氣狀態(tài)來(lái)預(yù)測(cè)天氣時(shí)，但他有一些水藻。民間的傳說(shuō)告訴我們水藻的狀態(tài)與天氣有一定的概率關(guān)系。也就是說(shuō)，水藻的狀態(tài)與天氣時(shí)緊密相關(guān)的。此時(shí)，我們就有兩組狀態(tài)：觀察狀態(tài)（水藻的狀態(tài)）和隱含狀態(tài)（天氣狀態(tài)）。因此，我們希望得到一個(gè)算法可以為隱士通過(guò)水藻和馬爾科夫過(guò)程，在沒(méi)有直接觀察天氣的情況下得到天氣的變化情況。一個(gè)應(yīng)用就是語(yǔ)音識(shí)別，我們的問(wèn)題定義就是如何通過(guò)給出的語(yǔ)音信號(hào)預(yù)測(cè)出原來(lái)的文字信息。在這里，語(yǔ)音信號(hào)就是觀察狀態(tài)，識(shí)別出的文字就是隱含狀態(tài)。第六頁(yè)，共二十一頁(yè)，2022年，8月28日包含隱狀態(tài)的天氣預(yù)測(cè)第七頁(yè)，共二十一頁(yè)，2022年，8月28日隱狀態(tài)和觀察狀態(tài)之間的連線表示：在給定的馬爾科夫過(guò)程中，一個(gè)特定的隱狀態(tài)對(duì)應(yīng)的觀察狀態(tài)的概率第八頁(yè)，共二十一頁(yè)，2022年，8月28日我們可以得到HMM的所有要素：兩類狀態(tài)和三組概率兩類狀態(tài)：觀察狀態(tài)和隱狀態(tài)；三組概率：初始概率、狀態(tài)轉(zhuǎn)移概率和兩態(tài)對(duì)應(yīng)概率（confusionmatrix）第九頁(yè)，共二十一頁(yè)，2022年，8月28日評(píng)估：根據(jù)已知的HMM找出一個(gè)觀察序列的概率考慮這樣的問(wèn)題，我們有一些隱馬爾科夫模型（也就是一些(∏

,A,B)三元組的集合）及一個(gè)觀察序列。我們想知道哪一個(gè)HMM最有可能產(chǎn)生了這個(gè)給定的觀察序列。例如，對(duì)于海藻來(lái)說(shuō)，我們也許會(huì)有一個(gè)“夏季”模型和一個(gè)“冬季”模型，因?yàn)椴煌竟?jié)之間的情況是不同的——我們也許想根據(jù)海藻濕度的觀察序列來(lái)確定當(dāng)前的季節(jié)。利用前向算法來(lái)得到觀察狀態(tài)序列對(duì)應(yīng)于一個(gè)HMM的概率第十頁(yè)，共二十一頁(yè)，2022年，8月28日解碼：根據(jù)觀察序列找到最有可能出現(xiàn)的隱狀態(tài)序列viterbi算法（隱士只能通過(guò)感受水藻的狀態(tài)來(lái)判斷天氣狀況）viterbi算法也被廣泛的應(yīng)用在自然語(yǔ)言處理領(lǐng)域。比如詞性標(biāo)注。字面上的文字信息就是觀察狀態(tài)，而詞性就是隱狀態(tài)。通過(guò)HMM我們就可以找到一句話上下文中最有可能出現(xiàn)的句法結(jié)構(gòu)。第十一頁(yè)，共二十一頁(yè)，2022年，8月28日學(xué)習(xí)：從觀察序列中得出HMM

根據(jù)觀察序列和其代表的隱狀態(tài)，生成一個(gè)三元組HMM(∏,A,B)。使這個(gè)三元組能夠最好的描述我們所見(jiàn)的一個(gè)現(xiàn)象規(guī)律前向—后向算法第十二頁(yè)，共二十一頁(yè)，2022年，8月28日對(duì)于水藻和天氣的例子Pr(dry,damp,soggy|HMM)=Pr(dry,damp,soggy|sunny,sunny,sunny)+Pr(dry,damp,soggy|sunny,sunny,cloudy)+....Pr(dry,damp,soggy|rainy,rainy,rainy)第十三頁(yè)，共二十一頁(yè)，2022年，8月28日采用遞歸的方式計(jì)算觀察序列的概率用Pt(j)表示在時(shí)間t時(shí)狀態(tài)j的部分概率。計(jì)算方法如下：Pt(j)=Pr(觀察狀態(tài)|隱藏狀態(tài)j)xPr(t時(shí)刻所有指向j狀態(tài)的路徑）第十四頁(yè)，共二十一頁(yè)，2022年，8月28日使用前向算法計(jì)算T步長(zhǎng)觀察序列的概率:t=1時(shí)刻所有狀態(tài)的局部概率：每個(gè)時(shí)間點(diǎn)，t=2，…，T時(shí)，對(duì)于每個(gè)狀態(tài)的局部概率，由下式計(jì)算局部概率：給定HMM,觀察序列的概率等于T時(shí)刻所有局部概率之和：第十五頁(yè)，共二十一頁(yè)，2022年，8月28日前向算法復(fù)雜度α（1）到α（T），一共T次，每次計(jì)算需要N^2次乘法，復(fù)雜度為T(mén)*N^2第十六頁(yè)，共二十一頁(yè)，2022年，8月28日1、隱藏狀態(tài)(天氣)：Sunny，Cloudy，Rainy；

2、觀察狀態(tài)（海藻濕度）：Dry，Dryish，Damp，Soggy；

3、初始狀態(tài)概率：Sunny（0.63），Cloudy（0.17），Rainy（0.20）；4、狀態(tài)轉(zhuǎn)移矩陣：

weathertoday

SunnyCloudyRainy

weather

Sunny0.5000.3750.125

yesterdayCloudy0.2500.1250.625

Rainy

0.2500.3750.375

第十七頁(yè)，共二十一頁(yè)，2022年，8月28日

5、混淆矩陣：

observedstates

DryDryishDampSoggy

Sunny0.600.200.150.05Hidden

Cloudy0.250.250.250.25states

Rainy0.050.100.350.50第十八頁(yè)，共二十一頁(yè)，2022年，8月28日輸入：T=3（134）結(jié)果：prob(O|model)=0.026901第十九頁(yè)，共二十一頁(yè)，2022年，8月28日隱馬爾科夫模型（HMM）在分析實(shí)際系統(tǒng)中已被