隱馬爾科夫模型

1、隱模型模型(Hidden Markov ,HMM)隱模型模型(Hidden Markov ,HMM)是模型的一種擴充模型的基本理論形成于上世紀60年代末期和70年代初期。70年代，CMU的J.K.Barker以及IBM的F.Jelinek等把別模型應用于語模型在計算語言學中有著廣泛的應用。例如模型在類自動標注中的應用模型模型是模型模型是由AndreiA.Markov于1931。模型一模型可以模型一模型可以描述為一個二元組(S,A)，S是狀態(tài)的集合，而A是所狀態(tài)轉移概率組成的一個行列的矩陣，其中每一個元素aij為從狀態(tài)轉移到狀的概率。同有限狀態(tài)類似，狀態(tài)轉移關系也可以用狀態(tài)轉換圖來表示模型舉例天

2、氣模型舉例天氣的變化,三種狀態(tài)1(陰天),2(多云),3(晴天)今天的天氣情況僅和昨天的天氣狀況有關根據(jù)對歷史數(shù)據(jù)的觀察得到下列狀態(tài)轉移關系模型如果把晴天稱為狀態(tài)3的輸出，陰天稱為狀態(tài)1的輸出，多云稱為狀態(tài)2的輸出。因為狀態(tài)和輸出是一對一的關系，所以根據(jù)觀察到的輸出序列就可以決定模型模型如果把晴天稱為狀態(tài)3的輸出，陰天稱為狀態(tài)1的輸出，多云稱為狀態(tài)2的輸出。因為狀態(tài)和輸出是一對一的關系，所以根據(jù)觀察到的輸出序列就可以決定模型中的狀態(tài)轉換序列對模型，給定了觀察序列，同時也就確定了狀態(tài)轉換序列。例有關天氣狀況的觀察序列（晴則狀態(tài)轉換序列隱隱模型模型隱隱模型模型可以表示為一個五元組隱模型隱過程是一隱

3、模型隱過程是一個雙重隨機過程，其中一重隨機過程不能直接觀察到通過狀態(tài)轉移概率矩陣描述。另一重隨機過程輸出可以觀察到的觀察符號，這由輸出概率來定義。利用隱模型生成觀察序可以把模利用隱模型生成觀察序可以把模型看做一個符號序列的生成裝置，按照一定的步驟，模型可以生成下面的符號序列拋擲硬幣拋擲硬幣A如下表所模型。= （S，V，A，B，），其B如下表所拋擲硬幣問題一拋擲硬幣問題一給定上述模型，觀察到下列拋擲結果的概率是多O=(HH問題二給定上述模型，若觀察到上述拋擲結果，最可能的硬幣選擇序列（狀態(tài)轉序列）是什么問題三若上述模型中的狀態(tài)轉移矩陣A、狀態(tài)輸出概率B和初始狀態(tài)分布均未知，如何根據(jù)觀察序列得到它

4、們？HTHTTT隱模型的三個問題隱模型的三個問題問題1：估問題1：估算觀察序列概率對模型而言，狀態(tài)轉換序列式隱藏的，一個觀察序列可能由任有可能的狀態(tài)轉換序列。估算觀察序列概率估算觀察序列概率估算觀察序列概率估算觀察序列概率向前算法向前算法向前算法向前算法計算實例計算實例向后算法向后算法向后算法向后算法計算實例計算實例求解最佳狀態(tài)轉換序列求解最佳狀態(tài)轉換序列算法算法算法算法計算實例計算實例參數(shù)學習參數(shù)學習有指導的參數(shù)學習有指導的參數(shù)學習無指導的參數(shù)學習無指導的參數(shù)學習直觀的想法直觀的想法直觀的想法直觀的想法BAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGORITHMBAUM-WELCH ALGO