小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞

法本課件包括演示文稿、示例、代碼、題庫(kù)、和在課程范圍外向任何第散播。任何其他人或機(jī)構(gòu)不得盜版、、仿造其中的創(chuàng)意及內(nèi)容，我們 課 咨

鄒主要內(nèi)概率計(jì)算：前向后向算參數(shù)估計(jì)：Baum-Welch算模型預(yù)測(cè)：Viterbi算

中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnicalHMM的參數(shù)表 A,B,

HMM的兩個(gè)基本性 , ,i , !i, Pi t t t

t

t Poi,o,i , !i, Pot

T

T

HMM的3個(gè)基本問(wèn) 給定模型A,B,和觀 列Oo,o,…o計(jì) 列Oo1,o2,…oT，估計(jì)模型A,B,的參數(shù)，使得在該模型下 列P(O|λ)最 問(wèn)題：已知模型A,B,和 列Oo1,o2,…oT 列條件概率P(I|O,λ)最大的狀態(tài)序列

定義：前向概率-后向概

前向算 t

iPo,o,!o,iq可以遞推計(jì)算前向概率αt(i)及觀

前向算iPooo,iq 1初值：1i1tt

N

T

后向算下，從t+1到T的部分觀列為ot+1,ot+2…oT t t iPo, t t 可以遞推計(jì)算后向概率βt(i)及 列概

T t

aijbjot1t

N

前后向關(guān) Piq,O POiq,Pi t Po,!o, ,! i t Po,! iq, ,! iq,Piq

t

Po,!o,i

,!

iq,

t

記：iqO

單個(gè)狀態(tài)的概 iPiqO,

Piq,Oit it

N tN

γ的意態(tài)i*，從而得到一個(gè)狀態(tài)序列I*={i*i*…it

給定模型和

N N

t

兩個(gè)狀態(tài)的聯(lián)合概i,jPiq,i qO, t

兩個(gè)狀態(tài)的聯(lián)合概 tji,jPiq, tjPiq, q,Oj tjPOPiq, q,O t j

Piq, q,O t q,i t

t

期T在觀測(cè)O下?tīng)顟B(tài)i出現(xiàn)的期Tt1在觀測(cè)O下?tīng)顟B(tài)i轉(zhuǎn)移到狀態(tài)j的期望Tti,Tt

學(xué)習(xí)算 HMM的學(xué)習(xí)非常簡(jiǎn)單，是監(jiān)督學(xué)

大數(shù)定列和對(duì)應(yīng)的狀態(tài)序列{(O1,I1),(O2,I2)…(Os,Is)}，那么，可以直接利用BernoulliHMM的參數(shù)估計(jì)

監(jiān)督學(xué)習(xí)方

i ii

?ij

N

j

k

Baum-Welch算

附：EM算法整體框

Baum-Welch算所有觀測(cè)數(shù)據(jù)寫(xiě)成O=(o1,o2…oT)，所有隱數(shù)據(jù)寫(xiě)成是HMM參數(shù)的當(dāng)前估計(jì)值，λ

I

lnPO,III

EM過(guò)

i

ai

bi

!a

ibi 1 1 2 T1 T

III

i tt1

I

itot極大極大化Q，求得參數(shù)

lniPO,IlniPO,ii1 1 NN

ln

i

i NiNi

NNN

初始狀態(tài)概率

11

11

1 1PO

1

轉(zhuǎn)移概率和觀測(cè)概T

NT1lnaPO,ii, j

t

i1j1t

tT1

T O,iti,it1 aijt t1 ttt

i ttt

tTT t t1,otvk TTTTTTt

i

t

t

預(yù)測(cè)算

預(yù)測(cè)的近似算態(tài)i*，從而得到一個(gè)狀態(tài)序列I*={i*i*…it

給定模型和

N N

t會(huì)出現(xiàn)此狀態(tài)在實(shí)際中可能不會(huì)發(fā)生的情

算法：走棋盤(pán)/格子取

問(wèn)題分dp[0,0]=a[0,0]/第一行(列)累dp[x,y]=min(dp[x-1,y]+a[x,y],dp[x,y-即：dp[x,y]min(dp[x-1,y],dp[x,y-1])

Viterbi

ViterbiimaxPii,

,...i,o,...o

i1,i2

t

imax

i,i,...i, ,...ot

t

t 1j

P*max

例

0.5 0.5

A

B0.4

B

解：觀測(cè)向量O=“紅白紅

到o1=紅的概率，記此概率為 i 求得

0.5

A

解：觀測(cè)向量O=

maxja

t

同理

解：觀測(cè)向量O=“紅白紅

求最優(yōu)路徑圖

Baum-Welchcode：初始

Baum-Welch

前向-后

隱狀態(tài)概率–隱狀態(tài)轉(zhuǎn)移概EM迭

分

HMM與中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnical總馬爾科夫模型可以用來(lái)解釋貪心法和動(dòng)態(tài)規(guī)思考：可否用深度學(xué)習(xí)代替

參考