ch14概率圖模型-周志華

葉翰嘉第十四章：概率圖模型概率模型

概率模型

概率圖模型概率圖模型概率圖模型(probabilisticgraphicalmodel)是一類用圖來(lái)表達(dá)變量相關(guān)關(guān)系的概率模型圖模型提供了一種描述框架，結(jié)點(diǎn)：隨機(jī)變量（集合）邊：變量之間的依賴關(guān)系分類：有向圖：貝葉斯網(wǎng)使用有向無(wú)環(huán)圖表示變量之間的依賴關(guān)系無(wú)向圖：馬爾可夫網(wǎng)使用無(wú)向圖表示變量間的相關(guān)關(guān)系概率圖模型概率圖模型分類：有向圖：貝葉斯網(wǎng)無(wú)向圖：馬爾可夫網(wǎng)(好瓜)(敲聲)(甜度)(色澤)(根蒂)有向圖無(wú)向圖本章概要隱馬爾可夫模型（動(dòng)態(tài)貝葉斯網(wǎng)）馬爾可夫隨機(jī)場(chǎng)/條件隨機(jī)場(chǎng)學(xué)習(xí)與推斷精確推斷近似推斷隨機(jī)化方法確定性方法實(shí)例：話題模型隱馬爾可夫模型

隱馬爾可夫模型

聯(lián)合概率馬爾可夫鏈：系統(tǒng)下一時(shí)刻狀態(tài)僅由當(dāng)前狀態(tài)決定，不依賴于以往的任何狀態(tài)HMM的基本組成

HMM的生成過(guò)程

HMM的基本問(wèn)題馬爾可夫隨機(jī)場(chǎng)馬爾可夫隨機(jī)場(chǎng)（MarkovRandomField，MRF）是典型的馬爾可夫網(wǎng)著名的無(wú)向圖模型圖模型表示：結(jié)點(diǎn)表示變量（集），邊表示依賴關(guān)系有一組勢(shì)函數(shù)（PotentialFunctions)，亦稱“因子”（factor），這是定義在變量子集上的非負(fù)實(shí)函數(shù)，主要用于定義概率分布函數(shù)馬爾可夫隨機(jī)場(chǎng)

馬爾可夫隨機(jī)場(chǎng)

馬爾可夫隨機(jī)場(chǎng)

聯(lián)合概率分布定義舉例

馬爾可夫隨機(jī)場(chǎng)中的分離集

全局馬爾可夫性

全局馬爾可夫性的驗(yàn)證

全局馬爾可夫性的驗(yàn)證聯(lián)合概率：條件概率驗(yàn)證：馬爾可夫隨機(jī)場(chǎng)中的條件獨(dú)立性

馬爾可夫隨機(jī)場(chǎng)中的勢(shì)函數(shù)

馬爾可夫隨機(jī)場(chǎng)中的勢(shì)函數(shù)

條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)

CRF特征函數(shù)舉例

MRF使用團(tuán)上的勢(shì)函數(shù)定義概率對(duì)聯(lián)合概率建模CRF使用團(tuán)上的勢(shì)函數(shù)定義概率有觀測(cè)變量，對(duì)條件概率建模MRF與CRF的對(duì)比模型推斷基于概率圖模型定義的分布，能對(duì)目標(biāo)變量的邊際分布（marginaldistribution）或某些可觀測(cè)變量為條件的條件分布進(jìn)行推斷對(duì)概率圖模型，還需確定具體分布的參數(shù)，稱為參數(shù)估計(jì)或?qū)W習(xí)問(wèn)題，通常使用極大似然估計(jì)或后驗(yàn)概率估計(jì)求解。單若將參數(shù)視為待推測(cè)的變量，則參數(shù)估計(jì)過(guò)程和推斷十分相似，可以“吸收”到推斷問(wèn)題中圖模型推斷參數(shù)估計(jì)（學(xué)習(xí)）參數(shù)視為待推測(cè)的變量模型推斷假設(shè)圖模型所對(duì)應(yīng)的變量集能分為和兩個(gè)不相交的變量集，推斷問(wèn)題的目標(biāo)就是計(jì)算邊際概率或者條件概率

。同時(shí)，由條件概率定義容易有其中，聯(lián)合概率可基于圖模型獲得，所以推斷問(wèn)題的關(guān)鍵就在于如何高效計(jì)算邊際分布，即邊際分布聯(lián)合分布模型推斷分類聯(lián)合概率可基于圖模型獲得，所以推斷問(wèn)題的關(guān)鍵就在于如何高效計(jì)算邊際分布:概率圖模型的推斷方法可以分兩類精確推斷方法計(jì)算出目標(biāo)變量的邊際分布或條件分布的精確值一般情況下，該類方法的計(jì)算復(fù)雜度隨極大團(tuán)規(guī)模增長(zhǎng)呈指數(shù)增長(zhǎng)，適用范圍有限近似推斷方法在較低的時(shí)間復(fù)雜度下獲得原問(wèn)題的近似解在實(shí)際問(wèn)題中更常用精確推斷：變量消去

精確推斷：變量消去

精確推斷：變量消去

變量消去法實(shí)際上是利用了乘法對(duì)加法的分配律，將對(duì)多個(gè)變量的積的求和問(wèn)題轉(zhuǎn)化為對(duì)部分變量交替進(jìn)行求積和求和的問(wèn)題。這種轉(zhuǎn)化使得每次的求和和求積運(yùn)算被限制在局部，僅和部分變量有關(guān)，從而簡(jiǎn)化了計(jì)算信念傳播

信念傳播若圖中沒(méi)有環(huán)，則信念傳播算法經(jīng)過(guò)兩個(gè)步驟即可完成所有消息傳遞，進(jìn)而能計(jì)算所有變量上的邊際分布：指定一個(gè)根節(jié)點(diǎn)，從所有葉結(jié)點(diǎn)開(kāi)始向根節(jié)點(diǎn)傳遞消息，直到根節(jié)點(diǎn)收到所有鄰接結(jié)點(diǎn)的消息從根結(jié)點(diǎn)開(kāi)始向葉結(jié)點(diǎn)傳遞消息，直到所有葉結(jié)點(diǎn)均收到消息近似推斷精確推斷方法需要很大的計(jì)算開(kāi)銷，因此在現(xiàn)實(shí)應(yīng)用中近似推斷方法更為常用。近似推斷方法大致可以分為兩類：采樣法（sampling）：通過(guò)使用隨機(jī)化方法完成近似，如MCMC采樣變分推斷（variationalinference)：使用確定性近似完成推斷近似推斷：采樣法

近似推斷：MCMC方法

近似推斷：MCMC方法

Metropolis-Hastings(MH)算法

用戶給定的先驗(yàn)概率

Metropolis-Hastings(MH)算法吉布斯采樣

近似推斷：變分推斷

近似推斷：變分推斷

近似推斷：變分推斷

近似推斷：變分方法

構(gòu)成下界

對(duì)數(shù)似然近似推斷：變分方法

近似推斷：變分方法

話題模型話題模型（topicmodel）是一類生成式有向圖模型，主要用來(lái)處理離散型的數(shù)據(jù)集合（如文本集合）。作為一種非監(jiān)督產(chǎn)生式模型，話題模型能夠有效利用海量數(shù)據(jù)發(fā)現(xiàn)文檔集合中隱含的語(yǔ)義。隱狄里克雷分配模型（LatentDirichletAllocation,LDA）是話題模型的典型代表。LDA的基本單元詞（word）：待處理數(shù)據(jù)中的基本離散單元文檔（document）：待處理的數(shù)據(jù)對(duì)象，由詞組成，詞在文檔中不計(jì)順序。數(shù)據(jù)對(duì)象只要能用“詞袋”（bag-of-words）表示就可以使用話題模型話題（topic）：表示一個(gè)概念，具體表示為一系列相關(guān)的詞，以及它們?cè)谠摳拍钕鲁霈F(xiàn)的概率話題模型的基本單元話題模型（topicmodel）是一類生成式有向圖模型，主要用來(lái)處理離散型的數(shù)據(jù)集合（如文本集合）。作為一種非監(jiān)督產(chǎn)生式模型，話題模型能夠有效利用海量數(shù)據(jù)發(fā)現(xiàn)文檔集合中隱含的語(yǔ)義。隱狄里克雷分配模型（LatentDirichletAllocation,LDA）是話題模型的典型代表。LDA的基本單元詞（word）文檔（document）主題（topic）數(shù)據(jù)計(jì)算機(jī)生物新聞建筑植物天空

話題模型的構(gòu)成

文檔的生成過(guò)程

LDA的圖模型表示

LDA的圖模型表示

狄利克雷分布LDA的基本問(wèn)題

總結(jié)