圖論模型筆記

1、Graphical Model貝葉斯網(wǎng)絡(luò)聯(lián)合概率可以寫(xiě)成：* MERGEFORMAT (0.1)那么用圖形就可以表示成圖 0-1 所示，這是一個(gè)有向圖，指向的箭頭代表著條件概率。圖 0-1 表示式的有向圖圖論模型表示概率的普通形式為式。其中為的父節(jié)點(diǎn)* MERGEFORMAT (0.2)這一類(lèi)圖稱(chēng)為有向無(wú)環(huán)圖（Directed Acyclic Graphs，簡(jiǎn)稱(chēng) DAG）。線性回歸的圖論模型線性回歸的概率模型中的隨機(jī)變量為參數(shù) W 以及觀察數(shù)據(jù)。另外模型還包含了輸入數(shù)據(jù)，噪聲方差以及 W 的高斯概率先驗(yàn)中的超參數(shù)（precision），這些都只是模型的參數(shù)而非隨機(jī)變量。隨機(jī)變量 W 和 t 的

2、聯(lián)合概率分布為* MERGEFORMAT (0.3)其圖論模型對(duì)應(yīng)為：圖 0-2其中重復(fù)的用如圖的方框表示。另外，我們可以將模型的參數(shù)加進(jìn)來(lái)：* MERGEFORMAT (0.4)得到的模型為圖 0-3，其中是被觀察得到的節(jié)點(diǎn)，我們給它染上顏色并稱(chēng)之為observed variables。W 是未被觀察到的，稱(chēng)之為隱藏變量隱藏變量（hidden variables）。圖 0-3在通常情況下，我們的最終目的是當(dāng)給定一個(gè)新的輸入，以及在給定一組觀察數(shù)據(jù)的時(shí)候得到 的概率。首先有聯(lián)合概率：* MERGEFORMAT (0.5)用圖論模型表示為：圖 0-4要得到在輸入以及已有模型下 的概率，將式的積分

3、出來(lái)即可：* MERGEFORMAT (0.6)條件獨(dú)立多變量概率分布的一個(gè)重要概念就是條件獨(dú)立條件獨(dú)立（conditional independence）。如果在給定變量 c 的情況下，a 和 b 是相互獨(dú)立的，那么我們就說(shuō)給定 c，a 和 b 是條件獨(dú)立的，因?yàn)樗鼈兿嗷オ?dú)立是以給定 c 為條件的，記著：* MERGEFORMAT (0.7)條件獨(dú)立在模式識(shí)別的概率模型中起著重要的作用，它可以簡(jiǎn)化模型的結(jié)構(gòu)以及減少推斷與學(xué)習(xí)的計(jì)算量。三種情況現(xiàn)在給出三個(gè)情況。1，第一種情況，見(jiàn)圖 0-5，a,b,c 都是未被觀測(cè)到的，這種情況下，a,b 不是條件獨(dú)立的。圖 0-5假定我們以 c 作為條件，有公式：* MERGEFORMAT (0.8)所以 a,b 是條件獨(dú)立的，這種情況我們說(shuō) c 是 tail-to-tail 的。2，第二種情況見(jiàn)圖 0-6，這個(gè)情況下有概率公式：* MERGEFORMAT (0.