機(jī)器學(xué)習(xí)-貝葉斯網(wǎng)絡(luò)

6.11.4學(xué)習(xí)貝葉斯信念網(wǎng)6.11.5貝葉斯網(wǎng)的梯度上升訓(xùn)練

6.11.6學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)

6.11.6學(xué)習(xí)貝葉斯網(wǎng)是否可以設(shè)計(jì)出有效的算法以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到貝葉斯信念網(wǎng)？對(duì)于這一問(wèn)題有多種可以考慮的框架：—首先網(wǎng)絡(luò)結(jié)構(gòu)可以預(yù)先給出，或可由訓(xùn)練數(shù)據(jù)中推得?！浯危械木W(wǎng)絡(luò)變量可以直接從每個(gè)訓(xùn)練樣例中觀(guān)察到，或某些變量不能觀(guān)察到。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)先已知且變量可以從訓(xùn)練樣例中完全獲得時(shí)，通過(guò)學(xué)習(xí)得到條件概率表就比較簡(jiǎn)單，只需要像在樸素貝葉斯分類(lèi)器中那樣估計(jì)表中的條件概率項(xiàng)。網(wǎng)絡(luò)結(jié)構(gòu)已知，但只有一部分變量值能在數(shù)據(jù)中觀(guān)察到，學(xué)習(xí)就困難得多了。這一問(wèn)題在某種程度上類(lèi)似于在人工神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)隱藏單元的權(quán)值，其中輸入輸出的節(jié)點(diǎn)值由訓(xùn)練樣例給出，但隱藏單元的值未指定。針對(duì)這一問(wèn)題，采用簡(jiǎn)單的梯度上升過(guò)程以學(xué)習(xí)條件概率表中的項(xiàng)。這一梯度上升過(guò)程搜索一個(gè)假設(shè)空間，它對(duì)應(yīng)于條件概率表中所有可能的項(xiàng)。在梯度上升中被最大化的指標(biāo)函數(shù)是給定假設(shè)h下觀(guān)察到訓(xùn)練數(shù)據(jù)D的概率P(D|h)。就相當(dāng)于極大似然假設(shè)

6.11.5貝葉斯網(wǎng)的梯度上升訓(xùn)練梯度上升的規(guī)則：通過(guò)lnP(D|h)的梯度來(lái)使P(D|h)最大化。其中代表?xiàng)l件概率表中的一個(gè)表項(xiàng)。為在給定父節(jié)點(diǎn)取值時(shí),網(wǎng)絡(luò)變量值為

的概率。

例如:圖6-3中條件概率表中最右上方的表項(xiàng)，那么為變量Campfire，是其父節(jié)點(diǎn)的元組<Storm，BusTourGroup>，=true,并且=

<False,False>。具體的算法：對(duì)于每個(gè)，lnP(D|h)的梯度是對(duì)每個(gè)求導(dǎo)數(shù)得到。

（6.25）

例如：為計(jì)算對(duì)應(yīng)圖6-3中表左上方的表項(xiàng)的導(dǎo)數(shù)，需要對(duì)D中的每個(gè)訓(xùn)練樣例d計(jì)算P(Camfire=True，Storm=False,BusTourGroup=False|d)。當(dāng)訓(xùn)練樣例d中無(wú)法觀(guān)察到這些變量時(shí)，這些概率可用標(biāo)準(zhǔn)的貝葉斯網(wǎng)絡(luò)推理的過(guò)程中計(jì)算得到。用梯度上升來(lái)更新每一個(gè)

+其中

是一個(gè)小常量，稱(chēng)為學(xué)習(xí)率。將權(quán)值

歸一化，保持有效的概率在區(qū)間[0,1]之間，還要求對(duì)所有的i,k保持1像其他基于梯度算法中的那樣，該算法只能保證尋找到局部最優(yōu)解

6.11.6學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)當(dāng)網(wǎng)絡(luò)的結(jié)構(gòu)是未知的，數(shù)據(jù)是可完全觀(guān)察，學(xué)習(xí)貝葉斯因此網(wǎng)絡(luò)也是很困難的。此時(shí)常采用K2的啟發(fā)式搜索算法來(lái)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)。K2算法用于貪婪搜索(總是做出在當(dāng)前看來(lái)是做好的選擇，而不是從整體出發(fā))處理模型選擇問(wèn)題：先定義一種評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)劣的評(píng)分函數(shù)，再?gòu)囊粋€(gè)網(wǎng)絡(luò)的開(kāi)始，根據(jù)事先確定的最大父節(jié)點(diǎn)數(shù)目和節(jié)點(diǎn)的次序，選擇分值最高的節(jié)點(diǎn)作為該節(jié)點(diǎn)的父節(jié)點(diǎn)。K2算法使用后驗(yàn)概率作為評(píng)分函數(shù)：算法的偽代碼：過(guò)程描述：k2的出發(fā)點(diǎn)是一個(gè)包含所有節(jié)點(diǎn)，但卻沒(méi)有邊的無(wú)向圖。在搜索的過(guò)程中，k2按順序逐個(gè)考察中的變量，確定其父親節(jié)點(diǎn)，然后添加相應(yīng)的邊。

對(duì)某一變量Xj,假設(shè)K2已經(jīng)找到它的一些父親節(jié)點(diǎn)。如果||<u,即Xj的父親節(jié)點(diǎn)的個(gè)數(shù)還未達(dá)到上界u，那么就繼續(xù)為它尋找父節(jié)點(diǎn)，具體的做法是首先考慮那些在中排在Xj之前，但還不是Xj的父節(jié)點(diǎn)的變量，從這些變量中選出Xi,使得新的家族CH評(píng)分