機器學(xué)習(xí)-貝葉斯網(wǎng)絡(luò)

1、是否可以設(shè)計出有效的算法以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到貝葉斯信念網(wǎng)？對于這一問題有多種可以考慮的框架：首先網(wǎng)絡(luò)結(jié)構(gòu)可以預(yù)先給出，或可由訓(xùn)練數(shù)據(jù)中推得。其次，所有的網(wǎng)絡(luò)變量可以直接從每個訓(xùn)練樣例中觀察到，或某些變量不能觀察到。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)先已知且變量可以從訓(xùn)練樣例中完全獲得時，通過學(xué)習(xí)得到條件概率表就比較簡單，只需要像在樸素貝葉斯分類器中那樣估計表中的條件概率項。網(wǎng)絡(luò)結(jié)構(gòu)已知，但只有一部分變量值能在數(shù)據(jù)中觀察到，學(xué)習(xí)就困難得多了。這一問題在某種程度上類似于在人工神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)隱藏單元的權(quán)值，其中輸入輸出的節(jié)點值由訓(xùn)練樣例給出，但隱藏單元的值未指定。針對這一問題，采用簡單的梯度上升過程以學(xué)習(xí)條件概率表中的項

2、。這一梯度上升過程搜索一個假設(shè)空間，它對應(yīng)于條件概率表中所有可能的項。在梯度上升中被最大化的指標函數(shù)是給定假設(shè)h下觀察到訓(xùn)練數(shù)據(jù)D的概率P(D|h)。就相當(dāng)于極大似然假設(shè) ）h|D（PmaxarghHhML梯度上升的規(guī)則：通過lnP(D|h)的梯度來使P(D|h)最大化。其中 代表條件概率表中的一個表項。 為在給定父節(jié)點 取值 時,網(wǎng)絡(luò)變量 值為 的概率。 iUikuiYijy例如: 圖6-3中條件概率表中最右上方 的表項，那么 為變量Campfire， 是其父節(jié)點的元組， =true,并且 = 。iYiUijyiku具體的算法：對于每個 ，lnP(D|h)的梯度是對每個 求導(dǎo)數(shù)得到。 （6.

3、25） 例如：為計算對應(yīng)圖6-3中表左上方的表項 的導(dǎo)數(shù)，需要對D中的每個訓(xùn)練樣例d計算P(Camfire=True，Storm=False,BusTourGroup=False|d)。當(dāng)訓(xùn)練樣例d中無法觀察到這些變量時， 這些概率可用標準的貝葉斯網(wǎng)絡(luò)推理的過程中計算得到。ijkhDPW)|(lnDdijkikiiW)d|uU,Y(ijyP)|(lnhDP用梯度上升來更新每一個 + 其中 是一個小常量，稱為學(xué)習(xí)率。將權(quán)值 歸一化，保持有效的概率在區(qū)間0,1之間，還要求 對所有的i,k保持1像其他基于梯度算法中的那樣，該算法只能保證尋找到局部最優(yōu)解 DdijkikijhWduyP)|,(當(dāng)網(wǎng)絡(luò)的結(jié)構(gòu)是未知的，數(shù)據(jù)是可完全觀察，學(xué)習(xí)貝葉斯因此網(wǎng)絡(luò)也是很困難的。此時常采用K2的啟發(fā)式搜索算法來學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)。K2算法用于貪婪搜索(總是做出在當(dāng)前看來是做好的選擇，而不是從整體出發(fā))處理模型選擇問題：先定義一種評價網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)劣的評分函數(shù)，再從一個網(wǎng)絡(luò)的開始，根據(jù)事先確定的最大父節(jié)點數(shù)目和節(jié)點的次序，選擇分值最高的節(jié)點作為該節(jié)點的父節(jié)點。K2算法使用后驗概率作為評分函數(shù)：算法的偽代碼：過程描述：k2的出發(fā)點是一個包含所有節(jié)點，但卻沒有邊的無向圖。在搜索的過程中，k2按順序逐個考察 中的變量，確定其父親節(jié)點，然后添加相應(yīng)的邊。 對某一變量Xj,假設(shè)K2已經(jīng)找到它的一些父親節(jié)點 。如果| |