主觀貝葉斯方法

1、主觀貝葉斯方法主觀Bayes方法 又稱為主觀概率論 一種處理不確定性推理 一種基于概率邏輯的方法 以概率論中的貝葉斯公式為基礎(chǔ) 首先應(yīng)用于地礦勘探專家系統(tǒng)PROSPECTOR條件概率：條件概率：設(shè)設(shè)A，B是兩個隨機(jī)事件，是兩個隨機(jī)事件， ，則，則是在是在B事件已經(jīng)發(fā)生的條件下，事件已經(jīng)發(fā)生的條件下， A事件發(fā)送的概事件發(fā)送的概率。率。乘法定理乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP全概率公式：設(shè)全概率公式：設(shè) 事件滿足：事件滿足： 兩兩互不相容，即當(dāng)兩兩互不相容，即當(dāng) 時，時，有有 樣本空間樣本空間 則對任何事件則對任何事件B, 有下式成立：有下式成立：

2、 稱為全概率公式。稱為全概率公式。 ji jiAA)1 ( 0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,.,21BayesBayes公式：設(shè)公式：設(shè) 事件滿足：事件滿足： 兩兩互不相容，即當(dāng)兩兩互不相容，即當(dāng) 時，時，有有 樣本空間樣本空間 則對任何事件則對任何事件B, 有下式成立：有下式成立： 稱為貝葉斯公式。稱為貝葉斯公式。 ji jiAA)1 ( 0)(niAPiUniiAD1niBPABPAPBAPiii,.,2 , 1,)()|()()|(nAAA,21 把全概率公式帶入貝葉斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()

3、|()()|(ni,.,2 , 1 又有產(chǎn)生式規(guī)則 IF E THEN Hi 用產(chǎn)生式中的前提條件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式： 用來求得在條件E下，Hi的先驗概率。niHPHEPHPHEPEHPnjjjiii,.,2 , 1,)()|()()|()|(1 在有些情況下，有多個證據(jù)E1,E2,En和多個結(jié)論H1,H2,.,Hn，并且每個證據(jù)都以一定程度支持結(jié)論，這是可對上面的公式進(jìn)行擴(kuò)充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,.,2 , 1,)()|(.)|()()|(.)|().|(11121 此時，只要知道Hi的

4、先驗概率P(Hi)以及Hi成立時證據(jù)E1,E2,Em出現(xiàn)的條件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出現(xiàn)情況下Hi的條件概率P(Hi|E1E2.Em) 主觀Bayes方法的基本思想 由于證據(jù)E的出現(xiàn)，使得P (H)變?yōu)镻(H|E) 主觀Bayes方法,就是研究利用證據(jù)E，將先驗概率P(H)更新為后驗概率P(H|E) 主觀Bayes方法引入兩個數(shù)值（LS，LN）用來度量規(guī)則成立的充分性和必要性。其中， LS: 充分性量度 LN: 必要性量度1.知識表示方法知識表示方法 在地礦勘探專家系統(tǒng)中，為了進(jìn)行不確定性推理，把所有的知識規(guī)則連接成一個有向圖

5、，圖中的各節(jié)點代表假設(shè)結(jié)論，弧代表規(guī)則。 在主觀Bayes方法中，知識的不確定性是以一個數(shù)值對（LS，LN）來進(jìn)行描述的。其具體產(chǎn)生式規(guī)則形式表示為： IF E THEN (LS,LN) H (P(H) 其中，(LS,LN)是為度量產(chǎn)生式規(guī)則的不確定性而引入的一組數(shù)值，用來表示該知識的強(qiáng)度，LS和LZ的表示形式如下。 (1)充分性度量(LS)的定義)|()|(HEPHEPLS它表示E對H的支持程度，取值范圍為0,+)。(2)必要性度量的定義它表示E對H的支持程度，即E對H為真的必要程度，取值范圍0,+)。)|(1)|(1)|()|(HEPHEPHEPHEPLN 結(jié)合Bayes公式，得：P(H|

6、E)=P(E|H)P(H)/P(E) Bayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP 為了討論方便，引入幾率函數(shù) 又 則可以化為)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO 上式被稱為Bayes公式的幾率似然性形式。LS稱為充分似然性，如果LS-+，則證據(jù)E對于推出H為真是邏輯充分的。 同理，可得關(guān)于LN的公式： O(H| E)=LN O(H) 其被稱為Bayes公式的必率似然性形式。LN稱為必然似然性，如果LN=0，則有O(H

7、| E)=0。這說明當(dāng)E為真時，H必為假，即E對H來說是必然的。 和LN的性質(zhì)(1)LS的性質(zhì)LS表示證據(jù)E的存在，影響結(jié)論H為真的概率：O(H|E)=LS O(H) 當(dāng)LS1時，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加； 當(dāng)LS-+時,表示證據(jù)E將致使H為真； 當(dāng)LS=1時，表示E對H沒有影響，與H無關(guān)； 當(dāng)LS1時，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加； 當(dāng)LN-+時,表示證據(jù)E將致使H為真； 當(dāng)LN=1時，表示E對H沒有影響，與H無關(guān)； 當(dāng)LN1且LN1LS1LS=1=LN 1.單個證據(jù)不確定性的表示方法單個證據(jù)不確定性的表示方法 證據(jù)通?？梢苑譃?/p>

8、全證據(jù)和部分證據(jù)。全證據(jù)就是所有的證據(jù)，即所有可能的證據(jù)和假設(shè)，他們組成證據(jù)E。部分證據(jù)S就是E的一部分，這部分證據(jù)也可以稱之為觀察。在主觀Bayes方法中，證據(jù)的不確定性是用概率表示的。全證據(jù)的可行度依賴于部分證據(jù)，表示為P(E|S)，為后驗概率。 2.組合證據(jù)的不確定性的確定方法組合證據(jù)的不確定性的確定方法 當(dāng)證據(jù)E由多個單一證據(jù)合取而成，即 如果已知P(E1|S), P(E2|S),P(En|S)，則 P(E|S)=minP(E1|S),P(E2|S),P(En|S) 若證據(jù)E由多個但以證據(jù)析取而成，即 P(E|S)=maxP(E1|S),P(E2|S),P(En|S) 對于非運(yùn)算， P

9、(E|S)=1-P(E|S)nEEEE.21nEEEE.211.確定性證據(jù)確定性證據(jù)(1)證據(jù)確定出現(xiàn)時證據(jù)E肯定出現(xiàn)的情況下，吧結(jié)論H的先驗概率P(H)更新為后驗概率P(H|S)的計算公式為：(2)證據(jù)確定不出現(xiàn)時證據(jù)E肯定不出現(xiàn)的情況下，把結(jié)論H的先驗概率P(H)更新為后驗概率P(H|E)的計算公式為：1)() 1()()|(HPLSHPLSEHP1)() 1()()|(HPLNHPLNEHP (2)不確定性證據(jù) 在現(xiàn)實中,證據(jù)往往是不確定的,即無法肯定它一定存在或一定不存在 用戶提供的原始證據(jù)不精確 用戶的觀察不精確 推理出的中間結(jié)論不精確 假設(shè)S是對E的觀察,則P(E|S)表示在觀察S

10、下, E為真的概率, 值在0,1； 此時0P(E|S)1，故計算后驗概率P(R|S), 不能使用Bayes公式 可以采用下面的公式修正（杜達(dá)公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1, 且P( E | S)=0，杜達(dá)公式簡化為：1)() 1()()|()|(HPLSHPLSEHPSHP2）E肯定不存在，即P(E|S)=0, P( E | S)=1，杜達(dá)公式簡化為：1)() 1()()|()|(HPLNHPLNEHPSHP3） P(E|S)= P(E)，即E和S無關(guān), 利用全概率公式（公式7），杜達(dá)公式可以化為：)()()|()()|()|(HPEPEHPEPEHPSHP4)當(dāng)P(E|S)為其它值（非0，非1，非P(E)）時，則需要通過分段線形插值計算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP? 1.結(jié)論不確定性的合成算法結(jié)論不確定性的合成算法 n條規(guī)則都支持同一結(jié)論R, 這些規(guī)則的前提條件E1,E2, En 相互獨立 每個證據(jù)所對應(yīng)的觀察為S1,S2, Sn 先計算O(