第4章 不確定性知識的表示與推理技術(shù)

2023/2/51第4章不確定性知識的表示與推理技術(shù)2023/2/52內(nèi)容4.1不確定性知識表示與推理概述4.2確定性理論4.3主觀貝葉斯方法4.4證據(jù)理論4.5基于貝葉斯網(wǎng)絡(luò)的推理4.6模糊推理4.7不確定性推理的應(yīng)用2023/2/534.1不確定性知識表示與推理概述一般的（確定性）推理過程：運(yùn)用已有的知識由已知事實推出結(jié)論.如已知:事實A，B知識ABC可以推出結(jié)論C。此時，只要求事實與知識的前件進(jìn)行匹配。問題：如果A可能為真，B比較真，知識ABC只在一定程度上為真，結(jié)論如何？2023/2/544.1不確定性知識表示與推理概述通過幾個例子認(rèn)識不確定性：今天有可能下雨如果烏云密布并且電閃雷鳴，則很可能要下暴雨。張三是個禿子“禿子悖論”2023/2/554.1不確定性知識表示與推理概述4.1.1不確定性及其類型4.1.2不確定性推理概述2023/2/564.1.1不確定性及其類型(1)不確定性：知識和信息中含有的不肯定、不可靠、不準(zhǔn)確、不精確、不嚴(yán)格、不嚴(yán)密、不完全甚至不一致的成分。按性質(zhì)分類：隨機(jī)不確定性模糊不確定性不完全性不一致性2023/2/574.1.1不確定性及其類型(2)隨機(jī)不確定性隨機(jī)不確定性是基于概率的一種衡量，即已知一個事件發(fā)生有多個可能的結(jié)果。雖然在該事件發(fā)生之前，無法確定哪個結(jié)果會出現(xiàn)，但是，可以預(yù)先知道每個結(jié)果發(fā)生的可能性。例如：“這場球賽甲隊可能取勝”“如果頭疼發(fā)燒，則大概是患了感冒?！?.模糊不確定性模糊不確定性就是一個命題中所出現(xiàn)的某些言詞其涵義不夠確切，從概念角度講，就是其代表的概念的內(nèi)涵沒有硬性的標(biāo)準(zhǔn)或條件，其外延沒有硬性的邊界。例如：“小王是高個子?！薄皬埲屠钏氖呛门笥??！卑押x不確切的言詞所代表的概念稱為軟概念。2023/2/584.1.1不確定性及其類型(3)3.不完全性

對某事物了解得不完全或認(rèn)識不夠完整。如，刑偵過程的某些階段往往要針對不完全的證據(jù)進(jìn)行推理。4.不一致性

隨著時間或空間的推移，得到了前后不相容或不一致的結(jié)論。如，人們對太空的認(rèn)識等。2023/2/594.1.2不確定性推理（1）1.不確定性推理方法的分類控制方法模型方法非數(shù)值方法數(shù)值方法模糊推理基于概率純概率可信度方法證據(jù)理論主觀Bayes通過識別領(lǐng)域內(nèi)引起不確定性的某些特征及相應(yīng)的控制策略來限制或減少確定性對系統(tǒng)產(chǎn)生的影響。貝葉斯網(wǎng)絡(luò)2023/2/5104.1.2不確定性推理概述（2）對比一下不確定性推理與通常的確定性推理的差別：(1)不確定性推理中規(guī)則的前件能否與證據(jù)事實匹配成功，不但要求兩者的符號模式能夠匹配（合一），而且要求證據(jù)事實所含的信度必須達(dá)“標(biāo)”，即必須達(dá)到一定的限度。這個限度一般稱為“閾值”。(2)不確定性推理中一個規(guī)則的觸發(fā)，不僅要求其前提能匹配成功，而且前提條件的總信度還必須至少達(dá)到閾值。(3)不確定性推理中所推得的結(jié)論是否有效，也取決于其信度是否達(dá)到閾值。(4)不確定性推理還要求有一套關(guān)于信度的計算方法，包括“與”關(guān)系的信度計算、“或”關(guān)系的信度計算、“非”關(guān)系的信度計算和推理結(jié)果信度的計算等等。2023/2/5114.1.2不確定性推理概述（3）2.不確定性推理需要解決的問題1）不確定性的表示與度量證據(jù)的不確定性規(guī)則（知識）的不確定性結(jié)論的不確定性2）不確定性的匹配算法3）不確定性的計算與傳播組合證據(jù)的不確定性計算(最大最小方法、概率方法、有界方法)證據(jù)和知識的不確定性的傳遞不同證據(jù)支持同一結(jié)論時其不確定性的合成因此，不確定性推理的一般模式也可以簡單地表示為：不確定性推理=符號推演+不確定性計算2023/2/5124.2確定性理論4.2.1知識的不確定性表示4.2.2證據(jù)的不確定性表示4.2.3不確定性的傳播與計算4.2.4確定性理論的特點及進(jìn)一步發(fā)展2023/2/5134.2.1知識的不確定性表示（1）不確定性度量知識的不確定性表示：

ifEthenH(CF(H,E))

CF(H,E)：是該條知識的可信度，稱為可信度因子或規(guī)則強(qiáng)度，它指出當(dāng)前提條件E所對應(yīng)的證據(jù)為真時，它對結(jié)論為真的支持程度。如：“如果頭疼發(fā)燒，則患了感冒；(0.8)?！薄叭绻麨踉泼懿疾⑶译婇W雷鳴，則很可能要下暴雨。(0.9)”2023/2/5144.2.1知識的不確定性表示（2）在CF模型中，CF的定義為

CF(H,E)=MB(H,E)-MD(H,E)

用P(H)表示H的先驗概率；P(H/E)表示在前提條件E對應(yīng)的證據(jù)出現(xiàn)的情況下，結(jié)論H的條件概率。

MB（MeasureBelief）：稱為信任增長度，它表示因與前提條件E匹配的證據(jù)的出現(xiàn)，使結(jié)論H為真的信任增長度。

MB定義為：

2023/2/5154.2.1知識的不確定性表示（3）

MD（MeasureDisbelief）：稱為不信任增長度，它表示因與前提條件E匹配的證據(jù)的出現(xiàn)，使結(jié)論H為真的不信任增長度。MD定義為：

2023/2/5164.2.1知識的不確定性表示（4）由MB、MD得到CF(H,E)的計算公式：

2023/2/5174.2.1知識的不確定性表示（5）CF公式的意義當(dāng)MB（H，E）>0時，MD（H，E）＝0，表示由于證據(jù)E的出現(xiàn)增加了對H的信任程度。當(dāng)MD（H，E）>0時，MB（H，E）＝0，表示由于證據(jù)E的出現(xiàn)增加對H的不信任程度。注意：對于同一個E，不可能既增加對H的信任程度又增加對H的不信任程度。2023/2/5184.2.1知識的不確定性表示（6）當(dāng)已知P(H)，P(H/E)，運(yùn)用上述公式可以求CF(H/E)。但是，在實際應(yīng)用中，P(H)和P(H/E)的值是難以獲得的。因此，CF(H,E)的值要求領(lǐng)域?qū)＜抑苯咏o出。其原則是：若由于相應(yīng)證據(jù)的出現(xiàn)增加結(jié)論H為真的可信度，則使CF(H,E)>0，證據(jù)的出現(xiàn)越是支持H為真，就使CF(H,E)的值越大；反之，使CF(H,E)<0，證據(jù)的出現(xiàn)越是支持H為假，就使CF(H,E)的值越??；若證據(jù)的出現(xiàn)與否與H無關(guān)，則使CF(H,E)=0。

2023/2/5194.2.1知識的不確定性表示（7）例

如果感染體是血液，且細(xì)菌的染色體是革蘭氏陰性，且細(xì)菌的外形是桿狀，且病人有嚴(yán)重發(fā)燒，

則該細(xì)菌的類別是假單細(xì)胞菌屬（0.4）。這就是專家系統(tǒng)MYCIN中的一條規(guī)則。這里的0.4就是規(guī)則結(jié)論的CF值。2023/2/5204.2.2證據(jù)的不確定性表示（1）證據(jù)的不確定性表示初始證據(jù)CF(E)由用戶給出先前推出的結(jié)論作為推理的證據(jù)，其可信度由推出該結(jié)論時通過不確定性傳遞算法而來。2023/2/5214.2.3不確定性的傳播與計算（1）組合證據(jù)前提證據(jù)事實總CF值計算（最大最小法）E=E1E2…EnCF(E)=min{CF(E1),CF(E2),…CF(En)}E=E1E2…EnCF(E)=max{CF(E1),CF(E2),…CF(En)}E=E1CF(E)=-CF(E1)2023/2/5224.2.3不確定性的傳播與計算（2）推理結(jié)論的CF值計算

C-F模型中的不確定性推理是從不確定的初始證據(jù)出發(fā)，通過運(yùn)用相關(guān)的不確定性知識，最終推出結(jié)論并求出結(jié)論的可信度值。結(jié)論H的可信度由下式計算：

CF(H)=CF(H,E)max{0,CF(E)}

當(dāng)CF(E)<0時，CF(H)=0，說明該模型中沒有考慮證據(jù)為假時對結(jié)論H所產(chǎn)生的影響。2023/2/5234.2.3不確定性的傳播與計算（3）重復(fù)結(jié)論CF值計算

ifE1thenH(CF(H,E1))ifE2thenH(CF(H,E2))

（1）計算CF1(H)CF2(H)；（2）計算CF

(H)：CF1(H)+CF2(H)–CF1(H)

CF2(H)若CF1(H)0,

CF2(H)0CF1(H)+CF2(H)+CF1(H)

CF2(H)若CF1(H)0,

CF2(H)0

CF1(H)+CF2(H)若CF1(H)與

CF2(H)異號CF1，2(H)

=

2023/2/5244.2.3不確定性的傳播與計算（4）例4.1設(shè)有如下規(guī)則：

r1:IFE1THENH0.8)r2:IFE2THENH(0.9)r3:IFE3ANDE4THENE1(0.7)r4:IFE5ORE6THENE1(－0.3)并已知初始證據(jù)的可信度為：CF（E2）=0.8，CF（E3）=0.9，CF（E4）=0.7，CF（E5）=0.1，CF（E6）=0.5，用確定性理論計算CF（H）。

2023/2/5254.2.3不確定性的傳播與計算（5）由r3可得：

CF1（E1）=0.7×min{0.9,0.7}=0.49由r4可得：

CF2（E1）=－0.3×max{0.1,0.5}=－0.15從而

CF1,2（E1）=（0.49－0.15）/(1－min(|0.49|,|－0.15|))=0.34/0.85=0.4由r1可得：

CF1（H）=0.4×0.8=0.32由r2可得：

CF2（H）=0.8×0.9=0.72從而

CF1,2（H）=0.32+0.72-0.32×0.72=0.8096這就是最終求得的H的可信度。2023/2/5264.2.4確定性理論的特點及進(jìn)一步發(fā)展可信度方法的進(jìn)一步發(fā)展(1)帶有閾值限度的不確定性推理知識表示為：ifEthenH(CF(H,E),)

其中

是閾值，它對相應(yīng)知識的可應(yīng)用性規(guī)定了一個度:0<<1(2)加權(quán)的不確定性推理知識表示為：ifE1(1)andE2(2)and…thenH(CF(H,E),)

其中1，1，…n為加權(quán)因子。(3)前提條件中帶有可信度因子的不確定性推理知識表示為：ifE1(cf1)andE2(cf2)and…thenH(CF(H,E),)2023/2/5274.3主觀貝葉斯方法（1）簡介

主觀貝葉斯方法是R.O.Duda等人1976年提出的一種不確定性推理模型，并成功地應(yīng)用于地質(zhì)勘探專家系統(tǒng)PROSPECTOR。其核心思想是：

根據(jù)：Ⅰ.證據(jù)的不確定性（概率）P(E);Ⅱ.規(guī)則的不確定性（LS，LN）；

LS：E的出現(xiàn)對H的支持程度，

LN：E的出現(xiàn)對H的不支持程度。把結(jié)論H的先驗概率更新為后驗概率P(H|E)；2023/2/5284.3主觀貝葉斯方法（2）4.3.1知識的不確定性表示4.3.2證據(jù)的不確定性表示4.3.3不確定性的傳播與計算4.3.4主觀貝葉斯方法的特點2023/2/5294.3.1知識的不確定性表示（1）

知識是用規(guī)則表示的，具體形式為：

ifEthen(LS,LN)H(P(H))或：

其中?

E

是該條知識的前提條件，它既可以是一個簡單條件，也可以是用and、or把多個條件連接起來的復(fù)條件。?H

是結(jié)論，P(H)是H的先驗概率，它指出在沒有任何專門證據(jù)的情況下，結(jié)論為真的概率，其值由領(lǐng)域?qū)＜腋鶕?jù)以往的實踐及經(jīng)驗給出。2023/2/5304.3.1知識的不確定性表示(2)?

LS

稱為充分性量度，用于指出E對H的支持程度，取值范圍為[0，∞），其定義為：

LS=

LS的值由領(lǐng)域?qū)＜医o出，具體情況在下面論述。?

LN

稱為必要性量度，用于指出

E對H的支持程度，取值范圍為[0，∞），其定義為：

LN==

LN的值也由領(lǐng)域?qū)＜医o出，具體情況在下面論述。?

LS,LN相當(dāng)于知識的靜態(tài)強(qiáng)度。P(E/H)P(E/H)P(E/H)P(E/H)1P(E/H)1P(E/H)2023/2/531在貝葉斯方法中，引入幾率函數(shù)o(x)

，它與概率的關(guān)系為:幾率函數(shù)與概率函數(shù)有相同的單調(diào)性，但取值為[0，]下面討論LS、LN定義的由來O(x)=P(x)1－P(x)4.3.1知識的不確定性表示（3）2023/2/5324.3.1知識的不確定性表示(4)1)對于LS:

由Bayes公式得：

P(H/E)=[P(E/H)P(H)]/P(E)①

同理有：

P(H/E)=[P(E/H)P(H)]/P(E)②

①除以②，得：

P(H/E)P(E/H)P(H)

P(H/E)P(E/H)P(H)

③

LS=O(H)O(H/E)2023/2/5334.3.1知識的不確定性表示(5)使用幾率函數(shù)，③式可以表示為:

O(H/E)=LS×O(H)

可以看出，LS越大，O(H/E)越大，則P(H/E)越大，表明E對H為真的支持越強(qiáng)。當(dāng)LS∞

，P(H/E)1，E的存在對H為真是充分的，故稱LS為充分性量度。對于上式，證據(jù)E肯定存在時，即P(E)=P(E/S)=1，考慮P(H/E)。由③式及“非”運(yùn)算：P(H/E)=1–P(H/E)、P(H)=1–P(H),得：

LS將H的先驗概率更新為后驗概率P(H/E)=

LSP(H)(LS–1)P(H)+12023/2/5344.3.1知識的不確定性表示(6)2)對于LN:

由Bayes公式得：

P(H/E)=P(E/H)P(H)/P(E)①

同理有：

P(H/E)=P(E/H)P(H)/P(E)②

①除以②，得：

P(H/E)P(E/H)P(H)P(H/E)P(E/H)P(H)③

=LNO(H)O(H/E)2023/2/5354.3.1知識的不確定性表示(7)LN的定義還可以表示為：

O(H/E)=LN×O(H)則LN越大，表明

E對H為真的支持越強(qiáng)。當(dāng)LN=0

，P(H/E)=0，E的不存在導(dǎo)致H為假，說明E對H是必要的，故稱LN為必要性量度。由③式及“非”運(yùn)算P(H/E)=1–P(H/E)、P(H)=1–P(H),得：LN將H的先驗概率更新為后驗概率P(H/E)=LNP(H)(LN–1)P(H)+12023/2/5364.3.1知識的不確定性表示(9)可以證明：LS、LN>0,它們是不獨立的，且有如下約束關(guān)系：當(dāng)LS>1時，LN<1；當(dāng)LS<1時，LN>1；當(dāng)LS=1時，LN=1；實際系統(tǒng)中，LS、LN值是有專家給出的。2023/2/537

4.3.2證據(jù)的不確定性表示（1）

證據(jù)的不確定性也是用概率表示的。

對于初始證據(jù)E，由用戶根據(jù)觀察S給出P(E/S)，它相當(dāng)于動態(tài)強(qiáng)度。

具體應(yīng)用中采用變通的方法，在PROSPECTOR中引進(jìn)了可信度的概念，用C(E/S)刻畫證據(jù)的不確定性。讓用戶在–5至5之間的11個整數(shù)中選一個數(shù)作為初始證據(jù)的可信度C(E/S)。

初始可信度C(E/S)與概率P(E/S)的對應(yīng)關(guān)系如下：

C(E/S)=-5，表示在觀察S下證據(jù)E肯定不存在，即P(E/S)=0；C(E/S)=0，表示S與E無關(guān)，即P(E/S)=P(E)；C(E/S)=+5，表示在觀察S下證據(jù)E肯定存在，即P(E/S)=1；2023/2/5384.3.2證據(jù)的不確定性表示（2）C(E/S)=其它數(shù)值時，與P(E/S)的對應(yīng)關(guān)系可通過對上述三點進(jìn)行分段線性插值得到，如下圖。P(E/S)1P(E)C(E/S)-5-4-3-2-1012345由上圖可得到C(E/S)與P(E/S)的關(guān)系式，即由C(E/S)計算P(E/S)：P(E/S)=若0C(E/S)5若5C(E/S)<0C(E/S)+P(E)(5C(E/S))55P(E)(C(E/S)+5)2023/2/5394.3.3不確定性的傳播與計算

在主觀Bayes方法的知識表示中，P(H)是專家對結(jié)論H給出的先驗概率，它是在沒有考慮任何證據(jù)的情況下根據(jù)經(jīng)驗給出的。隨著新證據(jù)的獲得，對H的信任程度應(yīng)該有所改變。主觀Bayes方法推理的任務(wù)就是根據(jù)證據(jù)E的概率P(E)及LS,LN的值，把H的先驗概率P(H)更新為后驗概率P(H/E)或P(H/E)。

即：

P(H)P(H/E)或P(H/E)

P(E)LS,LN2023/2/5404.3.3不確定性的傳播與計算(1)

在現(xiàn)實中，證據(jù)肯定存在或肯定不存在的極端情況是不多的，更多的是介于兩者之間的不確定情況。

現(xiàn)在要在0<P(E/S)<1的情況下確定H的后驗概率P(H/S)。在證據(jù)不確定的情況下，不能再用上面的公式計算后驗概率，而需使用R.O.Doda等人1976年證明的如下公式：

P(H/S)=P(H/E)P(E/S)+P(H/E)P(E/S)

①2023/2/5414.3.3不確定性的傳播與計算(2)下面分四種情況討論：

1)P(E/S)=1

當(dāng)P(E/S)=1時，P(E/S)=0，此時公式①變?yōu)椋?/p>

P(H/S)=P(H/E)=

這是證據(jù)肯定存在的情況。

2)P(E/S)=0

當(dāng)P(E/S)=0時，P(E/S)=1，此時公式①變?yōu)椋?/p>

P(H/S)=P(H/E)=

這是證據(jù)肯定不存在的情況。

LSP(H)(LS–1)P(H)+1

LNP(H)(LN–1)P(H)+12023/2/5424.3.3不確定性的傳播與計算(3)3)P(E/S)=P(E)

當(dāng)P(E/S)=P(E)時，此時公式①變?yōu)椋?/p>

P(H/S)=P(H/E)P(E)+P(H/E)P(E)=P(H)

表示H與S無關(guān)。

4)當(dāng)P(E/S)=其它值時，通過分段線性插值可得到計算P(H/S)的公式。全概率公式2023/2/5434.3.3不確定性的傳播與計算(4)0P(E)1P(E/S)

P(H/E)P(H)P(H/E)P(H/S)

P(H/E)+P(E/S)若0P(E/S)<

P(E)P(H)+[P(E/S)–P(E)]

若P(E)P(E/S)1P(H)–P(H/E)

P(E)P(H/E)–P(H)1–P(E)

P(H/S)=該公式稱為EH公式。2023/2/5444.3.3不確定性的傳播與計算(5)由前面可知P(E/S)、P(H/S)的計算公式分別為：P(E/S)=若0C(E/S)5若5C(E/S)<0C(E/S)+P(E)(5C(E/S))55P(E)(C(E/S)+5)

P(H/E)+P(E/S)若0P(E/S)<

P(E)P(H)+[P(E/S)–P(E)]

若P(E)P(E/S)1P(H)–P(H/E)

P(E)P(H/E)–P(H)1–P(E)

P(H/S)=2023/2/5454.3.3不確定性的傳播與計算(6)對初始證據(jù)，用可信度C(E/S)計算P(H/S)

對于初始證據(jù)，由于其不確定性是用可信度C(E/S)給出的，此時只要把C(E/S)與P(E/S)的對應(yīng)關(guān)系帶入上式，便可得到下述公式：

該公式稱為CP公式。P(H/E)+[P(H)–P(H/E)][C(E/S)+1]，若C(E/S)0P(H)+[P(H/E)–P(H)]C(E/S)，若C(E/S)>01515P(H/S)=2023/2/5464.3.3不確定性的傳播與計算(7)相同結(jié)論的后驗概率合成：若有n條知識都支持相同的結(jié)論H，而且每條知識的前提條件所對應(yīng)的證據(jù)Ei（i=1,2,…,n）都有相應(yīng)的觀察Si

與之對應(yīng),此時只要先求出每條知識的O(H/Si)，然后運(yùn)用下述公式求出O(H/S1,S2,…,Sn)。O(H/S1)O(H)O(H/S2)O(H)O(H/Sn)O(H)O(H/S1,S2,…,Sn)=…O(H)最后，再利用P(H/S1,S2,…,Sn)與O(H/S1,S2,…,Sn)的關(guān)系：

P(H/S1,S2,…,Sn)=O(H/S1,S2,…,Sn)/(1+O(H/S1,S2,…,Sn))計算P(H/S1,S2,…,Sn)

。2023/2/5474.3.3不確定性的傳播與計算(8)例4.2設(shè)有如下規(guī)則：

r1:IFE1THEN(65,0.01)H1r2:IFE2THEN(300,0.001)H1r3:IFH1THEN(200,0.002)H2已知：

P(E1)=0.1，P(E2)=0.03，P(H1)=0.1，P(H2)=0.05，用戶提供證據(jù)：C(E1/S1)=2，C(E2/S2)=1，計算P(H2/S1，S2)。2023/2/5484.3.3不確定性的傳播與計算(9)分析：自下而上計算：根據(jù)LS值，將H的先驗概率轉(zhuǎn)換為后驗概率，計算P(H1/E1)、P(H1/E2)

使用CP公式計算P(H1/S2)、P(H1/S2)，計算O(H1/S1)、O(H1/S2)對H1合成。計算O(H1/S1,S2)、P(H1/S1,S2)。根據(jù)LS值，將H的先驗概率轉(zhuǎn)換為后驗概率，計算P(H2/H1)

使用EH公式計算P(H2/S1，S2)(1)計算P(H1/E1)、P(H1/S1)和O(H1/S2)2023/2/5494.3.3不確定性的傳播與計算(10)對于初始證據(jù)，使用CP公式：

P(H/E)+[P(H)–P(H/E)][C(E/S)+1]，若C(E/S)0P(H)+[P(H/E)–P(H)]C(E/S)，若C(E/S)>01515P(H/S)=∵C(E1/S1)=2>0∴使用CP公式的后半部。2023/2/5504.3.3不確定性的傳播與計算(11)

3000.1(300-1)0.01+1P(H1/E2)=LS2P(H1)(LS2-1)P(H1)+1==0.9709(2)計算P(H1/E2)、P(H1/S2)

、(O(H1/S2))對于初始證據(jù)，使用CP公式，∵C(E2/S2)=1>0∴使用CP公式的后半部。P(H1)+[P(H1/E2)–P(H1)]C(E2/S2)15P(H1/S2)==0.1+[0.9709-0.09]11/5=0.2742O(H1/S2)=

P(H1/S2)1-P(H1/S2)0.27421-0.2742=0.3778=2023/2/5514.3.3不確定性的傳播與計算(12)(3)計算P(H1/S1,S2)、O(H1/S1,S2)2023/2/5524.3.3不確定性的傳播與計算(13)(4)計算P(H2/S1,S2)(O(H2/S1,S2))使用EH公式∵P(H1/S1,S2)>P(H1)∴使用EH公式的后半部。2000.05(200-1)0.05+1P(H2/H1)=LS3P(H2)(LS3–1)P(H2)+1==0.9132P(H1/S1,S2)–P(H1)1–P(H1)P(H2/S1,S2)=P(H2)+[P(H2/H1)–P(H2)]=0.05+[(0.9132-0.05)/(1-0.1)](0.7038-0.01)=0.6291H2的先驗概率為0.05，而最后算出的后驗概率為0.6291

P(H/E)+P(E/S)若0P(E/S)<

P(E)P(H)+[P(E/S)–P(E)]

若P(E)P(E/S)1P(H)–P(H/E)

P(E)P(H/E)–P(H)1–P(E)

P(H/S)=2023/2/5534.3.4主觀貝葉斯方法的特點主要優(yōu)點：

?其計算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來的，具有較堅實理論基礎(chǔ)；

?知識的靜態(tài)強(qiáng)度LS、LN由領(lǐng)域?qū)＜腋鶕?jù)實際經(jīng)驗得到，避免了大量的數(shù)據(jù)統(tǒng)計工作；

?給出了在證據(jù)不確定情況下更新先驗概率為后驗概率的方法，且從推理過程中看，確實是實現(xiàn)了不確定性的傳遞.主要缺點：

?它要求領(lǐng)域?qū)＜以诮o出知識時，同時給出H的先驗概率，這是比較困難的。

?Bayes定理中要求事件間相互獨立，限制了該方法的應(yīng)用。2023/2/5544.4證據(jù)理論（1）20世紀(jì)60年代Dempster把證據(jù)的信任函數(shù)與概率的上下值相聯(lián)系，從而提供了一個構(gòu)造不確定性推理模型的一般框架。20世紀(jì)70年代中期，Shafer對Dempster的理論進(jìn)行了擴(kuò)充，在此基礎(chǔ)上形成了處理不確定信息的證據(jù)理論，出版了《證據(jù)的數(shù)學(xué)理論》。證據(jù)理論又稱Dempster-Shafer理論（D-S理論）或信任函數(shù)理論。是經(jīng)典概率論的一種擴(kuò)充形式。證據(jù)理論能充分區(qū)分“不確定”和“不知道”的差異，并能處理由“不知道”引起的“不確定”性，具有較大的靈活性。2023/2/5554.4證據(jù)理論（2）4.4.1D-S理論4.4.2

證據(jù)理論的不確定推理模型2023/2/5564.4.1D-S理論(1)識別框架或論域

U1={客機(jī)，轟炸機(jī)，戰(zhàn)斗機(jī)}

U2={紅，綠，藍(lán)，橙，黃}

U3={谷倉，草，人，牛，車}

正確答案:θ1={轟炸機(jī)，戰(zhàn)斗機(jī)}識別框架的子集就構(gòu)成了求解問題的各種解答。將一個不變的、元素兩兩互斥的完備集合U稱為識別框架或論域。哪些是軍用飛機(jī)？（對應(yīng)識別框架U1）哪些是民用飛機(jī)？（對應(yīng)識別框架U1）正確答案:θ2={客機(jī)}2023/2/5574.4.1D-S理論(2)每一個子集都可以看做是一個隱含的命題。證據(jù)理論就是通過定義在這些子集（命題）上的幾種信任函數(shù)來計算識別框架中諸子集（命題）為真的可信度U={感冒，支氣管炎，鼻炎}可能是{感冒}、{支氣管炎}、{鼻炎}、{感冒，支氣管炎}、{感冒，鼻炎}、{支氣管炎，鼻炎}、{感冒，支氣管炎，鼻炎}、Φ

其中之一?？疾炷橙说昧耸裁醇膊r，如何處理？2023/2/5584.4.1D-S理論(4)1.基本概率分配函數(shù)2.信任函數(shù)（下限函數(shù)）3.似真函數(shù)（上限函數(shù)）4.信任區(qū)間5.德普斯特組合規(guī)則2023/2/5591.基本概率分配函數(shù)（1）定義4.1

給定識別框架U，A∈2U，稱

m(A):2U

→[0，1]

是2U上的一個基本概率分配函數(shù)（FunctionofBasicProbabilityAssignment），若它滿足基本概率分配函數(shù)的物理意義：

1.若A屬于U，且不等于U，表示對子集命題A的精確信任度

2.若A等于U，表示這個數(shù)不知如何分配2023/2/5601.基本概率分配函數(shù)（2）例4.3U1={客機(jī)，轟炸機(jī)，戰(zhàn)斗機(jī)}，分別用A，B，F(xiàn)代表客機(jī)、轟炸機(jī)和戰(zhàn)斗機(jī)，其基本概率分配函數(shù)為：

m({A})＝0.4m({A，B})＝0m({A，Ｆ})＝0.2m({A，B，F(xiàn)})＝0.2m({B})＝0m({B，F(xiàn)})＝0.2m({F})＝0m({Φ})＝0基本概率分配函數(shù)值由主觀給出，一般是某種信度。所以概率分配函數(shù)也被稱為信任度分配函數(shù)。

m({A})＋m({B})＋m({F})＝0.4≠1可以看出，基本概率分配函數(shù)之值并非概率。2023/2/5612.信任函數(shù)定義4.2：信任函數(shù)（下限函數(shù)）給定識別框架U,對于2U中的任意A

稱為2u上的信任函數(shù)(FunctionofBelief)。信任函數(shù)表示對A為真的信任程度，即為包含于A中的所有集合的基本概率分配函數(shù)值之和。性質(zhì)：Bel(Φ)=0,Bel(U)=1,且對于2U中的任意元素A，有0≤Bel(A)≤1。根據(jù)定義：Bel(Φ)=?Bel(U)=?例：考試成績估分下限問題：做對的題目分?jǐn)?shù)之和2023/2/5623似真函數(shù)（上限函數(shù)）

定義4.3

似真函數(shù)

A為2U中的元素，A’為A的補(bǔ)集

Pl(A)=1-Bel(A’)=

稱為A的似真函數(shù)（Plausiblefunction），函數(shù)值又稱似真度。

似真函數(shù)表示對A非假的信任程度，物理意義為與A交集不為空的所有集合的概率分配函數(shù)之和。例，考試成績估分上限問題：去掉錯誤題目的分?jǐn)?shù)之后的得分2023/2/5633似真函數(shù)（上限函數(shù)）例4.3U1={客機(jī)，轟炸機(jī)，戰(zhàn)斗機(jī)}，分別用A，B，F(xiàn)代表客機(jī)、轟炸機(jī)和戰(zhàn)斗機(jī)，其基本概率分配函數(shù)為：

m({A})＝0.4m({A，B})＝0m({A，Ｆ})＝0.2m({A，B，F(xiàn)})＝0.2m({B})＝0m({B，F(xiàn)})＝0.2m({F})＝0m({Φ})＝0例4.4Bel({A，F(xiàn)})=m({A})＋m({F})＋m({A，F(xiàn)})=0.4+0+0=0.4例4.5Pl({A，F(xiàn)})=1-Bel({A，F(xiàn)}’)=1-Bel({B})=12023/2/5644.信任區(qū)間(1)證明根據(jù)定義有：

0≤Bel(A)≤Pl(A)≤1，Bel是Pl的一部分。2023/2/5654.信任區(qū)間(2)定義4.4信任區(qū)間設(shè)Bel(A)和Pl(A)分別表示A的信任度和似真度，稱二元組

[Bel(A),Pl(A)]

為A的一個信任區(qū)間。

信任區(qū)間刻劃了對A所持信任程度的上下限。考試成績估分區(qū)間問題信任區(qū)間所代表的含義(1)[1,1](2)[0,0](3)[0,1]

(4)[0.5,0.5](5)[0.25,0.85]表示A為真。表示對A完全無知。表示A為假。表示A是否為真完全不確定。表示對A為真信任的程度為0.25,對A’的信任程度為0.15。2023/2/5665.德普斯特組合規(guī)則(1)

有時，同樣的識別框架在不同的證據(jù)下會得到不同的概率分配函數(shù)，例如對飛機(jī)的識別框架：

U={A，B，F(xiàn)}假設(shè)第一傳感器對目標(biāo)識別的基本概率分配函數(shù)用m1表示：m1（{B，F(xiàn)}）=0.7m1（{A，B，F(xiàn)}）=0.3其余為0第二種傳感器識別目標(biāo)的基本概率分配函數(shù)用m2表示：m2（{B}）=0.9m2（{A，B，F(xiàn)}）=0.1其余為02023/2/5675.德普斯特組合規(guī)則(2)定義4.5

概率分配函數(shù)的正交和

設(shè)m1(A)和m2(A)（A∈2U）是識別框架U基于不同證據(jù)的兩個基本概率分配函數(shù)，則其正交和m=m1m2

為：.

組合后的m

(A)滿足：2023/2/5685.德普斯特組合規(guī)則(3)例4.6基于兩組不同證據(jù)得到的基本概率分配函數(shù)為：

m1({B,F})=0.7m2({B})=0.9m1({A,B,F})=0.3m2({A,B,F})=0.1

將m1和m2合并：

m12({B})=m1({B,F})m2({B})+m1({A,B,F})m2({B})=0.9m12({B,F})=m1({B,F})m2({A,B,F})=0.07m12({A,B,F})=m1({A,B,F})m2({A,B,F})=0.03

m12({B})=0.9m12({B,F})=0.07m12({A,B,F})=0.032023/2/5695.德普斯特組合規(guī)則(4)例：假設(shè)在證據(jù)組合后，第三種傳感器此時報告了一個客機(jī)的證據(jù)，即

m3({A})=0.95m3({A,B,F})=0.05m12({B})=0.9m12({B,F})=0.07m12({A,B,F})=0.03將m12和m3合并：

m(Φ)=m3({A})m12({B})+m3({A})m12({B,F})=0.95×0.9+0.95×0.07=0.9215這與基本概率分配函數(shù)中，m({Φ})=0相矛盾，這時就應(yīng)該采用含有沖突修正的組合規(guī)則。

報酬分配問題2023/2/5705.德普斯特組合規(guī)則(5)定義4.6含沖突修正的組合規(guī)則設(shè)m1和m2是對同一識別框架的概率分配函數(shù)，則其正交和m=m1

m2為：

規(guī)范數(shù)K的引入，實際上是把空集所丟棄的正交和按照比例地補(bǔ)到非空集上，使m（A）仍然滿足：2023/2/5715.德普斯特組合規(guī)則(6)對于多個概率分配函數(shù)的情形，假設(shè)m1，m2，…，mn是n個概率分配函數(shù)，則其正交和m=m1

m2

…

mn為：其中：2023/2/5725.德普斯特組合規(guī)則(6)例4.7：假設(shè)在證據(jù)組合后，第三種傳感器此時報告了一個客機(jī)的證據(jù)，即

m3({A})=0.95m3({A,B,F})=0.05m12({B})=0.9m12({B,F})=0.07m12({A,B,F})=0.03將m12和m3合并：2023/2/5735.德普斯特組合規(guī)則(7)從而K=12.73892023/2/5744.4.2證據(jù)理論的不確定性推理模型（1）1.概率分配函數(shù)與類概率分配函數(shù)

在下面要討論的模型中，識別框架U={s1，s2，…，sn}上的概率分配函數(shù)還要滿足如下要求：（1）基本事件的概率分配函數(shù)值為非負(fù)，即：（2）全體基本事件的概率分配函數(shù)之和不大于1，即：2023/2/5754.4.2證據(jù)理論的不確定性推理模型（2）（3）識別框架的概率分配函數(shù)為：（4）當(dāng)AU且|A|>1或|A|=0時，m（A）=0。

|A|表示命題A對應(yīng)集合中的元素個數(shù)。2023/2/5764.4.2證據(jù)理論的不確定性推理模型（3）對這樣的概率分配函數(shù)，可計算對應(yīng)命題和識別框架的信任函數(shù)值以及似真函數(shù)值：

2023/2/5774.4.2證據(jù)理論的不確定性推理模型（4）對任何AU和BU均有：m(U)表示對命題A或B不知道的程度。定義4.7類概率函數(shù)已知識別框架U，對所有的命題A∈2U，它的類概率函數(shù)為：其中，|A|、|U|表示集合A及U中元素的個數(shù)。2023/2/5784.4.2證據(jù)理論的不確定性推理模型（5）類概率函數(shù)具有如下性質(zhì)：（1）全體基本事件的類概率函數(shù)之和為1，即：（2）對任何AU，都有：由以上性質(zhì)可以得到如下推論：（1）空集的類概率函數(shù)值為0，即f(Φ

)=0。（2）全集的類概率函數(shù)值為1，即f(U)=1。（3）任何時間的類概率函數(shù)值都在0和1之間，即對任何AU，均有0≤f(A)≤1。2023/2/5794.4.2證據(jù)理論的不確定性推理模型（6）2.知識的不確定性表示不確定性知識用如下形式的規(guī)則來表示：

IFETHENH={h1，h2，…，hn}CF={c1，c2，…，cn}其中：E：前提條件，它可以是簡單條件，也可以是通過AND和OR連接起來的復(fù)合條件。H：結(jié)論，它用識別框架中的子集表示，h1，h2，…，hn是該子集中的元素。CF：可信度因子。其中ci用來指出hi

{i=1，2，…，n}的可信度，且滿足如下條件：2023/2/5804.4.2證據(jù)理論的不確定性推理模型（6）3.證據(jù)不確定性表示不確定性證據(jù)E的確定性用CER（E）表示，CER（E）的取值為[0，1]。對于初始證據(jù)，其確定性由用戶給出；對于中間結(jié)論作為當(dāng)前推理的證據(jù)，確定性由推理得到。4.組合證據(jù)不確定性的計算采用最大最小方法計算，即：簡單證據(jù)的合取時，取最小值作為組合證據(jù)的不確定性；簡單證據(jù)的析取時，取最大值作為組合證據(jù)的不確定性。2023/2/5814.4.2證據(jù)理論的不確定性推理模型（7）5.不確定性的傳遞算法設(shè)有規(guī)則：IFETHENH={h1，h2，…，hn}CF={c1，c2，…，cn}則結(jié)論H的不確定性可以通過下述步驟求出：（1）求H的概率分配函數(shù)若有兩條規(guī)則支持同一結(jié)論H，即：IFE1THENH={h1，h2，…，hn}CF={c1，c2，…，cn}IFE2THENH={h1，h2，…，hn}CF={c1’，c2’

，…，cn

’}則先分別對每一條規(guī)則求出概率分配函數(shù)m1、m2，然后再求正交和得到H的概率分配函數(shù)m.2023/2/5824.4.2證據(jù)理論的不確定性推理模型（8）（2）求出Bel（H），Pl（H），f（H）（3）求H

的確定性CER（H）其中，MD（H/E）為規(guī)則前提條件與相應(yīng)證據(jù)E的匹配度，定義為2023/2/5834.4.2證據(jù)理論的不確定性推理模型（9）例4.8設(shè)有如下推理規(guī)則：且已知初始證據(jù)的確定性分別為：

CER（E1）=0.5，CER（E2）=0.6，CER（E3）=0.8，CER（E4）=0.7。假設(shè)|U|=10，求CER（H）=？解：由給出的推理規(guī)則可形成如圖推理網(wǎng)絡(luò)：2023/2/5844.4.2證據(jù)理論的不確定性推理模型（9）（1）求CER（A）2023/2/5854.4.2證據(jù)理論的不確定性推理模型（9）（2）求CER（B）2023/2/5864.4.2證據(jù)理論的不確定性推理模型（10）（3）求正交和對于r3，其概率分配函數(shù)為：對于r4，其概率分配函數(shù)為：

2023/2/5874.4.2證據(jù)理論的不確定性推理模型（11）下面求m1和m2的正交和m。2023/2/5884.4.2證據(jù)理論的不確定性推理模型（12）同理可得：2023/2/5894.4.2證據(jù)理論的不確定性推理模型（13）（4）求CER（H）2023/2/590拓展閱讀及實踐閱讀D_S理論英文介紹：

:8080/UGAIWWW/lectures/dempster.html下載程序包試運(yùn)行

http://www.quiver.freeserve.co.uk/Dse.htm

中程序包DempsterShaterEngine.zip2023/2/5914.5基于貝葉斯網(wǎng)絡(luò)的推理4.5.1什么是貝葉斯網(wǎng)絡(luò)4.5.2貝葉斯網(wǎng)絡(luò)推理2023/2/5924.5.1什么是貝葉斯網(wǎng)絡(luò)（1）貝葉斯網(wǎng)絡(luò)是一種以隨機(jī)變量為節(jié)點，以條件概率為節(jié)點間關(guān)系強(qiáng)度的有向無環(huán)圖（DirectedAcyclicGraph，DAG）。設(shè)V1，V2，…，Vk是貝葉斯網(wǎng)絡(luò)中的節(jié)點，滿足貝葉斯網(wǎng)絡(luò)的條件獨立性假設(shè)，則網(wǎng)絡(luò)中所有節(jié)點的聯(lián)合概率為：

貝葉斯網(wǎng)絡(luò)中的節(jié)點一般代表事件、對象、屬性或狀態(tài)；有向邊一般表示節(jié)點間的因果關(guān)系。貝葉斯網(wǎng)絡(luò)也稱因果網(wǎng)絡(luò)、信念網(wǎng)絡(luò)、概率網(wǎng)絡(luò)、知識圖等，是描述事物之間因果關(guān)系或依賴關(guān)系的一種直觀圖形。2023/2/5934.5.1什么是貝葉斯網(wǎng)絡(luò)（2）機(jī)器人舉積木問題。首先考慮第一個原因，即“電池被充電”（B）和“積木是可舉起來的”（L）相對應(yīng)的變量。B和L對“手臂移動”（M）有一個因果影響，B對G（“儀表指示電池被充電了”）也有因果關(guān)系，BLMG節(jié)點表示隨機(jī)變量邊表示相關(guān)節(jié)點或變量之間某種依賴關(guān)系每個節(jié)點有一個條件概率表（CPT）因節(jié)點果節(jié)點P（G/B）=0.95P（G/?B）=0.1P（M/B,L）=0.9P（M/B,?L）=0.05P（M/B,?L）=0.05P（M/?B,?L）=0.0P（B）=0.95P（L）=0.72023/2/5944.5.2貝葉斯網(wǎng)絡(luò)推理（1）根據(jù)貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)特征和語義特征，基于網(wǎng)絡(luò)中的一些已知節(jié)點（證據(jù)變量），利用這種概率網(wǎng)絡(luò)就可以推算出網(wǎng)絡(luò)中另外一些節(jié)點（查詢變量）的概率，即實現(xiàn)概率推理。推理可分為因果推理診斷推理辯解混合推理2023/2/5954.5.2貝葉斯網(wǎng)絡(luò)推理（2）1因果網(wǎng)絡(luò)由原因到結(jié)果的推理，即已知網(wǎng)絡(luò)中的祖先節(jié)點而計算后代節(jié)點的條件概率。是一種自上而下的推理。在積木是可以舉起的（L）的條件下，計算手臂能移動（M）的概率P（M/L）。由于積木可舉起是手臂能移動的原因之一，因此，這是一個典型的因果推理。L稱作推理的證據(jù)，而M稱作詢問節(jié)點。BLMGP（M/B,L）=0.9P（M/B,?L）=0.05P（M/B,?L）=0.05P（M/?B,?L）=0.02023/2/5964.5.2貝葉斯網(wǎng)絡(luò)推理（3）首先，由于M還有另外一個因節(jié)點——電池被充電（B），因此可以對概率P（M/L）進(jìn)行擴(kuò)展，得：（4-14）

對式（4-14）中第一項P（M，B/L）做如下變形：

2023/2/5974.5.2貝葉斯網(wǎng)絡(luò)推理（4）同理，可對式（4-14）中的第二項P（M，?B/L）變形得到：由式（4-14）可得結(jié)果：

（4-15）將這些概率代入到式（4-15）右端：

2023/2/5984.5.2貝葉斯網(wǎng)絡(luò)推理（5）因果推理的思路和方法（1）對于所求的詢問節(jié)點的條件概率，用所給證據(jù)節(jié)點和詢問節(jié)點的所有因果節(jié)點的聯(lián)合概率進(jìn)行重新表達(dá)。（2）對所得表達(dá)式進(jìn)行適當(dāng)變形，直到其中的所有概率值都可以從問題貝葉斯網(wǎng)絡(luò)的條件概率表中得到。（3）將相關(guān)概率值代入到概率表達(dá)式中進(jìn)行計算即得所求詢問節(jié)點的條件概率。2023/2/5994.5.2貝葉斯網(wǎng)絡(luò)推理（6）2診斷推理由結(jié)果到原因的推理，即已知網(wǎng)絡(luò)中的后代節(jié)點而計算祖先節(jié)點的條件概率。這種推理是一種自下而上的推理。診斷推理的一般思路和方法是：先利用貝葉斯公式將診斷問題轉(zhuǎn)化為因果推理問題；然后進(jìn)行因果推理；再利用因果推理的結(jié)果，導(dǎo)出診斷推理的結(jié)果。2023/2/51004.5.2貝葉斯網(wǎng)絡(luò)推理（7）

假設(shè)機(jī)器人手臂未移動（?M），求積木不可舉起（?L）的概率，即，也即是用一個結(jié)果（或癥狀）來推理一個起因，把這類推理叫做診斷推理。由貝葉斯公式，得BLMG2023/2/51014.5.2貝葉斯網(wǎng)絡(luò)推理（8）用因果推理：將結(jié)果代入式（4-16）中，計算：同樣的，用因果推理可計算出：

2023/2/51024.5.2貝葉斯網(wǎng)絡(luò)推理（9）計算：因為：所以：解得P(~M)=0.38725，代入到式（4-16）中得：

2023/2/51034.5.2貝葉斯網(wǎng)絡(luò)推理（10）如果機(jī)器人舉積木的例子中已知的證據(jù)僅僅是?M（手臂不能移動），則能夠計算?L（積木不能舉起）的概率。如果現(xiàn)在僅僅給定?B（電池沒有被充電），那么?L就變得不確定。這種情況下，可以說?B解釋?M，使?L不確定。這種推理將使用嵌入在一個診斷推理中的因果推理。由貝葉斯公式可得：由條件概率定義：2023/2/51044.5.2貝葉斯網(wǎng)絡(luò)推理（11）所以：（4-17）由聯(lián)合概率可計算：其中2023/2/51054.5.2貝葉斯網(wǎng)絡(luò)推理（12）可得P（?M，?B）=0.05

代入式（4-17）中得：機(jī)器人舉積木例子中的推理方法可以推廣到更一般的推理過程中去。但是在實際應(yīng)用系統(tǒng)中的網(wǎng)絡(luò)，不僅相關(guān)因素繁多，而且許多概率是無法得到的，因此，在推理的過程中將會引入大量的近似計算。貝葉斯網(wǎng)絡(luò)的建造涉及拓?fù)浣Y(jié)構(gòu)和條件概率，可以通過機(jī)器學(xué)習(xí)的方法來解決，稱為貝葉斯網(wǎng)絡(luò)學(xué)習(xí)。2023/2/51064.6模糊推理4.6.1模糊集合及模糊邏輯4.6.2簡單模糊推理2023/2/51074.6.1模糊集合及模糊邏輯（1）

1965年美國學(xué)者扎德（L．A．Zadeh）等人從集合論的角度出發(fā)，對傳統(tǒng)集合進(jìn)行了推廣，提出了模糊集合、隸屬函數(shù)、語言變量、語言真值及模糊推理等重要概念。

1模糊集合的定義2模糊集合的運(yùn)算3模糊關(guān)系4模糊關(guān)系的合成5模糊邏輯20