不確定性簡介基本機率論貝氏推理

1、不確定性簡介 基本機率論 貝氏推理 基於規(guī)則的專家系統(tǒng)的不確定管理 n資訊可能是不確定的、不一致的、不完整的，或上述三種情況都有。換句話說，這種資訊經(jīng)常並不適於用來解決一個問題n不確定性可被定義為：缺乏使我們可以得到完美可信結論的確切知識。典型的邏輯僅允許確切的推理。它假設始終存在完善的知識，始終應用排中律： IF A is true IF A is false THEN A is not false THEN A is not true不確定性簡介脆弱的表示(imply)。領域?qū)＜液椭R工程師承擔著棘手且?guī)缀鯖]有希望完成的任務，即要在規(guī)則的IF(條件)和THEN(動作)部分建立具體的關係。因

2、此，專家系統(tǒng)需要有處理模糊關聯(lián)的能力，例如，用數(shù)值型的確定因數(shù)來描述關係的程度。不確定知識的來源 不精確的語言。我們的自然語言是天生模糊和不精確的。我們描述事實時常用“often”、“sometimes”、“frequently”、“hardly ever”這樣的詞語。因此，要用產(chǎn)生式規(guī)則中精確的IF-THEN形式來表達知識就是非常困難的。但是，如果這些事實的含義可以被量化，其就可以被用於專家系統(tǒng)。1944年，Ray Simpson詢問了355個高中和大學的學生，讓他們把20個諸如“often”這樣的詞語按照1到100來打分。1968年，Milton Hakel重複了這個實驗時間頻率範圍上不明

3、確和不精確的術語的量化 Ray Simpson(1944)Milton Hakel(1968)術語均值術語均值AlwaysVery oftenUsuallyOftenGenerallyFrequentlyRather oftenAbout as often as notNow and thenSometimesOccasionallyOnce in a whileNot oftenUsually notSeldomHardly everVery seldomRarelyAlmost neverNever99888578787365502020201513101076530AlwaysVery

4、oftenUsuallyOftenRather oftenFrequentlyGenerallyAbout as often as notNow and thenSometimesOccasionallyOnce in a whileNot oftenUsually notSeldomHardly everVery seldomRarelyAlmost neverNever10087797474727250342928221616987520不知道的資料。當資料不完整或缺失時，唯一的解決方法就是接受“不知道”的資料，並用這個資料進行近似的推理。 綜合不同專家的觀點。大多數(shù)專家系統(tǒng)經(jīng)常會綜合大量

5、專家的知識和經(jīng)驗。不幸地，專家的觀點經(jīng)常對立並產(chǎn)生有衝突的規(guī)則。為了解決這種衝突，知識工程師不得不為每個專家設定一個權重，然後計算綜合的結論。但是，權重的設定也沒有系統(tǒng)的方法。機率的概念已經(jīng)有很長的歷史，可以追溯到數(shù)千年前，當時，人們的口語中就出現(xiàn)了諸如“probably”、“l(fā)ikely”、“maybe”、“perhaps”和“possibly”這樣的辭彙。但是，機率的數(shù)學理論是在17世紀才形成的。事件的機率是該事件發(fā)生的比例。機率也可以定義為可能性的科學測量?；緳C率論 機率可以表示成從0絕對(不可能發(fā)生)到1(必然發(fā)生)之間內(nèi)的數(shù)值索引。大部分事件的機率索引嚴格限定在01之間，這意味著每

6、個事件至少有兩個可能的輸出：有利的結果或成功、不利的結果或失敗。p (成功) p (失敗) 如果 s 是成功出現(xiàn)的次數(shù)，f 是失敗出現(xiàn)的次數(shù)，那麼如果我們拋硬幣，出現(xiàn)正面的機率和出現(xiàn)背面的機率是一樣的。在某次拋硬幣時，s = f = 1，因此得到正面(或背面)的機率是 0.5。p (成功)p (失敗)並且 p + q = 1 令A和B是真實世界中的二事件，假設A和B並不相互排斥，在一個事件已經(jīng)發(fā)生的情況下另一個事件也可能在一定條件下發(fā)生。在事件B已經(jīng)發(fā)生的前提下事件A發(fā)生的機率稱作條件機率。條件機率的數(shù)學運算式是p(A|B)，其中豎線表示已發(fā)生，完整的運算式可以解釋為“事件B已經(jīng)發(fā)生的前提下事

7、件A發(fā)生的機率 ”。條件機率 A和B同時發(fā)生的次數(shù)，或者A和B同時發(fā)生的機率，稱為A和B的聯(lián)合機率。聯(lián)合機率數(shù)學運算式為p (AB)。若B可能發(fā)生的機率為p (B)，則：同樣，在事件A已經(jīng)發(fā)生的前提下事件B發(fā)生的條件機率為 因此,或?qū)⑸鲜綆胂率降贸鲐愂弦?guī)則 :其中: p(A|B)是事件B已經(jīng)發(fā)生的前提下事件A發(fā)生的條件機率。 p(B|A)是事件A已經(jīng)發(fā)生的前提下事件B發(fā)生的條件機率。 p(A)是事件A發(fā)生的機率。 p(B)是事件B發(fā)生的機率。貝氏規(guī)則 聯(lián)合機率 如果事件A的發(fā)生僅取決於兩個相互排斥的事件，即B和非B， 可得:其中 是邏輯函數(shù)非。同理,將此式帶入貝氏規(guī)則可得:假設知識庫中的所有

8、規(guī)則以下面的形式表達： 規(guī)則表示，如果事件E發(fā)生，則事件H發(fā)生的機率為p。在專家系統(tǒng)中，通常用H代表假設，E表示支持該假設的證據(jù)。 貝氏推理 IF E is true THEN H is true with probability p貝氏規(guī)則可以用假設和證據(jù)來表達，如下所示 :其中：p(H)是假設H為真的事前機率。p(E|H)是假設H為真時導致證據(jù)E的機率。p(H)是假設H為假的事前機率。p(E|H)是假設H為假時發(fā)現(xiàn)證據(jù)E的機率。 在專家系統(tǒng)中，解決問題需要的機率由專家提供。專家決定可能的假設的事前機率 p(H) 和 p(H) ，如果假設H為真時證據(jù)E的條件機率 p(E|H)，以及假設H為假

9、時證據(jù)E的條件機率p(E|H) 。使用者提供證據(jù)的資訊，同時專家系統(tǒng)根據(jù)使用者提供的證據(jù)E計算假設H的p(H|E) 。機率p(H|E)稱作假設H基於證據(jù)E的事後機率。吾人考慮多重假設H1，H2，Hm和多重證據(jù)E1，E2，En，但假設和證據(jù)都必須是相互排斥且完備的。 下面是單個證據(jù)E和多重假設H1，H2，Hm： 下面是多重假設H1，H2，Hm和多重證據(jù)E1，E2，En：要使用公式(3-20)，必須先得到對於所有假設，證據(jù)的所有可能組合的條件機率。這個要求對於專家而言負擔太重。 因此在專家系統(tǒng)中，應忽略細微的證據(jù)，並假設不同的證據(jù)是有條件獨立的。這樣，可得到下式，以代替不易使用的公式 (3-20)

10、：考慮一個簡單的例子 假設一個專家，給出三個有條件獨立的證據(jù)E1、E2和E3，產(chǎn)生了三個相互排斥的完備假設H1、H2和H3，並分別提供了假設的事前機率 p (H1)、 p (H2)和 p (H3)。專家還要確定對於所有可能假設， 每個證據(jù)的條件機率。排序潛在的真假設事前和條件機率假設首先觀察證據(jù)E3。專家系統(tǒng)根據(jù)公式(3-19)計算所有假設的事後機率：概率假設i = 1i = 2i = 3p(Hi)0.400.350.25p(E1|Hi)0.30.80.5p(E2|Hi)0.90.00.7p(E3|Hi)0.60.70.9在觀察了證據(jù)E3後，假設H1的可信度下降，並和假設H2的可信度相等。假設

11、H3的可信度增加，幾乎和H1、H2的可信度相等。即 ,假設接下來觀察證據(jù)E1，由公式(3-21)計算事後機率： 因此,現(xiàn)在認為假設H2是最有可能的一個。 同樣觀察證據(jù)E2，專家系統(tǒng)計算所有假設最終的事後機率：雖然專家最初提供假設的順序是H1、H2和H3，但在觀察了所有的證據(jù)(E1、E2和E3)後，考慮僅保留假設H1和H3，可以放棄假設H2。Question貝式定理等號的左側(cè)比右側(cè)的式子還簡單, 何時會使用貝式定理?Bayesian ClassificationBayesian classifiers are statistical classifiers. They can predict c

12、lass membership probabilities, such as the probability that a given sample belongs to a particular class.Nave Bayesian classifiers assume that the effect of an attribute value on a given class is independent of values of the other attributes. (class conditional independence)Bayes TheoremP(H|X)=P(X|H

13、)P(H) / P(X) Nave Bayesian ClassificationEach data sample is represented as X=(x1,x2,xn)Suppose that there are m classes, C1,C2,Cm. Given an unknown data sample, X, the classifier will predict that X belongs to the class having the highest posterior probability.X assigned to Ci if and only ifP(Ci|X)

14、P(Cj|X) for 1 j m, ji.P(Ci|X)=P(X|Ci)P(Ci) / P(X)P(X) is constant for all classesP(Ci)=si / sAssume class conditional independenceExampleRIDAgeIncomeStudentCredit_ratingClass: buys_computer1=30HighNoFairNo240MediumNoFairYes540LowYesFairYes640LowYesExcellentNo731.40LowYesExcellentYes8=30MediumNoFairN

15、o940MediumYesFairYes1140MediumNoExcellentNoNave Bayesian Classification(cont.)X=(age=“=30”,income=“medium”, student=“yes”,credit_rating=“fair”)Maximize P(X|Ci)P(Ci) for i=1,2.P(buys_computer=“yes”)=9/14=0.643P(buys_computer=“no”)=5/14=0.357P(age=“30”|buy_computer=“yes”)=2/9=0.222P(age=“30”|buy_computer=“no”)=3/5=0.6P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(income=“medium”|buys_computer=“no”)=2/5=0.4P(student=“yes”|buys_computer=“yes”)=6/9=0.667P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|b