人工智能通識(shí)導(dǎo)論 課件匯 黃河燕 05-專家系統(tǒng) -10-人工智能倫理與展望

52專家系統(tǒng)是一種具有智能化的計(jì)算機(jī)程序，它能夠模擬擁有特定領(lǐng)域?qū)I(yè)知識(shí)和經(jīng)驗(yàn)的人或組織的判斷和行為。專家系統(tǒng)通常旨在補(bǔ)充而不是取代人類專家，其概念是由斯坦福大學(xué)計(jì)算機(jī)科學(xué)家愛(ài)德華·費(fèi)根鮑姆（Edward

Feigenbaum）在20世紀(jì)70年代提出的。34知識(shí)庫(kù)（knowledge

base）推理機(jī)（inference

engine）用戶界面（user

interface）5知識(shí)庫(kù)（knowledge

base）。這是專家系統(tǒng)存儲(chǔ)信息的地方。人類專家（human

expert）提供有關(guān)特定領(lǐng)域或主題的事實(shí)，這些事實(shí)被存儲(chǔ)在知識(shí)庫(kù)中。知識(shí)庫(kù)通常包含一個(gè)知識(shí)獲取模塊（knowledgeacquisition

module），該模塊使系統(tǒng)能夠收集外部來(lái)源的知識(shí)并將其存儲(chǔ)在知識(shí)庫(kù)中。6推理機(jī)（inference

engine）。該部分從知識(shí)庫(kù)中提取相關(guān)信息以解決用戶的問(wèn)題。它是一個(gè)基于規(guī)則的系統(tǒng)，將知識(shí)庫(kù)中的已知信息映射到一組規(guī)則，并根據(jù)這些輸入做出決策。推理機(jī)通常還包括了一個(gè)解釋模塊（explanationmodule），用于向用戶展示專家系統(tǒng)是如何得出結(jié)論的。7用戶界面（user

interface）。該部分支持最終用戶與專家系統(tǒng)交互，使系統(tǒng)獲得用戶的問(wèn)題或給出問(wèn)題的答案。8完整系統(tǒng)構(gòu)成如下圖910人們?cè)谌粘Ｉ钪兴褂玫男畔⒋蠖喽际遣荒芡耆_定的。這使得現(xiàn)實(shí)世界中的事物以及事物之間的關(guān)系極其復(fù)雜，并帶來(lái)了大量的不確定性。比如，“這個(gè)人好瘦”，我們難以具體的數(shù)值來(lái)劃定瘦的界限。不確定性推理是利用不確定的知識(shí)和規(guī)則，從不確定的初始證據(jù)中推斷出仍具有一定不確定性的合理或接近合理結(jié)論的過(guò)程。11典型的不確定性推理方法。12主觀Bayes推理證據(jù)理論模糊邏輯信念網(wǎng)絡(luò)主觀Bayes推理又稱為主觀概率論，以概率論中的貝葉斯公式為基礎(chǔ)，是一種基于概率邏輯的不確定性推理方法。在貝葉斯公式中，在證據(jù)? 出現(xiàn)的前提下結(jié)論?

成立的條件概率?

(?

｜?

)被定義為：§?(?｜?)=

?(?)?(?｜?)?(?)13而在主觀貝葉斯推理中，引入了兩個(gè)數(shù)值(? ? ,

??

)用來(lái)度量規(guī)則成立的充分性和必要性。其中，??為充分性度量，代表證據(jù)?對(duì)?的支持程度，即當(dāng)E越支持H為真時(shí)，LS值越大，其定義為：?? =

?(?｜?)?(?｜??)? ?

為必要性度量，代表??

（即E不成立）對(duì)?的支持程度，即E對(duì)H越重要時(shí)，LN值越小。其定義為：14由于是不確定性推理，所以證據(jù)發(fā)生的可能性會(huì)影響推理計(jì)算，以下給出確定性證據(jù)?

必然發(fā)生時(shí)，?

(?

｜?

)的計(jì)算方法：15?(?｜?)

=

??

?

?(?) (??

?1)?

?(?)+1下面是一個(gè)示例假定某氣候預(yù)測(cè)專家系統(tǒng)有如下規(guī)則：已知暴雨事件(H)的先驗(yàn)概率?(?)

=

0.05；規(guī)則1：如果吹偏北到偏東風(fēng)4～5級(jí)(?1)，則暴雨。設(shè)定(??1,

??1)為(24,1)；規(guī)則2：如果空氣濕度70％～90％(?2)，則暴雨。設(shè)定(??2,

??2)為(12,1)；規(guī)則3：如果前一天暴雨(?3)，則暴雨。設(shè)定(??3,

??3)為(54,1)。計(jì)算當(dāng)證據(jù)

?1,

?2,

?3

必然發(fā)生的情況下，暴雨H的概率。16解答17已知H的先驗(yàn)概率，規(guī)則?1,

?2,

?3必然發(fā)生，又因?yàn)??

>

1,

??

=

1，得出??對(duì)結(jié)論H沒(méi)有影響。按序使用規(guī)則??對(duì)先驗(yàn)概率?(??)進(jìn)行更新。1?(?｜?)

==??1

??(?) 24?

0.05(??1?1)??(?)

+

1 23?0.05+

1≈

0.5581證據(jù)?1的發(fā)生，使得暴雨的概率的概率由0.05增加到0.5581。1

2?(?｜??)

=??2

??(?｜?1) 12?

0.5581(??2?1)??(?｜?1)

+1 11?0.5581+

1= ≈

0.9380在證據(jù)?1的發(fā)生的基礎(chǔ)上，證據(jù)?2的發(fā)生，使得暴雨的概率的概率由0.5581增加到0.9380。12

3?(?｜???

)==??3

??(?｜?1?2) 54?

0.9380(??3?1)??(?｜?1?2)

+

1 53?0.9380+1≈

0.9988證據(jù)

?1,

?2,

?3的發(fā)生，最終使得暴雨事件發(fā)生的概率增加到0.9988。證據(jù)理論旨在處理那些不確定、不精確、或不準(zhǔn)確的信息1967年首先被美國(guó)學(xué)者A.P.Dempster提出G.

Shafer于1976年出版了專著《證據(jù)的數(shù)學(xué)理論》，通過(guò)引入信念函數(shù)（Belief

function）的概念，進(jìn)一步發(fā)展和完善，形成Dempster-Shafer證據(jù)理論（D-SEvidence

Theory）。18Dempster-Shafer證據(jù)理論假設(shè)了一個(gè)不變的兩兩互斥的完備元素集合，稱為環(huán)境，用希臘字母Θ表示

。例如：19Θ

=

{汽車，飛機(jī)，輪船，火車}Θ的每一個(gè)子集都可解釋為一個(gè)問(wèn)題的可能答案。設(shè)有問(wèn)題：

“哪些是陸上交通方式？”，其答案就是Θ的一個(gè)子集：{?1,

?4}={汽車，火車}當(dāng)一個(gè)環(huán)境的元素可以解釋為可能的答案，但只有一個(gè)答案正確時(shí)，這個(gè)環(huán)境稱為辨識(shí)框架。辨識(shí)框架的一個(gè)子集稱為命題，每個(gè)命題A被分配一個(gè)信任度。在Dempster-Shafer證據(jù)理論中，證據(jù)的信任度被類比為物體的質(zhì)量，即證據(jù)的質(zhì)量支持信任。因此，證據(jù)的測(cè)度記為m，類似于質(zhì)量的總量。我們這里稱之基本概率分配函數(shù)（BPA，也稱為m函數(shù)），其是一個(gè)P(Θ)

→[0,

1]的映射

。20證據(jù)的測(cè)度滿足以下條件

：21m(?)=0,??Θ?(?)=

1m(A)表示分配給證據(jù)A的基本概率質(zhì)量m(Θ)為分配給辨識(shí)框架的基本概率質(zhì)量在證據(jù)推理中，證據(jù)被歸納為一個(gè)證據(jù)區(qū)間。下限在證據(jù)推理中被稱為支持度，在Dempster-Shafer理論中被記為Bel；上限被稱為合情度，記為Pl。支持度是證據(jù)的最低信任度，合情度是給定的最大信任度，可表示為：22Bel(A)=??A

?(?)Pl(A)=A∩B≠?

?(?)Bel(A)表示是一個(gè)證據(jù)A和它所有子集的信任度總和，即證據(jù)A一定成立的支持度;

而Pl(A)表示所有與證據(jù)A有交集的子集的信任度之和,

即不否證據(jù)A的合情度

。23兩條相互獨(dú)立證據(jù),

相應(yīng)的BPA函數(shù)(m函數(shù))為?

_1和?

_2,

對(duì)于任意的A?Θ,

Dempster組合規(guī)則可表示為：0,m(A)

=

[?1

⊕?2]

=

?1(?)?2(?)

,B∩C=A?=

?,?≠

?示例24對(duì)于Θ

=

{客機(jī)(簡(jiǎn)稱K)，戰(zhàn)斗機(jī)(簡(jiǎn)稱B)，轟炸機(jī)(簡(jiǎn)稱F)}識(shí)別友機(jī)或敵機(jī)的傳感器(Identification

Friend

or

Foe,

IFF)是一個(gè)向飛機(jī)發(fā)射無(wú)線電信息的無(wú)線電收發(fā)器，如果飛機(jī)是友機(jī)，它的收發(fā)器就會(huì)發(fā)回自己的身份代碼作為回應(yīng)。沒(méi)有做出回應(yīng)的飛機(jī)因違背約定而被認(rèn)為是敵機(jī)。假設(shè)該IFF未能得到回應(yīng)表明有0.7的證據(jù)信任度說(shuō)明目標(biāo)飛機(jī)是敵機(jī)，這里敵機(jī)僅指轟炸機(jī)和戰(zhàn)斗機(jī)，只需要給子集{B,F}分配mass信任度：?1({B,F})=

0.7這里?1

指第一種IFF傳感器的證據(jù)，剩下的信任留給環(huán)境Θ，作為無(wú)信任：?1(Θ)=1-0.7=

0.3假設(shè)第二種感應(yīng)器識(shí)別目標(biāo)為轟炸機(jī)的證據(jù)信任為0.9，此時(shí)，從不同感應(yīng)器所得的mass信任度如下：?2({B})

=

0.9，?2(Θ)

=

1

-

0.9

=

0.1這里,

?1,

?2指第一種和第二種類型的感應(yīng)器的mass信任度。解答用Dempster組合規(guī)則可將這些證據(jù)合并得到組合mass信任度（記為?3）：25?3({B})=?1??2({?})=X∩Y={B}?1(?)?2(?)=(?1({B,F})?2({B})

+?1(Θ)

?2({B})) =(0.7)(0.9)

+

(0.3)

(0.9)

=

0.9

轟炸機(jī)?3({B，F(xiàn)})=?1??2({?,?})=X∩Y={B,F}?1(?)?2(?)=?1({B,F})?2(Θ)

=

(0.7)(0.1)

=

0.07

轟炸機(jī)或戰(zhàn)斗機(jī)模糊邏輯（fuzzy

logic）以多值邏輯為基礎(chǔ)，利用模糊集和模糊規(guī)則來(lái)處理“模糊性”信息所帶來(lái)的不確定推理問(wèn)題。26設(shè)U為一組對(duì)象的集合，稱為論域，??為U的元素，記作U={?1,

?2,…,??}。論域U到[0,

1]區(qū)間的任一映射??：U

[0,

1]，可確定U的一個(gè)模糊子集（fuzzy

set）F,

則??稱為F的隸屬函數(shù)(membershipfunction)

。??(??)

表示??

對(duì)模糊子集F

的隸屬度(

g

r

a

d

e

of

membership)，即

??屬于模糊子集F的程度或等級(jí)

。27對(duì)于模糊子集F，我們可將其表示為其元素??與其隸屬函數(shù)??(??)的序偶集合，記為

：28?

=

{(??, ??(?))|??

∈

U}當(dāng)??(??)僅取0和1兩個(gè)值時(shí)，模糊集合F便退化為一個(gè)普通集合。我們引入一個(gè)進(jìn)一步的模糊集合表示方式：29F=??(?1)/?1+??(?2)/?2+…+

??(??)/??例如在“水溫適中”情景中，對(duì)于不同的水溫（0，10，20，

…,

100），其隸屬函數(shù)為：??(??)={?:0.0/0+0.0/10+0.33/20+0.67/30+1.0/40+1.0/50+0.75/60,0.5/70,0.25/80,0.0/90,

0.0/100}設(shè)A和B為U中的兩個(gè)模糊集合，隸屬函數(shù)為??和??A與B的并（邏輯或）記為A∪B：?A∪B(??)

= ?A(??)

∨ ?B(??) = ???{

?A(??), ?B(??)}例：給定

?A(??)

=

1,

?B(??)

=

0.75，我們有：?A∪B(??)=

???{

?A(??), ?B(??)}=max(1,0.75)=1A與B的交(邏輯與)記為A∩B：?A∩B(?)

= ?A(?) ∧ ?B(?) = ???{

?A(?), ?B(?)}A的補(bǔ)(邏輯非)記為?：??(??)

= 1 ? ?A(??)30如果模糊集合是論域U中所有滿足??(??)>0的元素??

構(gòu)成的集合，則稱該集合為模糊集F的支集,

計(jì)作sup(F)。當(dāng)??滿足??(??)=1.0時(shí)，則稱此模糊集合為模糊單點(diǎn)。與模糊支集相關(guān)的概念是?截集(trunc)，是論域的一個(gè)非空模糊集合，其元素具有大于或等于某一值?的隸屬函數(shù)。31模糊邏輯推理是建立在模糊集合基礎(chǔ)上，在二值邏輯三段論基礎(chǔ)上發(fā)展起來(lái)的一種不確定性推理方法，利用模糊語(yǔ)言規(guī)則，推導(dǎo)出一個(gè)近似的模糊判斷結(jié)論。主要模糊邏輯推理方法包括Zadeh法、Baldwin法、Tsukamoto法和Yager法等。接下來(lái)的內(nèi)容將主要基于典的扎德(Zadeh)法。32一個(gè)關(guān)系聯(lián)系了兩個(gè)論域之間的元素，通常也稱為一個(gè)映射(mapping),

記為“→”。在上述例子中，關(guān)系R是一個(gè)A→B的映射

。33模糊關(guān)系是笛卡爾積論域上的一個(gè)模糊子集。具體來(lái)講，若U、V是兩個(gè)非空模糊集合，則其笛卡爾乘積U×V中的一個(gè)模糊子集R稱為從U到V的模糊關(guān)系，表示為：?×V={((?,ν),?R(?,?))|?∈U,?

∈

V}?R(?,

?)為模糊子集R中元素?、?的隸屬函數(shù)。一個(gè)在模糊邏輯中，模糊語(yǔ)言規(guī)則形式化為模糊蘊(yùn)含關(guān)系，用來(lái)支持模糊推理。給定兩個(gè)模糊集合A和B，由A→B所表示的模糊蘊(yùn)含關(guān)系是定義在笛卡爾積?

×

V

(U和V是兩個(gè)非空模糊集合)上的特殊模糊關(guān)系。常用的模糊蘊(yùn)含關(guān)系算子及隸屬函數(shù)如下：34模糊合取

A→B

=

A×B：?{A→?}(?,?)=??(?)???(?)模糊析取A→B

=

A+B：?{A→?}(?,?)=??(?)+

??(?)下面是一個(gè)示例：例如一個(gè)溫度控制系統(tǒng)，其中論域U與V均為{1,

2,

3,

4

,5},

分別表示水溫與熱水閥的五個(gè)等級(jí)。設(shè)A表示U上的模糊集“水溫低”，A

=

{1/1

+

0.5/2

+

0.33/3

+0.25/4

+

0.2/5};

設(shè)B表示V上的模糊集“開(kāi)大熱水閥門”，B

={0.2/1

+

0.4/2

+

0.6/3

+

0.8/4

+

1/5}。有如下的規(guī)則（IF水溫低，THEN熱水閥應(yīng)開(kāi)大），其對(duì)應(yīng)的模糊合取蘊(yùn)含關(guān)系A(chǔ)→B

=

A×B為？35解答：?{A→?}(?,?)=??(?)???(?)={0.2/(1,1)+0.4/(1,2)+0.6/(1,3)+0.8/(1,4)

+

1/(1,5)

+

0.1/(2,1)

+

0.2/(2,2)

+

0.3/(2,3)

+

0.4/(2,4)

+0.5/(2,5)

+

0.066/(3,1)

+

0.132/(3,2)

+

0.198/(3,3)

+

0.264/(3,4)

+0.33/(3,5)+0.05/(4,1)+0.1/(4,2)+0.15/(4,3)+0.2/(4,4)+

0.25/(4,5)+0.04/(5,1)+0.08/(5,2)+0.12/(5,3)+0.16/(5,4)+

0.2/(5,5)}36信念網(wǎng)絡(luò)(Belief

Network)用于處理因果關(guān)系的不確定性，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖(DAG)。圖中的節(jié)點(diǎn)表示隨機(jī)變量，箭頭表示因果關(guān)系(或非條件獨(dú)立的變量或命題)。若兩個(gè)節(jié)點(diǎn)間以一個(gè)單箭頭連接在一起，那么代表這兩個(gè)隨機(jī)變量有因果關(guān)系(或非條件獨(dú)立)。如A→B，我們稱A為B的因，也稱父節(jié)點(diǎn)；B為A的果，也稱子節(jié)點(diǎn)。37下圖是一個(gè)最簡(jiǎn)單的信念網(wǎng)絡(luò)，假設(shè)A事件發(fā)生的概率直接影響到B事件發(fā)生的概率，即A→B，則用從A指向B的箭頭建立有向邊(A,B)，這條邊的權(quán)值(即連接強(qiáng)度)用條件概率P(B|A)來(lái)表示：38令?

=(?

,?

)

表示一個(gè)信念網(wǎng)絡(luò)，其中，I代表圖形中節(jié)點(diǎn)的集合，E代表有向邊的集合，則所有節(jié)點(diǎn)的隨機(jī)變量集合?(??

∈

?)的聯(lián)合概率可以表示成：39P(?)=?∈?

?

??|???????(?)

其中，? (? ∈?(?

∈?

) 表示節(jié)點(diǎn)?) 表示? 中的某一節(jié)點(diǎn)，parent(i)的父節(jié)點(diǎn)，??和???????(?)分別表示節(jié)點(diǎn)? 及其父節(jié)點(diǎn)parent(i)

所代表的隨機(jī)變量。對(duì)于一個(gè)隨機(jī)變量集合?

=

{?1,

?2,

.

.

.

,

??}

，k表示隨機(jī)變量個(gè)數(shù)，其聯(lián)合概率可以由局部條件概率分布相乘得來(lái)：40P(?1,?,??)=P(??|?1,?,???1)?P(?2|

?1)P(?1)在X?

給定的條件下，X?+1

的狀態(tài)只和X?

有關(guān)。這種順次演變的隨機(jī)過(guò)程，

構(gòu)成二階馬爾科夫鏈（

M

a

r

k

o

vchain），且有：P(??+1=?|?0,?1,?2,?,??)=P(??+1=

?|??)信念網(wǎng)絡(luò)有三種典型結(jié)構(gòu)：head-to-head結(jié)構(gòu)、tail-to-tail結(jié)構(gòu)、head-to-tail結(jié)構(gòu)，對(duì)應(yīng)三種不同的依賴關(guān)系

。head-to-head結(jié)構(gòu)也稱頭部-頭部依賴關(guān)系

。如果給定子節(jié)點(diǎn)C的取值，那么父節(jié)點(diǎn)A與B必不獨(dú)立；反之，子節(jié)點(diǎn)C的取值未知，那么節(jié)點(diǎn)A與B

滿足邊際獨(dú)立性。41tail-to-tail結(jié)構(gòu)，尾部-尾部依賴關(guān)系，或同父關(guān)系，即由一個(gè)父節(jié)點(diǎn)生成兩個(gè)子節(jié)點(diǎn)

。如果給定父節(jié)點(diǎn)C的取值，那么子節(jié)點(diǎn)A與B條件獨(dú)立。42head-to-tail結(jié)構(gòu)，也稱頭部-尾部依賴關(guān)系、順序關(guān)系，即由一個(gè)父節(jié)點(diǎn)生成一個(gè)子節(jié)點(diǎn)，再有這個(gè)子節(jié)點(diǎn)產(chǎn)生下一個(gè)子節(jié)點(diǎn)

。如果給定節(jié)點(diǎn)C的取值，那么節(jié)點(diǎn)A與B條件獨(dú)立。43在信念網(wǎng)絡(luò)中，我們不止需要掌握其聯(lián)合概率以了解信念網(wǎng)絡(luò)的整體情況，有時(shí)我們還需要了解信念網(wǎng)絡(luò)中特定的一些變量上的概率分布情況從而實(shí)現(xiàn)對(duì)重要節(jié)點(diǎn)的關(guān)注。我們稱這些變量為信念網(wǎng)絡(luò)中變量的一個(gè)子集，稱定義在子集上的概率分布為邊緣分布。44計(jì)算邊緣分布的方法有很多，其中一個(gè)常用思路為：在聯(lián)合概率的基礎(chǔ)上，使用求和（對(duì)于離散變量）或積分（對(duì)于連續(xù)變量）的方式求出非重要節(jié)點(diǎn)的全概率。我們稱這種方法為對(duì)聯(lián)合概率邊緣化。一種實(shí)現(xiàn)聯(lián)合概率邊緣化的方法是先將信念網(wǎng)絡(luò)轉(zhuǎn)換成因子圖，然后用sum-product算法進(jìn)行求解。45因子圖（Factor

Graph）用作表示一個(gè)多變量全局函數(shù)的因子分解過(guò)程，即將全局函數(shù)轉(zhuǎn)化成幾個(gè)局部函數(shù)乘積。它是一個(gè)雙向圖，其中節(jié)點(diǎn)表示因子，圖的邊表示變量，如果變量??出現(xiàn)在因子P(XW

|

??)中，那么節(jié)點(diǎn)P(XW

|

??)與邊??相連。46如圖所示信念網(wǎng)絡(luò)，構(gòu)造其因子圖的過(guò)程如下:首先根據(jù)信念網(wǎng)絡(luò)的聯(lián)合分布：P(XU,

XW,

XX,

XY,

XZ)

=P(XU)P(XW)P(XX|XU,XW)P(XY|XX)P(XZ|

XX)47接下來(lái)，根據(jù)聯(lián)合分布繪制其對(duì)應(yīng)的因子圖，如圖中的邊代表隨機(jī)變量，方形節(jié)點(diǎn)代表聯(lián)合概率的因子，也就是變量間的條件概率。當(dāng)一個(gè)變量是一個(gè)以上的條件概率的條件變量時(shí)，則使用圓形節(jié)點(diǎn)與其相連，再使用方形節(jié)點(diǎn)依次表示其對(duì)應(yīng)的條件概率。P(XU,XW,XX,XY,XZ)=P(XU)P(XW)P(XX|XU,XW)P(XY|XX)P(XZ|

XX)48根據(jù)因子圖，使用sum-product算法計(jì)算邊緣概率。為方便表述以及后續(xù)計(jì)算將因子符號(hào)化，

我們將P(XU)

， P(XW)

， P(XX|XU,

XW)

， P(XZ|XX)

和P(XY

|

XX)分別記為?1,

?2,

?3,

?4,

?5。49sum-product算法主要依靠消息傳遞計(jì)算概率。共有兩種消息：一種是變量到因子的消息mx

→

f（對(duì)應(yīng)因子之間的積運(yùn)算，對(duì)此在稍后的例子中詳細(xì)體現(xiàn)），例如：Xz向?4傳遞消息可以表示為：?XZ

→

?450另外一種是因子到變量的消息mf

→

x（對(duì)應(yīng)因子之間的和運(yùn)算，對(duì)此在稍后的例子中詳細(xì)體現(xiàn)），例如：?1向XU傳遞消息可以表示為：??1

→

XU51sum-product算法：為了求一個(gè)特定變量（例如Xx

）的邊緣分布，需要以這個(gè)特定變量為根節(jié)點(diǎn)，將因子圖分為若干分支，從每個(gè)分支的末端開(kāi)始向根節(jié)點(diǎn)傳遞消息，經(jīng)過(guò)消息mx

→

f和消息mf

→

x的多次迭代，直至傳遞至根節(jié)點(diǎn)停止，實(shí)現(xiàn)特定變量的邊緣分布的計(jì)算。52下面以求變量Xx的邊緣概率為例，展示sum-product算法的計(jì)算過(guò)程。首先將因子圖以Xx為根結(jié)點(diǎn)，按照聯(lián)合概率分布分解成若干分支：P(XU,XW,XX,XY,XZ)=P(XU)P(XW)P(XX|XU,XW)P(XY|XX)P(XZ|

XX)5354P(XU,

XW,

XX,

XY,

XZ)

=P(XU)P(XW)P(XX|XU,XW)P(XY|XX)P(XZ|

XX)接著按照如下步驟依次進(jìn)行消息傳遞：① ??1→XU=f1(XU),??2→XW=

f2(XW)?XU→f3=??1→XU=

f1(XU)?XW→f3=??2→XW=

f2(XW)(消息mf

→

x)(消息mx

→

f)(消息mx

→

f)??3→Xx=XU,XW?XU→f3(XX)??XW→f3(XX)?f3(XX,XU,

XW)(消息mf

→

x)(消息mx

→

f)(消息mf

→

x)=XU,XWf1(XU)f2(XW)f3(XX,XU,

XW)② ?XZ→f4(XZ)

=

1, ?XY→f5(XY)=

1??4→Xx=XZ?XZ→f4(XZ)?f4(XZ,XX)=XZf4(XZ,

XX)??5→Xx=XY?XY→f5(XZ)?f5(XY,XX)=XYf5(XY,

XX)(消息mf

→

x)最后，將所有消息匯總至變量XX，實(shí)現(xiàn)變量XX的邊緣分布計(jì)算。③

P(XX)

= XU,XWf1(XU)f2(XW)f3(XX,XU,XW)

XZf4(XZ,XX)

XYf5(XY,

XX)= XU,XWP(XU)P(XW)P(XX|XU,XW)

XZP(XZ|XX)

XYP(XY

|XX)§另一個(gè)示例：吸煙會(huì)誘發(fā)肺癌和支氣管炎，P(肺癌｜吸煙)表示一個(gè)人在吸煙的情況下得肺癌的概率；P(支氣管炎｜吸煙)表示一個(gè)人在吸煙的情況下得支氣管炎的概率。吸煙、肺癌以及肺炎都會(huì)導(dǎo)致肺部ct出現(xiàn)異常陰影，P(異常陰影｜吸煙)表示一個(gè)人吸煙情況下導(dǎo)致ct異常的概率；P(異常陰影｜肺癌)表示一個(gè)人肺癌的情況下得ct異常的概率?！旆伟┖椭夤苎讜?huì)造成呼吸困難，P(呼吸困難｜肺癌）表示一個(gè)人得肺癌的情況下呼吸困難的概率；P(呼吸困難｜支氣管炎）表示一個(gè)人得支氣管炎的情況下呼吸困難的概率55對(duì)該網(wǎng)絡(luò)進(jìn)行分析：1）屬于head-to-head型的關(guān)系有：肺癌→肺部ct出現(xiàn)異常陰影←吸煙肺癌→支氣管炎←呼吸困難2）屬于tail-to-tail型的關(guān)系有：肺癌←吸煙→支氣管炎3）屬于head-to-tail型的關(guān)系有：吸煙→肺癌→肺部ct出現(xiàn)異常陰影吸煙→肺癌→呼吸困難、吸煙→支氣管炎→呼吸困難56結(jié)合因子圖與邊緣分布相關(guān)知識(shí)，可以計(jì)算P(吸煙｜呼吸困難)：1）將有環(huán)的信念網(wǎng)絡(luò)近似成無(wú)環(huán)信念網(wǎng)絡(luò)57結(jié)合因子圖與邊緣分布相關(guān)知識(shí)，可以計(jì)算P(吸煙｜呼吸困難)：2）繪制因子圖58結(jié)合因子圖與邊緣分布相關(guān)知識(shí)，可以計(jì)算P(吸煙｜呼吸困難)：2）根據(jù)sum-product算法進(jìn)行運(yùn)算假設(shè)：一個(gè)人吸煙的概率為P(s)，呼吸困難的概率為P(d)，得肺癌的概率為P(c)，得支氣管炎的概率為P(b)，陰影異常的概率為P(x)。求：使用P(d

=

1)表示存在呼吸困難的概率，使用P(d

=

0)表示不存在呼吸困難的概率。我們知道，P(吸煙(s)｜呼吸困難(d))表示一個(gè)人在呼吸困難的情況下吸煙的概率，為了計(jì)算這個(gè)概率，我們假設(shè)存在呼吸困難的概率為1（即P(d

=

1)

=

1

），并以此為前提進(jìn)行計(jì)算，因此有：P(d=1)59P(s|d=

1)

= P(s,d=1)≈P(s,d=1)

=

d=1,b,x,cP(s)P(?|?)P(?|?)P(?|?,?)P(?|?,

?)=P(s)

d=1

bP(?|?)

x

cP(?|?)P(?|?,?)P(?|?,

?)與人類專家相比，專家系統(tǒng)的優(yōu)勢(shì)在于：60專家系統(tǒng)提供了專家級(jí)領(lǐng)域?qū)I(yè)知識(shí)的采集、存儲(chǔ)和有效利用。根據(jù)各種類型的知識(shí)和規(guī)則，基于現(xiàn)有事實(shí)，做出理性和客觀的結(jié)論和決策，不容易受到人為錯(cuò)誤或情感影響。專家系統(tǒng)可以幫助更有效和高效地做出決策，從而節(jié)省時(shí)間并降低成本。專家系統(tǒng)的知識(shí)庫(kù)通常基于很多人類專家的貢獻(xiàn)，這提供了更多的知識(shí)可供借鑒，并防止任何一位專家扭曲決策。專家系統(tǒng)的推理過(guò)程具有較好的透明性和可解釋性。已有的專家系統(tǒng)也存在一些局限性：61線性思維。專家系統(tǒng)缺乏創(chuàng)造性的問(wèn)題解決能力，而人類智能的優(yōu)勢(shì)之一是它可以以非線性方式推理，并使用輔助信息得出創(chuàng)造性結(jié)論。缺乏直覺(jué)。專家系統(tǒng)基于事先設(shè)定好的規(guī)則進(jìn)行推理，然而人類能夠運(yùn)用直覺(jué)、類比和啟發(fā)式的方式來(lái)快速得出結(jié)論。故障點(diǎn)。專家系統(tǒng)的好壞取決于其知識(shí)庫(kù)的質(zhì)量。如果知識(shí)庫(kù)中的信息不準(zhǔn)確，可能會(huì)影響系統(tǒng)的決策。維護(hù)成本。專家系統(tǒng)，特別是知識(shí)庫(kù)的維護(hù)和更新較為耗時(shí)耗力。62什么是機(jī)器學(xué)習(xí)3一個(gè)機(jī)器學(xué)習(xí)的形式化定義4機(jī)器學(xué)習(xí)主流方法56監(jiān)督學(xué)習(xí)：嚴(yán)師出高徒7支持向量機(jī)8支持向量機(jī)9概率圖模型10概率圖模型11概率圖模型12神經(jīng)網(wǎng)絡(luò)1314無(wú)監(jiān)督學(xué)習(xí)：無(wú)師自通15無(wú)監(jiān)督學(xué)習(xí)：無(wú)師自通16聚類問(wèn)題17K-means與K-中心點(diǎn)算法18K-means算法2kp

miE

i

1

p

Ci19K-means算法20K中心點(diǎn)算法kp

oiE

j

1p

C

j21K-中心點(diǎn)算法22EM聚類：期望最大化23EM聚類：期望最大化12exp

i i

(

x

i)T

1

(

x

)

fi

(

x)

f

(

x

|

i

,

i

)

d

1(2π)

2

|

i

|2

1,

,

P(C1

),

2

,

,

P(C2

),

L

,

k

,

k

,

P(Ck

)

Ti i1

i2idL

,

,

,24

2122000iiid

2

L0i

M

M

0

M

0 L

EM聚類：期望最大化25EM聚類：期望最大化26EM聚類：期望最大化nin

wijj

1

wij

x

jj

1

nii

ij ji

Tji

j

1w

z

zwT

1

1niinP

C

wijj

1 nw

127CLARA與CLARANS算法28CLARA算法29CLARANS算法30CLARANS算法31譜聚類32譜聚類33譜聚類34譜聚類35譜聚類36譜聚類37譜聚類38譜聚類39基于約束的聚類40在線聚類4142強(qiáng)化學(xué)習(xí)43強(qiáng)化學(xué)習(xí)模型及基本要素44強(qiáng)化學(xué)習(xí)特點(diǎn)45馬爾可夫決策46馬爾可夫決策47馬爾可夫決策48馬爾可夫決策N

t

0

J

E

rt

1

t

rt

1

J

E

t

0

149N

N

N

J

lim

t

0

E

rt

1

Q學(xué)習(xí)5051深度Q學(xué)習(xí)

t t t tt tat

1t

1,aQ s

,

a

Q s

,

a

α rγ

max

Q(s)

Q s,

aL(

)

E

(Target

Q

Q(s,

a;

))2

a

TargetQ

r

maxQ

s

,

a

;

深度Q學(xué)習(xí)52小節(jié)5372類人機(jī)器=

人3設(shè)計(jì)與制造出能像人一樣思考的機(jī)器是人類幾千年來(lái)孜孜追求的目標(biāo)。從功能性的角度來(lái)說(shuō)，人類不必制造一個(gè)和人腦一模一樣的機(jī)器，只要功能是一樣的就行，就像人類不必制造一臺(tái)和鳥(niǎo)一模一樣的飛機(jī)，只要能飛起來(lái)就行。類腦機(jī)器簡(jiǎn)單→復(fù)雜單功能→多功能人腦全部功能4×特定功能的機(jī)器硬件軟件5神經(jīng)網(wǎng)絡(luò)從生物學(xué)的角度，人類大腦可以實(shí)現(xiàn)復(fù)雜的計(jì)算和記憶，完全靠900億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)依賴神經(jīng)元與神經(jīng)元之間的連接（突觸），從而實(shí)現(xiàn)智能。6(單個(gè))生物神經(jīng)元神經(jīng)網(wǎng)絡(luò)7(單個(gè))生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元在生物神經(jīng)網(wǎng)絡(luò)相關(guān)研究的啟發(fā)下，科學(xué)家試圖通過(guò)構(gòu)建人工神經(jīng)網(wǎng)絡(luò)去實(shí)現(xiàn)部分的智能功能，從而引發(fā)了以神經(jīng)網(wǎng)絡(luò)為核心的人工智能研究的大潮。偏置輸入數(shù)據(jù)權(quán)重激活函數(shù)輸出數(shù)據(jù)閾值神經(jīng)網(wǎng)絡(luò)通過(guò)神經(jīng)元模塊可以像搭建積木一樣構(gòu)建更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)模8人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元偏置輸入數(shù)據(jù)型。權(quán)重激活函數(shù)輸出數(shù)據(jù)閾值:

模擬生物神經(jīng)網(wǎng)絡(luò)中來(lái)自其他神經(jīng)元的輸入；: 模擬生物神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元接收的突觸的不同強(qiáng)度；:

模擬生物神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的基準(zhǔn)敏感性；:

模擬生物神經(jīng)網(wǎng)絡(luò)中信號(hào)量達(dá)到某個(gè)閾值后產(chǎn)生的動(dòng)作電位，達(dá)到閾值θ后就會(huì)“激活”；:

模擬生物神經(jīng)網(wǎng)絡(luò)中神經(jīng)元對(duì)外釋放的信號(hào)。9人臉識(shí)別任務(wù)?10010203040511構(gòu)建數(shù)據(jù)集：構(gòu)建一個(gè)人臉照片的數(shù)據(jù)集合，對(duì)這個(gè)數(shù)據(jù)集中的每張照片都進(jìn)行人工標(biāo)注性別。劃分?jǐn)?shù)據(jù)集：把這個(gè)數(shù)據(jù)集分為兩個(gè)部分：訓(xùn)練集和測(cè)試集。提取特征：在訓(xùn)練集中，對(duì)每張人臉照片，提取相應(yīng)的特征，如眉毛、頭發(fā)長(zhǎng)短、嘴唇等。124.

算法設(shè)計(jì)：使其能通過(guò)照片提取的特征準(zhǔn)確地預(yù)測(cè)出人臉照片的性別，最簡(jiǎn)單的方式就是給出一些規(guī)則，可以寫出多條規(guī)則，可以更加準(zhǔn)確地進(jìn)行預(yù)測(cè)。5.

評(píng)估：把算法在訓(xùn)練數(shù)據(jù)上訓(xùn)練好之后，在測(cè)試集上進(jìn)行評(píng)估，如果在測(cè)試集上表現(xiàn)較好，那就說(shuō)明訓(xùn)練的算法是可以使用的；如果在測(cè)試集上效果不好，那就說(shuō)明訓(xùn)練的算法還需要進(jìn)一步完善，所以返回上一步，進(jìn)一步改進(jìn)算法，然后再次評(píng)估，直到效果滿意為止。13從0到1，最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)14感知機(jī)：從0到1，最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)f

(

x)

sign(wT

x

b)L(w,b)

yi

w

xi

b

xi

M

w

L(w,

b)

yi

xi15

b

L(w,

b)

yi? ?w

w

yixib

b

yi?16???+117?=

? +???

????+1=??

+???感知機(jī)：從0到1，最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)多層感知機(jī)18感知機(jī)感知機(jī)感知機(jī)多層感知機(jī)：從1到100實(shí)際上就是將大量單層感知機(jī)進(jìn)行組合，用不同的方法進(jìn)行連接并作用在不同的激活函數(shù)上。192021多層感知機(jī)：從1到10022多層感知機(jī)：從1到1002E

1

y

t

2i23Δw

E

wii24Δw

E

wi25多層感知機(jī)：從1到10026多層感知機(jī)：從1到10027多層感知機(jī)：從1到1002829反向傳播算法30反向傳播算法31層間學(xué)習(xí)法3233卷積神經(jīng)網(wǎng)絡(luò)（Convolutional

Neural

Network，CNN）34卷積神經(jīng)網(wǎng)絡(luò)35卷積神經(jīng)網(wǎng)絡(luò)36去均值歸一化去相關(guān)白化原圖卷積神經(jīng)網(wǎng)絡(luò)37卷積神經(jīng)網(wǎng)絡(luò)38卷積神經(jīng)網(wǎng)絡(luò)39卷積神經(jīng)網(wǎng)絡(luò)40卷積神經(jīng)網(wǎng)絡(luò)41卷積神經(jīng)網(wǎng)絡(luò)42卷積神經(jīng)網(wǎng)