高級人工智能課件6

人工智能ArtificialIntelligence7/21/20231安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院第六章機(jī)器學(xué)習(xí)6.1機(jī)器學(xué)習(xí)的定義、研究意義與發(fā)展歷史6.2機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)6.3–6.7幾種常用的學(xué)習(xí)方法6.8知識發(fā)現(xiàn)6.9小結(jié)7/21/20232安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史6.1.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義顧名思義,機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識和新技能,并識別現(xiàn)有知識的學(xué)問。

7/21/20233安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.1.2 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。無知識、自組織、自適應(yīng)、修改參數(shù)第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。消解，歸納學(xué)習(xí)第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。示例學(xué)習(xí)機(jī)器學(xué)習(xí)的最新階段始于1986年。網(wǎng)絡(luò)、遺傳、挖掘7/21/20234安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成課程。綜合各種學(xué)習(xí)方法

機(jī)器學(xué)習(xí)與人工智能問題的統(tǒng)一性觀點(diǎn)正在形成。各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究已形成熱潮。與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。

7/21/20235安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.2

機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)

6.2.1機(jī)器學(xué)習(xí)的主要策略按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種———機(jī)械學(xué)習(xí)、通過傳授學(xué)習(xí)、類比學(xué)習(xí)和通過事例學(xué)習(xí)。機(jī)械學(xué)習(xí)傳授學(xué)習(xí)類比學(xué)習(xí)系統(tǒng)通過事例學(xué)習(xí)7/21/20236安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.2.2機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

學(xué)習(xí)執(zhí)行圖6.1學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)環(huán)境知識庫7/21/20237安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)提供的信息，或者更具體地說是信息的質(zhì)量。知識庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識的表示有特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等多種形式。7/21/20238安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.3機(jī)械學(xué)習(xí)1.機(jī)械學(xué)習(xí)模式機(jī)械學(xué)習(xí)是最簡單的學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識存儲起來，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。它是一種最基本的學(xué)習(xí)過程。

(X1,X2,…,Xn)→(Y1,Y2,…,Yp)((X1,X2,…,Xn),

(Y1,Y2,…,Yp))7/21/20239安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院存儲計(jì)算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則圖6.2數(shù)據(jù)化簡級別圖

Lenat，Hayes-Roth，和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀點(diǎn)，見圖6.2。7/21/202310安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

2.機(jī)械學(xué)習(xí)的主要問題存儲組織信息：要采用適當(dāng)?shù)拇鎯Ψ绞?，使檢索速度盡可能地快。環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要。存儲與計(jì)算之間的權(quán)衡：對于機(jī)械學(xué)習(xí)來說很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。7/21/202311安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.4歸納學(xué)習(xí)歸納學(xué)習(xí)（inductionlearning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。6.4.1歸納學(xué)習(xí)的模式和規(guī)則

1.歸納學(xué)習(xí)的模式

解釋過程實(shí)例空間規(guī)則空間規(guī)劃過程7/21/202312安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.4歸納學(xué)習(xí)2.歸納概括規(guī)則 變型(版本)空間(VersionSpace)

取消部分條件(去合取)Suit(C,clubs)Rank(C,7)→草花Suit(C,clubs)

→草花放松條件(加析取)Suit(C1,clubs)Rank(C1,7)→草花(Suit(C1,clubs)Rank(C1,7))

(Suit(C2,clubs)Rank(C2,8))

→草花7/21/202313安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.4歸納學(xué)習(xí)2.歸納概括規(guī)則 變型空間(VersionSpace)

沿概念樹上塑(個(gè)別到一般)Suit(C1,clubs)Rank(C1,9)→草花

………………Suit(Cn,clubs)Rank(Cn,3)→草花Suit(Cm,clubs)Rank(Cm,J)→草花Suit(C,clubs)Rank(C,[L=S])

→草花形成閉合區(qū)域Youth(P1,18)

→青年； Youth(P2,25)

→青年Youth(P,[18，25])

→青年將常量轉(zhuǎn)換為變量Suit(C,clubs)Rank(C,7)→草花Suit(C,clubs)Rank(C,x)→草花7/21/202314安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.4歸納學(xué)習(xí)6.4.2歸納學(xué)習(xí)方法規(guī)則空間空描述訓(xùn)練示例較一般較具體假設(shè)集合GSP251規(guī)則空間的結(jié)構(gòu)假設(shè)(概念)空間的結(jié)構(gòu)7/21/202315安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.5類比學(xué)習(xí)6.5.1類比推理和類比學(xué)習(xí)方式類比學(xué)習(xí)（learningbyanalogy）就是通過類比，即通過對相似事物加以比較所進(jìn)行的一種學(xué)習(xí)。其推理過程如下：回憶與聯(lián)想---選擇---建立對應(yīng)關(guān)系---轉(zhuǎn)換

7/21/202316安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.5類比學(xué)習(xí)6.5.1類比推理和類比學(xué)習(xí)方式aS(源域),bT(目標(biāo)域)，P,Q為性質(zhì)

P(a)∧Q(a),P(a)≌P(b)┣Q(b)回憶與聯(lián)想：找出P(a)→Q(a)選擇：找出一般規(guī)律P(x)→Q(x),xS建立對應(yīng)關(guān)系:P(x)→Q(x),xT轉(zhuǎn)換:P(b),P(x)→Q(x)┣Q(b)7/21/202317安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.5.2類比學(xué)習(xí)過程與研究類型類比學(xué)習(xí)主要包括如下四個(gè)過程：輸入一組已知條件和一組未完全確定的條件。對兩組出入條件尋找其可類比的對應(yīng)關(guān)系。根據(jù)相似轉(zhuǎn)換的方法，進(jìn)行映射。對類推得到的知識進(jìn)行校驗(yàn)。7/21/202318安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院類比學(xué)習(xí)的研究可分為兩大類：

(1)問題求解型的類比學(xué)習(xí)

(2)預(yù)測推定型的類比學(xué)習(xí)。它又分為兩種方式：一是傳統(tǒng)的類比法:解決問題與以前相似的比較。

另一是因果關(guān)系型的類比：找出事物的其他屬性；A’,A→B┣A’→B’7/21/202319安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.6解釋學(xué)習(xí)6.6.1解釋學(xué)習(xí)過程和算法

1986年米切爾（Mitchell）等人為基于解釋的學(xué)習(xí)提出了一個(gè)統(tǒng)一的算法EBG：訓(xùn)練例子操作準(zhǔn)則知識庫新規(guī)則目標(biāo)概念7/21/202320安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院EBG求解問題的形式可描述于下:給定：(1)目標(biāo)概念描述TC(TargetConcept)

；(2)訓(xùn)練實(shí)例TE(TrainingExample)

；(3)領(lǐng)域知識DT(DomainTheory)；(4)操作準(zhǔn)則OC(OperationalityCriterion)

。求解：訓(xùn)練實(shí)例的一般化概括，使之滿足：(1)目標(biāo)概念的充分概括描述TC；(2)操作準(zhǔn)則OC。7/21/202321安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.6.2解釋學(xué)習(xí)舉例例6.2已知：物體x、y，使safe-to-stack(x,y)有：

safe-to-stack(x,y)→~fragile(y)∨lighter(x,y)

事實(shí)：

on(a,b); isa(a,brick); isa(b,endtable); volume(a,1); density(a,1); weight(b,5); times(1,1,1); less(1,5)……安全準(zhǔn)則：

lighter(x,y)→safe-to-stack(x,y) weight(P1,W1)∧weight(P2,W2)∧less(W1,W2)→lighter(P1,P2) volume(P,V)∧density(P,D)∧times(V,D,W)→weight(P,W)

isa(P,endtable)∧weight(endtable,5)→weight(P,5)7/21/202322安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院safe-to-stack解釋的證明樹safe-to-stack(a,b)lighter(a,b)weight(b,w2)times(V,D,w1)less(w1,w2)weight(a,w1)less(1,5)volume(a,V)isa(b,endtable)density(a,D)weight(b,w2)volume(a,1)density(a,1)times(1,1,1)weight(b,5)volume(X,V)∧density(X,D)∧times(V,D,W1)∧isa(Y,endtable)∧weight(Y,W2)∧less(W1,W2)→safe-to-stack(X,Y)5/w21/w1,5/w21/w11/D1/V7/21/202323安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.7神經(jīng)學(xué)習(xí)6.7.1基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)

反向傳播（back-propagation,BP）算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層傳播由總誤差引起的權(quán)值修正。7/21/202324安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.7.2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。

Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。7/21/202325安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

6.8知識發(fā)現(xiàn)

6.8.1知識發(fā)現(xiàn)的發(fā)展和定義知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展

知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論會上提出。知識發(fā)現(xiàn)的定義

數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在有用的、并可被理解的模式的高級處理過程。7/21/202326安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6.8.2知識發(fā)現(xiàn)的處理過程

1.數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)。

2.數(shù)據(jù)預(yù)處理。主要是對上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫。

7/21/202327安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3.數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。根