人工智能(五)機(jī)器學(xué)習(xí)課件

1、1人工智能Artificial Intelligence北京信息科技大學(xué)計(jì)算機(jī)學(xué)院李寶安2機(jī)器學(xué)習(xí)-Machine learning人工智能的一個(gè)重要分支對(duì)人類“學(xué)習(xí)”智能的模擬過(guò)程為AI知識(shí)獲取的一種重要技術(shù)成為AI專家系統(tǒng)和其他智能系統(tǒng)的重要“智能接口”，可有效地提升系統(tǒng)的性能，改進(jìn)與完善系統(tǒng)的功能。增加系統(tǒng)的可用性。3機(jī)器學(xué)習(xí)的發(fā)展歷程通用學(xué)習(xí)系統(tǒng)研究 50年代中期，當(dāng)時(shí)的人工智能的研究著重于符號(hào)表示和啟發(fā)式方法的研究，而機(jī)器學(xué)習(xí)卻致力于構(gòu)造一個(gè)沒(méi)有或者只有很少初始知識(shí)的通用系統(tǒng)，這種系統(tǒng)所應(yīng)用的主要技術(shù)有神經(jīng)元模型，決策論和控制論。 神經(jīng)元的研究在當(dāng)時(shí)沒(méi)能取得實(shí)質(zhì)性進(jìn)展，作為對(duì)照，一種

2、最簡(jiǎn)單，最原始的學(xué)習(xí)方法機(jī)械學(xué)習(xí)，又成為死記式學(xué)習(xí)，卻取得了顯著的成功。該方法通過(guò)記憶和評(píng)價(jià)外部環(huán)境提供的信息來(lái)達(dá)到學(xué)習(xí)的目的。采用該方法的代表性成果是A. L. Samuel于50年代末設(shè)計(jì)的跳棋程序，隨著使用次數(shù)的增加，該程序會(huì)積累性記憶有價(jià)值的信息，很快達(dá)到大師級(jí)水平。正是機(jī)械學(xué)習(xí)的成功激勵(lì)了研究者們繼續(xù)進(jìn)行機(jī)器學(xué)習(xí)的探索性研究。基于符號(hào)表示的概念學(xué)習(xí)系統(tǒng)研究基于知識(shí)的各種學(xué)習(xí)系統(tǒng)研究聯(lián)結(jié)學(xué)習(xí)和符號(hào)學(xué)習(xí)的深入研究4基于符號(hào)表示的概念學(xué)習(xí)系統(tǒng)研究 如果說(shuō)第一時(shí)期的研究是用數(shù)值和統(tǒng)計(jì)方法的話，這一時(shí)期的研究則綜合了邏輯和圖結(jié)構(gòu)的表示。研究的目標(biāo)是表示高級(jí)知識(shí)的符號(hào)描述及獲取概念的結(jié)構(gòu)假設(shè)。這

3、時(shí)期的工作主要有概念獲取和各種模式識(shí)別系統(tǒng)的應(yīng)用。其中，最有影響的開發(fā)工作當(dāng)屬Winston的基于示例歸納的結(jié)構(gòu)化概念學(xué)習(xí)系統(tǒng)。受其影響，人們研究了從例子中學(xué)習(xí)結(jié)構(gòu)化概念的各種不同方法。也有部分研究者構(gòu)造了面向任務(wù)的專用系統(tǒng)，這些系統(tǒng)旨在獲取特定問(wèn)題求解任務(wù)中的上下文知識(shí)，代表性工作由Hunt&C.I.Hovland的CLS及B.G.Buchanan等得META-DENDRAL，后者可以自動(dòng)生成規(guī)則來(lái)解釋DENDRAL系統(tǒng)中所用的質(zhì)普數(shù)據(jù)。這個(gè)實(shí)際機(jī)器學(xué)習(xí)的研究者已意識(shí)到應(yīng)用知識(shí)來(lái)指導(dǎo)學(xué)習(xí)的重要性，并且開始將領(lǐng)域知識(shí)編入學(xué)習(xí)系統(tǒng)。5基于知識(shí)的各種學(xué)習(xí)系統(tǒng)研究 這一時(shí)期，人們不再局限于構(gòu)造概念學(xué)

4、習(xí)系統(tǒng)和獲取上下文知識(shí)，同時(shí)也結(jié)合了問(wèn)題求解中的學(xué)習(xí)，概念聚類，類比推理及機(jī)器發(fā)現(xiàn)的工作。一些成熟的方法開始用于輔助構(gòu)造專家系統(tǒng)，并不斷的開發(fā)新的學(xué)習(xí)方法，使機(jī)器學(xué)習(xí)達(dá)到一個(gè)新的時(shí)期。這時(shí)期的工作特點(diǎn)有：基于知識(shí)的方法：著重強(qiáng)調(diào)應(yīng)用面向任務(wù)的知識(shí)和指導(dǎo)學(xué)習(xí)過(guò)程的約束。從早先的無(wú)知識(shí)學(xué)習(xí)系統(tǒng)的失敗中吸取的教訓(xùn)就是：為獲取新的知識(shí)，系統(tǒng)必須事先具備大量的初始知識(shí)。開發(fā)各種各樣的學(xué)習(xí)方法，除了早先從例子中學(xué)習(xí)外，各種有關(guān)的學(xué)習(xí)策略相繼出現(xiàn)，如示教學(xué)習(xí)，觀察學(xué)習(xí)和發(fā)現(xiàn)學(xué)習(xí)。同時(shí)也出現(xiàn)了如類比學(xué)習(xí)和基于解釋的學(xué)習(xí)等方法。結(jié)合生成的選擇學(xué)習(xí)任務(wù)的能力：應(yīng)用啟發(fā)式知識(shí)與學(xué)習(xí)任務(wù)的生成和選擇，包括提出收集數(shù)據(jù)

5、的方式，選擇要獲取的概念與控制系統(tǒng)的注意力等 7機(jī)器學(xué)習(xí)的簡(jiǎn)單模型環(huán)境知識(shí)庫(kù)學(xué)習(xí)環(huán)節(jié)執(zhí)行環(huán)節(jié) 環(huán)境向系統(tǒng)的學(xué)習(xí)環(huán)節(jié)提供某些信息，學(xué)習(xí)環(huán)節(jié)利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分的效能；執(zhí)行環(huán)節(jié)根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)環(huán)節(jié)。在具體的應(yīng)用中，環(huán)境、知識(shí)庫(kù)和執(zhí)行部件決定了具體的工作內(nèi)容，學(xué)習(xí)環(huán)節(jié)所需解決的問(wèn)題完全由其余3個(gè)部分確定。 環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息描述體，分別代表外界信息的來(lái)源和系統(tǒng)擁有的知識(shí)（包括學(xué)習(xí)的結(jié)果）。學(xué)習(xí)環(huán)節(jié)和執(zhí)行環(huán)節(jié)代表兩個(gè)過(guò)程。8機(jī)器學(xué)習(xí)的類別機(jī)械學(xué)習(xí)或通過(guò)死記學(xué)習(xí)（Rote Learning) 從特殊特殊的學(xué)習(xí)過(guò)程。通過(guò)指點(diǎn)或教授

6、學(xué)習(xí)（Learning by being told) 從一般特殊的學(xué)習(xí)過(guò)程。通過(guò)例子學(xué)習(xí)（Learning from Examples)或概念學(xué)習(xí)（Concept Learning) 從特殊一般的學(xué)習(xí)過(guò)程。通過(guò)類比學(xué)習(xí)（Learning by Analogy) 從特殊事例概括出類比關(guān)系和轉(zhuǎn)換規(guī)則的學(xué)習(xí)過(guò)程。10機(jī)械學(xué)習(xí)應(yīng)用實(shí)例西文排版系統(tǒng)中的“Hyphen”問(wèn)題文本排布子系統(tǒng)，如單詞revolutionre-volu-tion,對(duì)西文單詞的切分，即“Hyphen”過(guò)程,以便符合西文文字媒體的排版要求。解決之道：建立”特殊詞詞典”，利用機(jī)械學(xué)習(xí)方法，提高對(duì)西文單詞的“Hyphen”正確率。另：S

7、amuel西洋跳棋程序，采用了機(jī)械學(xué)習(xí)的方法。11通過(guò)指點(diǎn)或教授學(xué)習(xí)（Learning by being told)從一般特殊的學(xué)習(xí)過(guò)程。系統(tǒng)通過(guò)與用戶的相互對(duì)話，把用戶的一般性意見(jiàn)或指示具體化，或協(xié)助用戶補(bǔ)充和修改原有的知識(shí)庫(kù)。應(yīng)用實(shí)例：Randall Davis建立的TEIRESIAS投資分析系統(tǒng)。-用于選擇合適的投資市場(chǎng)。12專家程序解釋知識(shí)傳遞TEIRESIAS系統(tǒng)學(xué)習(xí)過(guò)程：專家提出一個(gè)咨詢的實(shí)例，考察系統(tǒng)的工作，通過(guò)觀察其工作的過(guò)程，發(fā)覺(jué)是否存在錯(cuò)誤。系統(tǒng)幫助專家追蹤整個(gè)推理過(guò)程，找到錯(cuò)誤發(fā)生的原因，并對(duì)專家提出的新規(guī)則進(jìn)行解釋，檢查其是否與已有的知識(shí)庫(kù)一致。 由于系統(tǒng)能不斷地向用戶

8、解釋其工作過(guò)程，因而用戶不必對(duì)系統(tǒng)的結(jié)構(gòu)和原理有深入的理解，就能將知識(shí)傳授給系統(tǒng)。建立比較符合實(shí)際領(lǐng)域需要的規(guī)則。系統(tǒng)中的規(guī)則示例： IF (1)長(zhǎng)期投資 (2)投資收益大于10% (3)投資領(lǐng)域未定 THEN AT&T(美國(guó)電話、電報(bào)公司）可以作為投資地點(diǎn)（0.4） 14關(guān)于概念的形成 心理學(xué)家用概念形成（concept formation）或概念學(xué)習(xí)(concept learning)來(lái)描述對(duì)一般物體或事件的分類特征作出反應(yīng)的發(fā)展能力。概念是從智力形成的對(duì)物體、事件、或是思想的一套分類特征。概念引導(dǎo)我們對(duì)物體或事件進(jìn)行分類。在學(xué)習(xí)概念的過(guò)程中，你必須集中注意在它們之間的特征聯(lián)系上而忽略它們

9、之間的非關(guān)聯(lián)。比如說(shuō)，精裝書和平裝書都是書。但是你必須可以區(qū)分基本的關(guān)聯(lián)特征：一堆紙并不是一本書。那么書的至關(guān)緊要的特征是什么呢？通常認(rèn)為是這堆紙的綁定后的存在形式，是書。然而，多數(shù)的概念，并不是通過(guò)簡(jiǎn)單的一條兩條的關(guān)鍵特征就能辨別清楚的。 許多的理論試圖解釋我們是如何學(xué)習(xí)概念的。Clark Hull就用刺激反應(yīng)的聯(lián)結(jié)理論解釋。他認(rèn)為我們學(xué)習(xí)一個(gè)特殊的反應(yīng)（概念）并把它與刺激的變體相聯(lián)系最終形成概念。比如我們學(xué)習(xí)“馬”這種概念，我們會(huì)聯(lián)系它的一些特點(diǎn)（比如四條腿，有皮毛，尾巴等等），然后我們會(huì)把這些概念移植到其他的不熟悉的馬上來(lái)用。 Eleanor Rosch認(rèn)為我們?cè)谌粘Ｉ钪兴玫淖匀桓拍?/p>

10、是從例子中學(xué)習(xí)得來(lái)的而不是從抽象的規(guī)則得來(lái)的。她的原型理論認(rèn)為，我們學(xué)習(xí)概念“馬”時(shí)，是先從看到廣泛的各種馬開始的，然后發(fā)展成為典型的認(rèn)識(shí)馬應(yīng)該是什么樣子的。 15關(guān)于馬的認(rèn)知模型概念形成概念學(xué)習(xí)機(jī)械學(xué)習(xí)17 Tom M. Mitchell對(duì)機(jī)器學(xué)習(xí)的經(jīng)典的系統(tǒng)設(shè)計(jì)：（1）要學(xué)習(xí)的知識(shí)的確切類型（2）對(duì)于這個(gè)目標(biāo)知識(shí)的表示（3）一種學(xué)習(xí)機(jī)制18短毛尾，長(zhǎng)尾，球尾，卷尾尾：掃把尾長(zhǎng)耳，短耳耳朵：短耳皮毛顏色：黃，棕，褐，栗，黑，白，花色卷毛，短毛，長(zhǎng)毛皮毛：短毛10公斤左右體重：40公斤以上四爪四蹄肉食，雜食草食哺乳類動(dòng)物反例正例19學(xué)習(xí)任務(wù)已知： 實(shí)例集 假設(shè)集 目標(biāo)概念 訓(xùn)練樣例求解20缺點(diǎn)

11、從學(xué)習(xí)規(guī)則從認(rèn)知角度示例演示特征1：哺乳類；草食；四蹄；90；短毛；棕色；短耳；掃把尾特征2：哺乳類；肉食；兩手兩腳；60；長(zhǎng)毛；棕色；長(zhǎng)耳；長(zhǎng)尾 21222425272829概念學(xué)習(xí)（Concept Learning)-雙空間模型示例空間規(guī)則空間解釋實(shí)驗(yàn)規(guī)劃示例的選取示例空間：所給出的可能訓(xùn)練示例集合規(guī)則空間：可以是具體的規(guī)則、概念或執(zhí)行環(huán)節(jié)所需要的知識(shí)的一種高級(jí)描述。30規(guī)則空間空描述訓(xùn)練示例最一般最特殊規(guī)則空間的排列31概念空間H空描述訓(xùn)練示例最一般最特殊概念空間的范圍G集S集說(shuō)明：1. G集為極大一般（Genural)模式的邊界集 2. S集為極大特殊(Special）模式的邊界集 3

12、. H集為介于G集和S集之間的所有可能的概念的假設(shè)集（即概念空間）32概念學(xué)習(xí)-后選假設(shè)消去算法初始化H，H為整個(gè)規(guī)則空間，這時(shí)G集只包含空描述，S集包含空間中所有最特殊的概念（實(shí)際上S集初始化時(shí)，只需包含一個(gè)正例。）接受訓(xùn)練示例。若為正例，則修改G集，首先把不符合新示例的所有概念從G集中刪去，然后更新S集，使S集包含新老示例所有最特殊公用的一般化部分，即盡量少對(duì)S集中的元素做一般化處理。若為反例，則先修改S集，首先把符合反例的所有概念從S集中刪去，然后更新G集，使G集包含新老示例所有最一般公用的特殊化部分，即盡量少對(duì)G集中的元素做特殊化處理。使其排除這個(gè)新反例。重復(fù)step2，直到G集=S集

13、。此時(shí)，H集=G集=S集。輸出H（G或S）。說(shuō)明：上面算法中step2的要點(diǎn)： 正例-主要對(duì)S集進(jìn)行更新，使其更一般化。 反例-主要對(duì)G集進(jìn)行更新，使其更特殊化。33概念學(xué)習(xí)實(shí)例-Winston的關(guān)于”拱”的概念的學(xué)習(xí)正例1反例1反例2正例2拱概念的示例序列34拱橫梁左立柱右立柱STEP1: 給出正例1，概念空間的S集和G集如下（用語(yǔ)義網(wǎng)絡(luò)來(lái)表示）：G集拱長(zhǎng)方體長(zhǎng)條體橫梁左立柱右立柱IS-AAKOSupportLeft-ofS集35STEP2: 給出反例1，修改概念空間的G集，使之更加特殊化，以便排除反例1的情況，S集可保持不變，如下所示：說(shuō)明：引入“請(qǐng)求”鏈接，即Must-support修改后的G集拱橫梁左立柱右立柱Must-Support36STEP3: 給出反例2，進(jìn)一步修改概念空間的G集，使之更加特殊化，以便排除反例2的情況，S集可保持不變，如下所示：說(shuō)明：引入“禁止”鏈接，即Must-not-tough修改后的G集拱橫梁左立柱右立柱Must-SupportMust-not-tough37STEP4: 給出正例2，應(yīng)修改概念空間的S集，使之更一般化如下所示：修改后的S集說(shuō)明：引入“爬樹”鏈接，即Must-be-a, 以取代原來(lái)的IS-A拱長(zhǎng)條體橫梁左立柱右立