人工智能與專家系統(tǒng)第七章

第七章機器學(xué)習(xí)7.1概述7.2歸納學(xué)習(xí)7.3決策樹學(xué)習(xí)7.4基于實例的學(xué)習(xí)本章小結(jié)課后練習(xí)題普通高等院?！笆濞曇?guī)劃教材第七章機器學(xué)習(xí)機器能否像人類一樣具有學(xué)習(xí)才干呢？1959年美國的塞繆爾設(shè)計了一個下棋程序，這個程序具有學(xué)習(xí)才干，它可以在不斷的對弈中改善本人的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個堅持8年之久的常勝不敗的冠軍。它向人們展現(xiàn)了機器學(xué)習(xí)的才干。本章主要引見機器學(xué)習(xí)的根本概念和歸納學(xué)習(xí)、決策樹學(xué)習(xí)、基于實例的學(xué)習(xí)等詳細的機器學(xué)習(xí)方法，希望讀者能對這一領(lǐng)域有一個初步的了解和認識。普通高等院?！笆濞曇?guī)劃教材7.1概述機器學(xué)習(xí)的研討是根據(jù)生理學(xué)、認知科學(xué)等對人類學(xué)習(xí)機理的了解，建立人類學(xué)習(xí)過程的計算模型或認識模型，開展各種學(xué)習(xí)實際和學(xué)習(xí)方法，研討通用的學(xué)習(xí)算法并進展實際上的分析，建立面向義務(wù)的具有特定運用的學(xué)習(xí)系統(tǒng)。這些研討目的相互影響相互促進。自從1980年在卡內(nèi)基-梅隆大學(xué)召開第一屆機器學(xué)術(shù)研討會以來，機器學(xué)習(xí)的研討任務(wù)開展很快，已成為中心課題之一。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)1．關(guān)于機器學(xué)習(xí)的定義Langley(1996)定義的“機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研討對象是人工智能，特別是如何在閱歷學(xué)習(xí)中改善詳細算法的性能。〞TomMitchell的機器學(xué)習(xí)(1997)對信息論中的一些概念有詳細的解釋,其中定義機器學(xué)習(xí)時提到，“機器學(xué)習(xí)是對能經(jīng)過閱歷自動改良的計算機算法的研討〞Alpaydin(2004)也提出本人對機器學(xué)習(xí)的定義，“機器學(xué)習(xí)是用數(shù)據(jù)或以往的閱歷，以此優(yōu)化計算機程序的性能規(guī)范。〞顧名思義，機器學(xué)習(xí)是研討如何運用機器來模擬人類學(xué)習(xí)活動的一門學(xué)科。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)稍為嚴厲的提法是：機器學(xué)習(xí)是一門研討機器獲取新知識和新技藝，并識別現(xiàn)有知識的學(xué)問。這里所說的“機器〞，指的就是計算機，如今是電子計算機，以后還能夠是中子計算機、光子計算機或神經(jīng)計算機等等。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)2．機器學(xué)習(xí)的開展簡史最早的具有學(xué)習(xí)才干的程序是年美國的設(shè)計的跳棋程序。第一階段是20世紀50到60年代的探求階段。主要成果有：感知機(Perceptron)；Friedberg等模擬隨機突變和自然選擇過程的程序；Hunt等的決策樹歸納程序CLS。第二階段是20世紀70年代的開展階段。主要系統(tǒng)和算法包括：Winston的積木世界學(xué)習(xí)系統(tǒng)；Michalski基于邏輯的歸納學(xué)習(xí)系統(tǒng)AQVAL；Michalski和Chilausky的AQII；Quinlan的ID3程序；Mitchell的版本空間方法。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)第三階段是20世紀80年代至今的鼎盛階段。主要成果有：一方面?zhèn)鹘y(tǒng)的符號學(xué)習(xí)的各種方法已日臻完善。另一方面，機器學(xué)習(xí)的根底實際的研討越來越引起人們的注重。3．機器學(xué)習(xí)的普通步驟圖7.1.1機器學(xué)習(xí)的根本系統(tǒng)構(gòu)造模型普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)“環(huán)境〞是指外部信息的來源，它為系統(tǒng)的學(xué)習(xí)提供有關(guān)信息；“學(xué)習(xí)〞是系統(tǒng)的學(xué)習(xí)構(gòu)造，從環(huán)境中獲得外部信息，然后經(jīng)分析、綜合、類比和歸納等思想過程獲得知識，并存入知識庫中更新知識庫；“知識庫〞用于存放由學(xué)習(xí)得到的知識，在存儲時要適當?shù)慕M織，便于運用和維護；“執(zhí)行〞環(huán)節(jié)是基于學(xué)習(xí)得到的新的知識庫，它執(zhí)行一系列的義務(wù)。此外還需將執(zhí)行結(jié)果信息反響給學(xué)習(xí)環(huán)節(jié)，以完成對新“知識庫〞的評價，指點進一步的學(xué)習(xí)任務(wù)。普通高等院?！笆濞曇?guī)劃教材7.1.1什么是機器學(xué)習(xí)圖7.1.2機器系統(tǒng)學(xué)習(xí)環(huán)節(jié)的普經(jīng)過程普通高等院?！笆濞曇?guī)劃教材7.1.2機器學(xué)習(xí)方法的分類1．按學(xué)習(xí)時所用的分類方法進展分類：〔1〕機械式學(xué)習(xí)〔2〕示教學(xué)習(xí)〔3〕類比學(xué)習(xí)〔4〕解釋學(xué)習(xí)2．按推理的戰(zhàn)略分類〔1〕演繹學(xué)習(xí)〔2〕歸納學(xué)習(xí)3．按綜合要素分類〔1〕銜接學(xué)習(xí)〔2〕分析學(xué)習(xí)〔3〕分類器系統(tǒng)普通高等院?！笆濞曇?guī)劃教材7.1.3機器學(xué)習(xí)中的推理方法〔1〕演繹推理演繹推理是結(jié)論可從叫做前提的知現(xiàn)實必然的得出的推理。假設(shè)前提為真，那么結(jié)論必然為真?！?〕歸納推理所謂歸納推理，就是從個別性知識推出普通性結(jié)論的推理。歸納推理的前提是其結(jié)論的必要條件?！?〕類比推理類比推理是根據(jù)兩個或兩類對象有部分屬性一樣，從而推出它們的其他屬性也一樣的推理。簡稱類推、類比。它是以關(guān)于兩個事物某些屬性一樣的判別為前提，推出兩個事物的其他屬性一樣的結(jié)論的推理。普通高等院?！笆濞曇?guī)劃教材7.2歸納學(xué)習(xí)歸納學(xué)習(xí)是人工智能中開展較為成熟，并得到廣泛的研討和運用的學(xué)習(xí)方法。它是是由一些實例或反例，經(jīng)過歸納推理得出該概念的普通描畫。實現(xiàn)實例到規(guī)那么的歸納推理過程就是歸納學(xué)習(xí)過程。它的普通操作是泛化和特化，泛化用來擴展假設(shè)的語義信息，以使其可以包含更多的正例，運用于更多的情況。特化是泛化的相反的操作，用于限制概念描畫的運用范圍。普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學(xué)習(xí)的根本概念歸納是指從個別到普通，從部分到整體的推論行為。歸納推理是運用歸納方法所進展的推理，即從足夠多的實例中歸納出普通性的知識，它是一種從個別到普通的推理。歸納學(xué)習(xí)是運用歸納推理進展學(xué)習(xí)的一種學(xué)習(xí)方法。歸納學(xué)習(xí)旨在從大量的閱歷數(shù)據(jù)中歸納抽取出普通的斷定規(guī)那么和方式，是從特殊情況推導(dǎo)出普通規(guī)那么的學(xué)習(xí)方法。它的目的是構(gòu)成合理的能解釋知現(xiàn)實和預(yù)見新現(xiàn)實的普通性結(jié)論。歸納學(xué)習(xí)由于依賴于閱歷數(shù)據(jù)，因此又被稱為閱歷學(xué)習(xí)；由于依賴于數(shù)據(jù)間的類似性，因此也被稱為基于類似性的學(xué)習(xí)。普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學(xué)習(xí)的根本概念1．歸納學(xué)習(xí)的雙空間模型圖7.2.1雙空間模型普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學(xué)習(xí)的根本概念2．歸納學(xué)習(xí)的分類歸納學(xué)習(xí)按其有無教師指點可分為例如學(xué)習(xí)和察看與發(fā)現(xiàn)學(xué)習(xí)。例如學(xué)習(xí)，又叫做概念獲取——它的義務(wù)是確定概念的普通描畫，這個描畫應(yīng)能解釋一切給定的正例，并排除一切給定的反例，由于學(xué)習(xí)是根據(jù)教師分好類的正反例進展學(xué)習(xí)，因此是有教師學(xué)習(xí)。察看與發(fā)現(xiàn)學(xué)習(xí)又稱為描畫的泛化——這類學(xué)習(xí)沒有教師的協(xié)助，它要產(chǎn)生解釋一切或大多數(shù)察看的規(guī)律和規(guī)那么，這些都是未經(jīng)分類的察看學(xué)習(xí)或是由系統(tǒng)本身的功能去發(fā)現(xiàn)。普通高等院?！笆濞曇?guī)劃教材7.2.1歸納學(xué)習(xí)的根本概念歸納學(xué)習(xí)還可以劃分為單概念學(xué)習(xí)和多概念學(xué)習(xí)兩類。典型的單概念學(xué)習(xí)系統(tǒng)包括米切爾的基于數(shù)據(jù)驅(qū)動的變型空間法，昆蘭的ID3方法，狄特利希和米哈爾斯基提出的基于模型驅(qū)動的Induce算法。典型的多概念學(xué)習(xí)方法和系統(tǒng)有米哈爾斯基的、元和程序等。多概念學(xué)習(xí)義務(wù)可以劃分成多個單概念學(xué)習(xí)的義務(wù)來完成。多概念學(xué)習(xí)與單概念學(xué)習(xí)的差別在于多概念學(xué)習(xí)必需處置概念之間的沖突問題。普通高等院?！笆濞曇?guī)劃教材7.2.2變型空間學(xué)習(xí)1．變型空間的構(gòu)造7.2.2變型空間排序的關(guān)系普通高等院?！笆濞曇?guī)劃教材7.2.2變型空間學(xué)習(xí)2.候選項刪除算法算法過程：〔1〕初始化H為整個概念空間〔規(guī)那么空間〕?！?〕接受一個新的示教例子?！?〕反復(fù)步驟〔2〕，直到G=S，且使這兩個集合都只含有一個元素為止?！?〕輸出H中的概念，即輸出G或S。普通高等院?！笆濞曇?guī)劃教材7.3決策樹學(xué)習(xí)決策樹學(xué)習(xí)是運用最廣泛的歸納學(xué)習(xí)，特別是在專家系統(tǒng)、工業(yè)控制過程、金融保險預(yù)測以及醫(yī)療診斷等領(lǐng)域。假設(shè)學(xué)習(xí)的義務(wù)是對一個大的實例集合做概念分類的歸納定義，而這些例子都是用一些無構(gòu)造的屬性值對來表示，那么可以采用決策樹學(xué)習(xí)算法。亨特(Hunt)的概念學(xué)習(xí)系統(tǒng)CLS是一種早期的基于決策樹的歸納學(xué)習(xí)系統(tǒng)。1979年，昆蘭對此進展了開展，提出了ID3算法，該算法不僅能方便地表示概念屬性值信息的構(gòu)造，而且能從大量實例數(shù)據(jù)中有效地生成相應(yīng)的決策樹模型。普通高等院?！笆濞曇?guī)劃教材7.3.1決策樹及構(gòu)造算法所謂決策樹是一個類似流程圖的樹構(gòu)造，其中樹的每個結(jié)點對應(yīng)一個特征〔屬性〕變量值的檢驗，每個分枝表示檢驗結(jié)果，樹枝上的葉結(jié)點代表所關(guān)懷的因變量的取值，最頂端的結(jié)點稱為根結(jié)點，內(nèi)結(jié)點用矩形框表示，葉結(jié)點用橢圓框表示。從根結(jié)點到每個葉結(jié)點都有獨一的一條途徑，這條途徑就是一條決策“規(guī)那么〞。假設(shè)每個內(nèi)結(jié)點都恰好有兩個分枝，那么稱為二叉樹，類似可定義多叉樹，在一切的決策樹中，二叉樹最為常用。普通高等院?！笆濞曇?guī)劃教材7.3.1決策樹及構(gòu)造算法

普通高等院?！笆濞曇?guī)劃教材7.3.2根本的決策樹學(xué)習(xí)算法

普通高等院?！笆濞曇?guī)劃教材7.3.2根本的決策樹學(xué)習(xí)算法

普通高等院?！笆濞曇?guī)劃教材7.4基于實例的學(xué)習(xí)基于實例的學(xué)習(xí)采用保管實例本身的方法來表達從實例集提取出的知識，并將未知的新實例與現(xiàn)有的類知的實例聯(lián)絡(luò)起來進展操作。這種方法直接在樣本上任務(wù)，不需求建立規(guī)那么?；趯嵗膶W(xué)習(xí)方法包括最近鄰法、部分加權(quán)回歸法、基于范例的推理法等等?；趯嵗膶W(xué)習(xí)只是簡單地把訓(xùn)練樣例存儲起來，對這些實例進展泛化的任務(wù)被推遲到必需分類新的實例時，所以也被稱為消極學(xué)習(xí)法。普通高等院?！笆濞曇?guī)劃教材7.4.1k-近鄰算法最近鄰法經(jīng)過間隔函數(shù)來判別訓(xùn)練集中的某個實例與哪個位置的測試實例最接近，一旦找到最接近的訓(xùn)練實例，那么最接近實例所屬的類就被預(yù)測為測試實例的類。本質(zhì)性的任務(wù)在對新的實例進展分類時進展，經(jīng)過間隔函數(shù)將每個新實例與現(xiàn)有的實例進展比較，利用最接近的現(xiàn)有實例賦予新實例類別，這就是最近鄰分類方法。有時運用多個最近鄰實例，并且用最近的K個鄰居所屬的多數(shù)類〔假設(shè)類是數(shù)值型，就是經(jīng)間隔加權(quán)的平均值〕賦予新的實例類別值，這就是K-近鄰法。普通高等院?！笆濞曇?guī)劃教材7.4.2間隔加權(quán)最近鄰法對K-近鄰算法的一個改良是對K個近鄰的奉獻進展加權(quán)，越近的間隔賦予越大的權(quán)值，這就是所謂的間隔加權(quán)最近鄰法。K-近鄰算法的一切變體都只思索K個近鄰用以分類查詢點，假設(shè)按間隔加權(quán)，那么可以允許一切的訓(xùn)練樣例都影響實例Xq的分類，由于間隔非常遠的實例影響很小。思索一切樣例的獨一缺乏是會使分類進展得更慢。假設(shè)分類一個新實例時，思索一切的訓(xùn)練樣例，可以稱其為全局法；假設(shè)僅思索接近的訓(xùn)練樣例，那么稱為部分法。普通高等院?！笆濞曇?guī)劃教材7.4.3基于范例的學(xué)習(xí)1．基于范例推理的普經(jīng)過程〔1〕聯(lián)想記憶〔2〕類比映射〔3〕獲得求解方案〔4〕評價2．范例的表示(1)SUM_NAMEslots：簡記為SMU槽。(2)Constraintslots：簡記為CON槽。(3)Taxonomyslots：簡記為TAX槽。(4)Causalityslots：簡記為CAU槽。(5)Similarityslots：簡記為SIM槽。普通高等院?！笆濞曇?guī)劃教材7.4.3基于范例的學(xué)習(xí)(6)Partonomyslots：簡記為PAR槽。(7)Csaeslots：簡記為CAS槽。(8)Theoryslots：簡記為THY槽。3．范例組織〔1〕范例內(nèi)容〔2〕范例索引4．范例的檢