機器學習人工智能原理與應用

機器學習人工智能原理與應用第1頁，共50頁，2023年，2月20日，星期五機器學習就是計算機自動獲取知識，它是知識工程的三個分支（使用知識、表實知識、獲取知識）之一。這一章將介紹機器學習的基本問題，包括：為什么研究機器學習、什么是機器學習、機器學習的發(fā)展歷史、學習的一個模型、機器學習的分類和機器學習的研究目標。第2頁，共50頁，2023年，2月20日，星期五6.1概述

1.學習的概念學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有其不同的看法。按照人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或類似任務時，會比現(xiàn)在做得更好或效率更高。西蒙對學習給出的定義本身，就說明了學習的重要作用。6.1.1什么是機器學習第3頁，共50頁，2023年，2月20日，星期五2、機器學習什么叫做機器學習(machinelearning)？至今，還沒有統(tǒng)一的“機器學習”定義，而且也很難給出一個公認的和準確的定義。為了便于進行討論和估計學科的進展，有必要對機器學習給出定義，即使這種定義是不完全的和不充分的。顧名思義，機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。這里所說的“機器”，指的就是計算機；現(xiàn)在是電子計算機，以后還可能是中子計算機、光子計算機或神經(jīng)計算機等等。6.1專家系統(tǒng)概述6.1.1什么是機器學習第4頁，共50頁，2023年，2月20日，星期五1、機器學習速度驚人；2、機器學習可以把學習不斷地延續(xù)下去，避免大量的重復學習，使知識積累達到新的高度；3、機器學習有利于知識的傳播。6.1專家系統(tǒng)概述6.1.2研究機器學習的意義第5頁，共50頁，2023年，2月20日，星期五自從50年代開始研究機器學習以來，在不同時期的研究途徑和目標也不同。可以劃分三個階段。其研究內容分別為：神經(jīng)模型和決策理論；符號概念獲??；知識加強和論域專用學習；連接學習的研究。各階段的區(qū)別主要在于學習系統(tǒng)中先驗知識的數(shù)量和系統(tǒng)中表實與修改知識的方法。6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史第6頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史1、神經(jīng)模型和決策理論

神經(jīng)模型途徑是要發(fā)展初始知識很少的通用學習系統(tǒng)。這類系統(tǒng)通常稱為神經(jīng)網(wǎng)或自組織系統(tǒng)。系統(tǒng)包括一個由互連的元件組成的網(wǎng)絡。這些元件類似于神經(jīng)元，它們實現(xiàn)簡單的邏輯功能，通常是閾值邏輯功能。這種系統(tǒng)的學習過程是逐步修改元件間的連接強度，一般是連續(xù)改變賦給這些連接的權值。系統(tǒng)的初始知識是選定輸入元件、網(wǎng)絡結構和初始連接強度。選定的輸入元件表實對象的選定的屬性。網(wǎng)絡結構可能是任意的，或是設計者安排的，或是二者的混合。（后續(xù)）

第7頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史（承上）這類學習系統(tǒng)包括Perceptron,Pandemonium和使用鑒別功能的學習系統(tǒng)。近期的例子是各種自適應控制系統(tǒng)。這一領域的研究導致了在模式識別中的決策理論方法。這類研究有進化學習和遺傳學算法。這一領域的最新成果是連接機。

這一類系統(tǒng)的主要特點是初始知識的層次低，且使用連續(xù)可變的參數(shù)進行學習。這類學習有數(shù)值化的特征，這與后兩類學習不同。后兩類學習更強調產(chǎn)生和處理復雜的符號結構。

第8頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史2、符號概念獲取（SCA）

這類學習過程是通過分析一些概念的正例和反例構造出這些概念的符號表實。表實的形式一般是邏輯表達式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡。某些系統(tǒng)已經(jīng)實用于不同的領域。例如ARCH（Winston,1975）,AQVAL(Michalski,1975)和ID3（Quinlan,1979）。

第9頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史3、知識加強和論域專用學習（KDL）

系統(tǒng)包括預先確定的概念、知識結構、論域約束、啟發(fā)式規(guī)則和論域有關的變換。系統(tǒng)在開始并不具有所有的屬性或概念，在學習過程中系統(tǒng)應得到一些新的屬性或概念。這個過程稱為構造性的歸納。KDL和SCA之間的主要區(qū)別在于提供給系統(tǒng)的背景知識的數(shù)量和種類，也在于系統(tǒng)產(chǎn)生的知識結構的豐度。這類學習系統(tǒng)一般是為專門的領域開發(fā)的，不能直接用于其它領域。這類系統(tǒng)的學習策略不僅有實例學習，而且有類比學習、觀察和發(fā)現(xiàn)學習。這類系統(tǒng)的例子有Meta-DENDRAL和AM。

第10頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史（承上）許多系統(tǒng)體現(xiàn)出上述途徑的組合。SCA和KDL途徑的一種組合就是基于可交換知識模塊的系統(tǒng)。這種系統(tǒng)把通用學習機理和定義與使用論域專用知識的功能組合起來。當要系統(tǒng)解決一個問題時，教師通過系統(tǒng)的知識表實功能給它提供論域專用知識。由于把通用推理功能從論域專用知識中分出來，所以一個學習系統(tǒng)可以用于很多不同論域，同時還可利用論域專用知識。這類系統(tǒng)有INDUCE它由實例學習對象的結構描述。Winston的類比學習程序。LEX獲取和改進問題求解的啟發(fā)式。EURISKO發(fā)現(xiàn)新的啟發(fā)式。

第11頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.3機器學習的發(fā)展史4、連接學習的研究這一階段始于20世紀80年代中期，是一種以非線性大規(guī)模并行處理為主流的神經(jīng)網(wǎng)絡研究，該研究目前仍在繼續(xù)進行之中。第12頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略對機器學習的分類可以由下列幾方面進行：學習策略、知識表實和應用領域。學習策略是學習中使用的推理方法。下面將按學習策略分類，以便系統(tǒng)介紹不同的方法。

學習系統(tǒng)總是把環(huán)境提供的信息變換成新的形式，以便存貯和使用。這種變換的性質確定了學習策略的類型。幾種基本策略是：機械學習（記憶學習））、傳授學習、演繹學習、類比學習和歸納學習。歸納學習又分為實例學習、觀察與發(fā)現(xiàn)學習。這些策略是按變換復雜性遞增的次序排列的。變換越復雜，學習者的工作越多，施教者的工作越少。人類的學習往往同時使用多種策略。這里劃分不同的策略，不僅是為了介紹不同的方法，而且是便于設計學習系統(tǒng)。雖然現(xiàn)有的學習系統(tǒng)還只使用單一的策略，多種策略系統(tǒng)也將受到重視。

第13頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述1、機械學習（記憶學習在機械學習（記憶學習)中基本沒有變換。由施教者提供的信息或多或少被學習系統(tǒng)記憶和使用。這時環(huán)境提供的信息與執(zhí)行環(huán)節(jié)使用的信息有相同的水平，同樣的形式。實際上每臺計算機都可以看作是機械學習（記憶學習),因為它們都存貯用戶送入的程序。一個例子是Samuel的西洋象棋程序（1956，1967），它記憶每個棋局以便提高下棋水平。

6.1.4機器學習的主要策略第14頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略2、傳授學習（指點學習）

在傳授學習中，學習環(huán)節(jié)進行的變換只是對施教者提供的信息進行選擇和改造，這主要是在語法層的變換。這時環(huán)境提供的信息過于抽象，它的水平高于執(zhí)行環(huán)節(jié)所用信息的水平。學習環(huán)節(jié)把較高水平的知識變換為較低水平的知識。這種變換稱為實用化。實用化主要有下列步驟：由傳授的信息推出結論，作出假設以補充一些細節(jié)和確定何時需要進一步傳授。實用化過程類似于編譯系統(tǒng)把高級語言程序變換成機器碼程序。第一個例子是McCarthy(1958)的系統(tǒng)。最近的系統(tǒng)有TEIRESLAS（Davis,1976）和FOO（Mostow,1979和1981）。

第15頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略3、演繹學習

在演繹學習中，學習系統(tǒng)由給定的知識進行演繹的保真推理，并存儲有用的結論。這種策略近幾年才作為一種獨立的學習策略。（Michalski,1983）演繹學習包括知識改造、知識編譯、產(chǎn)生宏操作、保持等價的操作和它保真變換。

第16頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略4、歸納學習

在歸納學習中，變換過程是對輸入信息的一般化和選擇最合理的預期結果，這就是歸納推理。歸納學習可以分為以下實例學習、觀察與發(fā)現(xiàn)學習。（詳細介紹請參閱下頁）

第17頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略（1）實例學習

實例學習又稱為概念獲取，它的任務是確定概念的一般描述，這個描述應解釋所有給定的正例并排除所有給定的反例。這些正反例是由信息源提供的，信息源可能是已經(jīng)知道概念的施教者，也可能是學生做實驗而系統(tǒng)從中得到反饋的環(huán)境。后者可稱為實驗學習，包括由做學習和由問題求解學習。刺激反應式學習也是一種實例學習。

新對實例學習的研究集中在兩個方面：例子一類型的一般化，部分一整體的一般化。在例子一類型的一般化中，提供給系統(tǒng)某一類對象的獨立的實例，系統(tǒng)的目標是歸納出這些類的一般描述。實例學習的多數(shù)研究集中在這一方面。對象可能是結構化的部件、幾何形狀、疾病描述、故事、問題的解、控制算子等。在部分一整體的一般化中，任務是假設整個對象（情景，情況，過程）的描述，但只給定了對象的局部。例如，只給定一個房間的幾張局部的照片，要重構房間的整個視圖。又如，只看到一個序列或過程的一部分，要確定描述該序列或過程的規(guī)則。

第18頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略（2）觀察與發(fā)現(xiàn)學習

觀察與發(fā)現(xiàn)學習又稱為描述的一般化。這類學習沒有實教者的學習幫助，它要產(chǎn)生解釋所有或大多數(shù)觀察的規(guī)律和規(guī)則。這類學習包括概念聚類、構造分類、使方程符合數(shù)據(jù)、發(fā)現(xiàn)解釋觀察的定律和形成理論；遺傳學算法（Holland,1986）和經(jīng)驗預測算法（Zagoruiko,1976）可以看作這種策略的變種。

實例學習是由正反例學習，這些正反例是由施教者分類的。因此實例學習是有實教的學習。觀察與發(fā)現(xiàn)學習是由未經(jīng)分類的觀察學習，或由系統(tǒng)自身的功能去發(fā)現(xiàn)。這是無實教的學習。

第19頁，共50頁，2023年，2月20日，星期五6.1專家系統(tǒng)概述6.1.4機器學習的主要策略5、類比學習

類比學習是演繹學習與歸納學習的組合。它匹配不同論域的描述，確定公共的子結構，以此作為類比映射的基礎。尋找公共子結構是歸納推理，而實現(xiàn)類比映射是演繹推理。由提醒學習可以看作一種類比學習（Schank,1982）。類比學習是由系統(tǒng)已有的某一領域知識得到另一領域中類似的知識。

第20頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型一般把學習看作是建立理論，形成假設和進行歸納推理。理論能從本質上更深刻地描述和解釋客觀現(xiàn)象，因此要建立理論。為了解釋一些特殊現(xiàn)象，往往要發(fā)現(xiàn)各種可能的假說。有時要從特殊的實例推導出一般的規(guī)律，即進行歸納推理。學習過程總是與環(huán)境和知識庫有關，因此可以用下圖所實的模型描述。第21頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型模型中包含學習系統(tǒng)的四個基本組成環(huán)節(jié)。環(huán)境和知識庫是以某種知識表實形式表達的信息的集合，分別代表外界信息來源和系統(tǒng)具有的知識。學習環(huán)節(jié)和執(zhí)行環(huán)節(jié)代表兩個過程。學習環(huán)節(jié)處理環(huán)境提供的信息，以便改善知識庫中的顯式知識。執(zhí)行環(huán)節(jié)利用知識庫中的知識來完成某種任務，并把執(zhí)行中獲得的信息回送給學習環(huán)節(jié)。下面討論系統(tǒng)中各環(huán)節(jié)。

第22頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型6.2.1環(huán)境環(huán)境可以是系統(tǒng)的工作對象，也可以包括工作對象和外界條件。例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人新的癥狀、檢驗的數(shù)據(jù)和病歷；在模式識別中，環(huán)境就是待識別的圖形或景物；在控制系統(tǒng)中，環(huán)境就是受控的設備或生產(chǎn)流程。就環(huán)境提供給系統(tǒng)的信息來說，信息的水平和質量對學習系統(tǒng)有很大影響。

信息的水平是指信息的一般性程度，也就是適用范圍的廣泛性。這里的一般性程度是相對執(zhí)行環(huán)節(jié)的要求而言。高水平信息比較抽象，適用于更廣泛的問題。低水平信息比較具體，只適用于個別的問題。環(huán)境提供的信息水平和執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，學習環(huán)節(jié)的任務就是解決水平差距問題。（接下頁）第23頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型6.2.1環(huán)境（接上頁）如果環(huán)境提供較抽象的高水平信息，學習環(huán)節(jié)就要補充遺漏的細節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。如果環(huán)境提供較具體的低水平信息，即在特殊情況執(zhí)行任務的實例，學習環(huán)境就要由此歸納出規(guī)則，以便用于完成更廣的任務。

信息的質量是指：正確性、適當?shù)倪x擇和合理的組織。信息質量對學習難度有明顯的影響。例如，若施教者向系統(tǒng)提供準確的實教例子，而且提供例子的次序也有利于學習，則容易進行歸納。若實教例子中有干擾，或實例的次序不合理，則難以歸納。

第24頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型6.2.3知識庫影響學習系統(tǒng)設計的第二個因素是知識庫的形式和內容。

知識庫的形式就是知識表實的形式。常用的知識表實方法有：特征向量、謂詞演算、產(chǎn)生式規(guī)則、過程、LISP函數(shù)、數(shù)字多項式、語義網(wǎng)絡和框架。選擇知識表實方法要考慮下列準則：可表達性、推理難度、可修改性和可擴充性。下面以特征向量和謂詞演算方法為例說明這些準則。

可表達性方面特征向量適于描述缺乏內在結構的事物，它以一個固定的特征集合來描述事物。謂詞演算則適于描述結構化的事物。（后續(xù)）

6.2.2學習環(huán)節(jié)（放到后面同執(zhí)行環(huán)節(jié)一同講解）第25頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型6.2.3知識庫（承上）推理難度方面一種常用的推理是比較兩個描述是否等效。顯然判定兩個特征向量等效較容易，判定兩個謂詞表達式等效的代價就較大。

可修改性方面特征向量和謂詞演算這類顯式的表實都容易修改。過程表實等隱式的方法就難以修改，可擴充性是指學習系統(tǒng)通過增加詞典條目和表實結構來擴大表實能力，以便學習更復雜的知識。一個例子是AM（Lenat,1983），它可根據(jù)老概念定義新概念。

知識庫的內容中，初始知識是很重要的。它總要利用初始知識去理解環(huán)境提供的信息，以便形成和改進假設。學習系統(tǒng)實質上是對舊知識庫的擴充和完善。

第26頁，共50頁，2023年，2月20日，星期五6.2機器學習系統(tǒng)的基本模型

6.2.2學習環(huán)節(jié)與6.2.4執(zhí)行環(huán)節(jié)學習環(huán)節(jié)的目的就是改善執(zhí)行環(huán)節(jié)的行為。執(zhí)行環(huán)節(jié)的復雜性、反饋和透明度都對學習環(huán)節(jié)有影響。

復雜的任務需要更多的知識。二分分類是最簡單的任務，只需一條規(guī)則。某個玩樸克的程序有約20條規(guī)則。在由實例學習中，可以按任務復雜性分成三類。一類是基于單一概念或規(guī)則的分類或預測。一類是包含多個概念的任務。一類是多步執(zhí)行的任務。

執(zhí)行環(huán)節(jié)給學習環(huán)節(jié)的反饋也很重要。學習系統(tǒng)都要用某種方法去評價學習環(huán)節(jié)推薦的假設。一種方法是用獨立的知識庫作這種評價。例如AM程序用一些啟發(fā)式規(guī)則評價學到的新概念的重要性。另一種方法是以環(huán)境作為客觀的執(zhí)行標準，系統(tǒng)判定執(zhí)行環(huán)節(jié)是否按預期標準工作，由此反饋信息評價當時的假設。

若執(zhí)行環(huán)節(jié)有較好的透明度，學習環(huán)節(jié)就容易追蹤執(zhí)行環(huán)節(jié)的行為。第27頁，共50頁，2023年，2月20日，星期五6.3機械學習（記憶學習）記憶學習(RoteLearning)又稱為機械學習或死記硬背學習。這種學習直接記憶環(huán)境提供的新知識，并直接使用它們，對它們不作任何變換。

對于記憶學習有兩種極端的觀點。一種觀點認為，存儲對任何智能程序都是必要的、基本的，它不是獨立的學習過程，不必要專門研究。另一種觀點認為，存儲是一個復雜問題，對任何認知系統(tǒng)都是必要的，因此要詳細研究并模型化。一種折衷的觀點認為，一般學習系統(tǒng)不會只是記憶學習，但記憶學習是任何學習系統(tǒng)的一部分。任何學習系統(tǒng)都要存儲和使用它獲取的知識，因此要建立記憶學習過程，以便存放和讀取知識庫中的知識。

第28頁，共50頁，2023年，2月20日，星期五6.3機械學習（記憶學習）6.3.1機械學習（記憶學習）的過程Lenat(1979)提出一種獨特的觀點，他把記憶學習看作最低層次的數(shù)據(jù)處理。他劃分的數(shù)據(jù)處理層次如圖7.1所實。如果一個計算結果有普遍意義，就存儲起來。這就把計算任務簡化為存取任務。記憶是簡化數(shù)據(jù)處理，以空間換取時間的手段。圖7.1數(shù)據(jù)處理的層次

第29頁，共50頁，2023年，2月20日，星期五6.3機械學習（記憶學習）6.3.2機械學習（記憶學習）系統(tǒng)主要考慮的問題機械學習（記憶學習）（記憶學習）的設計要考慮三個問題：存儲結構、穩(wěn)定性和記憶與計算的權衡。

1.存儲結構

只有讀取所用時間少于重新計算所用時間時，機械學習（記憶學習）（記憶學習）才有實用價值。為了快速讀取存儲的內容，就要合理組織存儲結構。在數(shù)據(jù)結構和數(shù)據(jù)庫等領域已經(jīng)詳盡研究了排序、檢索和雜湊方法等有關問題。

2.環(huán)境穩(wěn)定性

使用機械學習（記憶學習）（記憶學習）時，總是認為保存的信息以后仍然有效。如果環(huán)境變化快，保存的信息就會失效而不能再使用。例如記憶的50年代汽車修理費用不能用來估計80年代汽車修理費用。解決方法是隨時監(jiān)視環(huán)境的變化，不斷更新保存的信息。

第30頁，共50頁，2023年，2月20日，星期五6.3機械學習（記憶學習）6.3.2機械學習（記憶學習）系統(tǒng)主要考慮的問題3.記憶與計算的權衡

為了確定是利用存儲的信息還是重新計算，要比較二者的代價。例如在數(shù)學用表中有三角函數(shù)表，可直接查表不必計算。因為計算比查表復雜。但在數(shù)學用表中不列出兩數(shù)乘積表，因計算并不復雜?？捎脙煞N方法選擇是記憶還是計算。一種是代價效益分析法。它在首次得到一個信息時，確定是否有必要保存它。這時要考慮該信息以后使用的概率、存儲空間和計算代價。另一種是有選擇的放棄。保存的內容在讀取時加上時間標志，這就是最后使用的時間。保存一項新內容時，要刪除一項舊內容，這是未使用的時間最長的舊內容。

第31頁，共50頁，2023年，2月20日，星期五6.4傳授式學習傳授學習(LearningbyBeingTold或LearningbyInstruction)又稱為指點學習。這時，環(huán)境提供的信息較抽象，水平較高，學習環(huán)節(jié)把這些信息變換成執(zhí)行環(huán)節(jié)使用的較低水平的信息。

1.要求

這是請求專家提出建議。有時對專家的要求是簡單的，即請專家提供一般的建議。有時要求是復雜的，即請專家識別知識庫的欠缺，并提出修改方法。有些系統(tǒng)是被動的，它消極等待專家提出建議。有些系統(tǒng)是主動的，它把專家注意力引向特定的問題。

2.解釋

這是把專家建議轉成內部表實，是知識表實問題。內部表實應包含建議的全部信息。如果用自然語言提出建議，解釋過程應包括自然語言理解。

第32頁，共50頁，2023年，2月20日，星期五6.4傳授式學習3.實用化

這是傳授學習的信息變換過程，它把抽象的建議轉成具體的知識。實用化過程類似于自動程序設計。前者由建議得到實用的規(guī)則，后者由程序說明得到程序。二者也存在差別。后者要求得到完全正確的程序，強調程序的正確性。前者往往使用弱方法，不保證完全正確。實用化過程有時作試探性的假設和近似，只能要求其合理性。得到的假設還要經(jīng)過檢驗和修改。

4.歸并

這是把新知識加入知識庫。這有可能造成舊知識的錯誤使用。一個問題是新舊知識適用范圍的重迭。另一個問題是它們結論的沖突。如果新舊規(guī)則的條件部分重迭，就會在該使用舊規(guī)則時錯誤使用了新規(guī)則?？梢孕薷囊?guī)則條件以防止重迭，也可以用元規(guī)則對規(guī)則排序。為了解決結論的沖突。可以修改規(guī)則，也可以用元規(guī)則選用合理的規(guī)則，排除不合理的。

第33頁，共50頁，2023年，2月20日，星期五6.4傳授式學習5.評價

實用化得到的新知識往往是假設，要經(jīng)過驗證和修改。如果評價中發(fā)現(xiàn)了問題，要進行故障分析和知識庫修改。

上述五步中，實用化是過程的核心。正是在這一步實現(xiàn)信息水平的變換。Mostow(1981)按用途、論域和精度對實用化方法進行了分類，還給出實用化的13個例子。有的例子要經(jīng)過約100次變換，有的只要8次變換。

傳授學習的例子有Mostow的FOO和Davis的TEIRESLAS。TEIRESLAS通過和用戶對話，把用戶的一般性意見或指實具體化，或輔助用戶修改知識庫。該程序用產(chǎn)生式規(guī)則來選擇合適的投資市場。第34頁，共50頁，2023年，2月20日，星期五6.5類比學習類比學習(LearningbyAnalogy)是獲取新概念或新技巧的方法，它把類似這些新概念或新技巧的已知知識轉換為適于新情況的形式。類比學習的第一步是從記憶中找到類似的概念或技巧，第二步是把它們轉換為新形式以便用于新情況。例如人類的一種學習方式是先由老師教學生解例題(先例)，再給學生留習題。學生尋找在例題和習題間的對應關系，利用解決例題的知識去解決習題中的問題。學生經(jīng)過一般化歸納推出原理，以便以后使用。這種類比學習方式是人類常用的。

第35頁，共50頁，2023年，2月20日，星期五6.5類比學習6.5.1學習新概念利用類比學習方法學習新概念或新技巧時，它要把類似這些新概念或新技巧的已知知識轉化為適于新情況的形式。第36頁，共50頁，2023年，2月20日，星期五6.5類比學習6.5.2學習問題的求解方法問題求解基本過程：

1.比較新狀態(tài)與目標狀態(tài)。

2.選擇可以減小這個差異的操作。

3.如果前提滿足就使用這個操作，否則保存新狀態(tài)，并用中間結局分析解決子問題，以便實現(xiàn)未滿足的前提。

4.在解決子問題后，再取出保存的狀態(tài)，繼續(xù)處理原問題。轉換類比學習主要有兩步：回憶過程和變換過程?；貞涍^程用于找出新舊問題間的差別，包括：

1.新問題與舊問題的初始狀態(tài)之間的差異。

2.新問題與舊問題的目標狀態(tài)之間的差異。

3.新問題與舊問題的路徑約束之間的差異。

4.滿足新問題的操作前提在全部前提中的比例，稱為候選解的可用性。

第37頁，共50頁，2023年，2月20日，星期五6.6歸納學習6.6.1實例學習實例學習是通過從環(huán)境中取得若干與某概念有關的例子，經(jīng)歸納得出一般性概念的一種學習方法。在這種學習方法中，外部環(huán)境(教師)提供的是一組例子(正例和反例)，這些例子實際上是一組特殊的知識，每一個例子表達了僅適用于該例子的知識，實例學習就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，它將覆蓋所有的正例并排除所有反例。例如，如果我們用一批動物作為實例，并且告訴學習系統(tǒng)哪一個動物是“馬”，哪一個動物不是，當實例足夠多時，學習系統(tǒng)就能一般出關于“馬”的概念模型，使自己能識別馬，并且能把馬與其它動物區(qū)別開來，這一學習過程就是實例學習。第38頁，共50頁，2023年，2月20日，星期五6.6歸納學習6.6.1實例學習實例學習的兩個空間模型第39頁，共50頁，2023年，2月20日，星期五6.6歸納學習6.6.2觀察與發(fā)現(xiàn)學習1、概念聚類

概念聚類就是一種觀察學習；人類觀察周圍的事物，對比各種物體的特性，把它們劃分成動物、植物和非生物，并給出每一類的定義。這種把觀察的事物劃分成幾類并建立相應概念的過程就是概念聚類。

傳統(tǒng)的聚類分析方法是基于對象相似性的數(shù)值測度。這種測度沒有考慮到綜合特征或描述類型的概念。因此得到的分類缺乏概念描述，并且難以解釋。為解決這個問題，產(chǎn)生了概念聚類方法。第40頁，共50頁，2023年，2月20日，星期五6.6歸納學習6.6.2觀察與發(fā)現(xiàn)學習2、發(fā)現(xiàn)學習發(fā)現(xiàn)學習是由系統(tǒng)的初始知識和觀察的數(shù)據(jù)學習數(shù)學、物理和化學等方面的概念和規(guī)律。它也使用歸納推理，但是在學習過程中除了初始知識外施教者不進行指導，所以它也是無實教的歸納學習。一類發(fā)現(xiàn)系統(tǒng)是數(shù)學發(fā)現(xiàn)系統(tǒng)，典型的系統(tǒng)是AM。本文將介紹這個系統(tǒng)。另一類發(fā)現(xiàn)系統(tǒng)是發(fā)現(xiàn)物理化學規(guī)律的系統(tǒng)。有些這種系統(tǒng)主要由觀察的數(shù)據(jù)學習，這些觀察可以看作正例。所以它們也可以作為實例學習。第二類系統(tǒng)的例子有：發(fā)現(xiàn)定量規(guī)律的系統(tǒng)BACON.6，發(fā)現(xiàn)定性規(guī)律的系統(tǒng)GLAUBER，確定化學反應用物質成分的系統(tǒng)STAHL和形成化學反應結構模型的系統(tǒng)DALTON。

第41頁，共50頁，2023年，2月20日，星期五6.7基于解釋的學習基于解釋學習（Explanation-BasedLeaning,簡稱EBL）起源于經(jīng)驗學習的研究。50年代未，對神經(jīng)元的模擬中發(fā)明了用一種符號來標記另一些符號的存儲結構模型，這是早期的存儲塊（chunks）概念。在象棋大師的頭腦中就保存著在各種情況下對弈經(jīng)驗的存儲塊。80年代初，Newell和Rosenbloom認為，通過獲取任務環(huán)境中關于模型問題的知識，可以改進系統(tǒng)的性能，chunks可以作為對人類行為進行模擬的模型基礎。通過觀察問題求解過程，獲取經(jīng)驗chunks，用其代替各個子目標中的復雜過程，可以明顯提高系統(tǒng)求解的速度。由此奠定了經(jīng)驗學習的基礎。

第42頁，共50頁，2023年，2月20日，星期五6.7基于解釋的學習6.7.1基于解釋學習的工作原理

Mitchell等人把基于解釋的學習過程定義為兩個步驟：

（1）通過求解一個例子來產(chǎn)生解釋結構；

（2）對該解釋結構進行一般化，獲取一般的控制規(guī)則。

其具體過程如下：

（1）產(chǎn)生解釋。用戶輸入實例后，系統(tǒng)首先進行問題求解。如由目標引導反向推理，從領域知識庫中尋找有關規(guī)則，使其后件與目標匹配。找到這樣的規(guī)則后，就把目標作為后件，該規(guī)則作為前件，并記錄這一因果關系。然后以規(guī)則的前件作為子目標，進一步分解推理。如此反復，沿著因果鏈，直到求解結束。一旦得到解，便證明了該例的目標可滿足，并獲得了證明的因果解釋結構。

（后續(xù)）第43頁，共50頁，2023年，2月20日，星期五6.7基于解釋的學習6.7.1基于解釋學習的工作原理（承上）構造解釋結構通常有兩種方式：一是將問題求解的每一步推理所用的算子匯集，構成動作序列作為解釋結構；另一種是自頂向下的遍歷證明樹結構。前者比較一般，略去了關于實例的某些事實描述；后者比較細致，每個事實都出現(xiàn)在證明樹中。解釋的構造可以在問題求解的同時進行，也可在問題求解結束后，沿著解路徑進行。這兩種方式形成了邊解邊學（Learningwhiledoing）和解完再學（Learningbysolving）兩種方法。

（2）對得到的解釋結構以及事件進行一般。在這一步，通常采取的辦法是將常量轉換為變量，即把例子中的某些數(shù)據(jù)換成變量，并略去某些不重要的信息，只保留求解所必需的那些關鍵信息，經(jīng)過某種方式的組合，形成產(chǎn)生式規(guī)則，從而獲得一般性的控制知識。

第44頁，共50頁，2023年，2月20日，星期五6.7基于解釋的學習6.7.2基于解釋學習的舉例例：要學習目標概念Safe-to-stack(V1,V2)解此問題依據(jù)下列兩步進行第一步：構造解釋結構事實知識：

On(obj1,obj2)

Isa(obj2,Endtable)

Color(obj1,red)

Color(obj2,blue)

Volume(obj1,1)

Density(obj1,0.1)

第45頁，共50頁，2023年，2月20日，星期五6.7基于解釋的學習6.7.2基于解釋學習的舉例領域規(guī)則：

Not(Fragile(y))→Safe-to-stack(x,y)

Lighter(x,y)→Safe-to-stack(x,y)

Volume(p1,v1)∧Density(p1,d1)∧X(v1,d1,w1)→Weight(p1,w1)