人工智能第七章

人工智能第七章第七章機(jī)器學(xué)習(xí)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)2第七章機(jī)器學(xué)習(xí)

教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)、類比學(xué)習(xí)、神經(jīng)學(xué)習(xí)、知識發(fā)現(xiàn)

教學(xué)難點(diǎn)：學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，知識發(fā)現(xiàn)的處理過程

教學(xué)要求：重點(diǎn)掌握類比學(xué)習(xí)和知識發(fā)現(xiàn)，掌握機(jī)器學(xué)習(xí)的發(fā)展史和神經(jīng)學(xué)習(xí)，了解解釋學(xué)習(xí)、歸納學(xué)習(xí)，一般了解機(jī)械學(xué)習(xí)3第七章機(jī)器學(xué)習(xí)

作業(yè)：7-2，7-74

學(xué)習(xí)是人類獲取知識的重要途徑和自然智能的重要標(biāo)志，機(jī)器學(xué)習(xí)則是機(jī)器獲取知識的重要途徑和人工智能的重要標(biāo)志。第七章機(jī)器學(xué)習(xí)

5機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過了3年，這個(gè)程序戰(zhàn)勝了美國一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問題與哲學(xué)問題。第七章機(jī)器學(xué)習(xí)

機(jī)器的能力是否能超過人，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無論如何其能力也不會(huì)超過設(shè)計(jì)者本人。這種意見對不具備學(xué)習(xí)能力的機(jī)器來說的確是對的，可是對具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。6第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)77.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史

顧名思義，學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識和新技能，并識別現(xiàn)有知識的學(xué)問。7.1.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的基本概念按人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高。機(jī)器學(xué)習(xí)的定義8西蒙是人工智能和數(shù)學(xué)定理計(jì)算機(jī)證明的奠基者之一。他和紐厄爾(AllenNewell)合作的一系列開創(chuàng)性的研究成果，改變了我們對人腦和電腦關(guān)系的理解。作為科學(xué)家，他涉足的領(lǐng)域之多，成果之豐，影響之深遠(yuǎn)，令人嘆為觀止。1975年，西蒙和紐厄爾兩人共同獲得計(jì)算機(jī)領(lǐng)域的最高獎(jiǎng)圖靈獎(jiǎng)，就是對他們在這一領(lǐng)域成就的最好說明。西蒙在人工智能中做出的最基本貢獻(xiàn)，是他提出了“物理符號系統(tǒng)假說”PSSH(PhysicalSymbolSystemHypothesis)。在這一意義上，他是符號主義學(xué)派的創(chuàng)始人和代表人物之一。他的基本觀點(diǎn)是：知識的基本元素是符號，智能的基礎(chǔ)依賴于知識，研究方法則是用計(jì)算機(jī)軟件和心理學(xué)方法進(jìn)行宏觀上的人腦功能的模擬。西蒙在人工智能方面的另一大貢獻(xiàn)，是發(fā)展與完善了語義網(wǎng)絡(luò)的概念和方法，把它作為知識表示的一種通用手段，并取得了很大成功。91956年夏天，在美國的達(dá)特毛斯（Dartmouth）大學(xué)舉辦了一次異乎尋常的，長達(dá)2個(gè)月的研討會(huì)。邀請了10位在相關(guān)領(lǐng)域的著名人士參加，他們中的4位后來先后獲得了計(jì)算機(jī)科學(xué)領(lǐng)域的最高獎(jiǎng)--圖靈獎(jiǎng)。會(huì)議圍繞“機(jī)器如何模擬人類智能”，討論了符號系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、自動(dòng)化等領(lǐng)域的基本問題。首次使用了“人工智能”這個(gè)名詞。這個(gè)會(huì)議被認(rèn)為是人工智能學(xué)科誕生的標(biāo)志。會(huì)上展示了由紐厄爾（Newell）和西蒙(Simon)研制的《邏輯理論家》LT系統(tǒng)。它能夠證明羅素與懷特海的名著《數(shù)學(xué)原理》第二章52個(gè)定理中的38個(gè)定理。這是第一個(gè)能處理符號的計(jì)算機(jī)。10紐厄爾-西蒙：通用問題求解器GPS（1956，1961）他們分析了人類解決問題的一般規(guī)律：我想帶兒子去幼兒園，我“已有的”和我“想要的”兩者之間有什么差異？到幼兒園有一段距離，用什么方法改變這段距離？我的汽車。我的汽車壞了。修好它需要什么？一塊新電池。哪兒有新電池？汽車維修店……這就是“手段-目標(biāo)分析”方法。GPS就是發(fā)現(xiàn)和裝配從給定狀態(tài)到目標(biāo)狀態(tài)的行動(dòng)的程序。它需要在一個(gè)大范圍中進(jìn)行選擇性搜索。11一般性解釋

機(jī)器學(xué)習(xí)就是讓機(jī)器（計(jì)算機(jī)）來模擬和實(shí)現(xiàn)人類的學(xué)習(xí)功能。

7.1.1機(jī)器學(xué)習(xí)的定義主要研究內(nèi)容認(rèn)知模擬

主要目的是要通過對人類學(xué)習(xí)機(jī)理的研究和模擬，從根本上解決機(jī)器學(xué)習(xí)方面存在的種種問題。

理論性分析

主要目的是要從理論上探索各種可能的學(xué)習(xí)方法，并建立起獨(dú)立于具體應(yīng)用領(lǐng)域的學(xué)習(xí)算法。面向任務(wù)的研究

主要目的是要根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)。12人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)。7.1.2為什么要研究機(jī)器學(xué)習(xí)在這個(gè)過程中必然會(huì)問道：“人類怎樣做才能獲取這種特殊技能（或知識）？”。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史137.1.2為什么要研究機(jī)器學(xué)習(xí)當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學(xué)習(xí)能力。系統(tǒng)中的知識由人工編程送入系統(tǒng)，知識中的錯(cuò)誤也不能自動(dòng)改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動(dòng)獲取和生成知識。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史147.1.2為什么要研究機(jī)器學(xué)習(xí)未來的計(jì)算機(jī)將有自動(dòng)獲取知識的能力，它們直接由書本學(xué)習(xí)，通過與人談話學(xué)習(xí)，通過觀察學(xué)習(xí)。它們通過實(shí)踐自我完善，克服人的存儲少、效率低、注意力分散、難以傳送所獲取的知識等局限性。一臺計(jì)算機(jī)獲取的知識很容易復(fù)制給任何其它機(jī)器。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史157.1.2為什么要研究機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難：

預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測。歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當(dāng)多是假的，給生成的知識帶來不可靠性。機(jī)器目前很難觀察什么重要、什么有意義。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史16歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。在傳統(tǒng)的亞里士多德邏輯中，演繹推理(deductivereasoning）是“結(jié)論，可從叫做前提的已知事實(shí)，必然得出的推理”。演繹推理是由普通性的前提推出特殊性結(jié)論的推理。演繹推理有三段論、假言推理和選言推理等形式。

三段論推理，是由兩個(gè)前提和一個(gè)結(jié)論組成，大前提是一般原理（規(guī)律），即抽象得出一般性、統(tǒng)一性的成果；小前提是指個(gè)別對象，這是從一般到個(gè)別的推理，從這個(gè)推理，然后得出結(jié)論。又稱從規(guī)律到現(xiàn)象的推理。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史177.1.3機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期:第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史神經(jīng)系統(tǒng)模型和決策理論。其特點(diǎn)是對開始與無初始結(jié)構(gòu)和面向作業(yè)知識的通用學(xué)習(xí)系統(tǒng)感興趣。包括構(gòu)造多種具有隨機(jī)或部分隨機(jī)的初始結(jié)構(gòu)的基于神經(jīng)模型的機(jī)器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)狀態(tài)多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實(shí)現(xiàn)簡單的邏輯功能。在這個(gè)時(shí)期，我國研制了數(shù)字識別學(xué)習(xí)機(jī)。18神經(jīng)系統(tǒng)模型和決策理論1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)Ｊ綄?dǎo)致了模式識別這一新學(xué)科以及機(jī)器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，有線性的、多項(xiàng)式的、或相關(guān)的形式。當(dāng)時(shí)，Samuel(1959-1963)的跳棋程序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達(dá)到了跳棋大師的水平。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史19實(shí)例：統(tǒng)計(jì)模式識別19名男女同學(xué)進(jìn)行體檢，測量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：20實(shí)例：統(tǒng)計(jì)模式識別待識別的模式：性別（男或女）測量的特征：身高和體重訓(xùn)練樣本：15名已知性別的樣本特征目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）21實(shí)例：統(tǒng)計(jì)模式識別由訓(xùn)練樣本得到的特征空間分布圖22實(shí)例：統(tǒng)計(jì)模式識別從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。237.1.3機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期:第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。這一階段神經(jīng)學(xué)習(xí)落入低谷。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國“史無前例”的十年，對機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。表示的形式一般是邏輯表達(dá)式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡(luò)。代表有Winston的ARCH。247.1.3機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期:第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來，中國科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來華傳播機(jī)器學(xué)習(xí)的火種后，我國的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。257.1.3機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期:機(jī)器學(xué)習(xí)的最新階段始于1986年。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國的機(jī)器學(xué)習(xí)研究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。26機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科，并在高校形成課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史綜合各種學(xué)習(xí)方法，取長補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。特別是連接學(xué)習(xí)，符號學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。

機(jī)器學(xué)習(xí)與人工智能問題的統(tǒng)一性觀點(diǎn)正在形成。例如：學(xué)習(xí)與問題求解結(jié)合進(jìn)行，知識表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例學(xué)習(xí)已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。27機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。一部分已形成商品。歸納學(xué)習(xí)的知識獲取工具已在診斷分類性專家系統(tǒng)中廣泛應(yīng)用。連接學(xué)習(xí)在聲圖文識別中占優(yōu)勢。分析學(xué)習(xí)用于設(shè)計(jì)綜合性專家系統(tǒng)。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究已形成熱潮。與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國際上除每年一次的機(jī)器學(xué)習(xí)研究會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議及遺傳算法會(huì)議。

281.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展人工智能研究形成了三大學(xué)派：

隨著人工神經(jīng)網(wǎng)絡(luò)的再度興起和布魯克（）的機(jī)器蟲的出現(xiàn)，人工智能研究形成了符號主義、連接主義和行為主義三大學(xué)派。

符號主義學(xué)派

是指基于符號運(yùn)算的人工智能學(xué)派，他們認(rèn)為知識可以用符號來表示，認(rèn)知可以通過符號運(yùn)算來實(shí)現(xiàn)。例如，專家系統(tǒng)等。連接主義學(xué)派

是指神經(jīng)網(wǎng)絡(luò)學(xué)派，在神經(jīng)網(wǎng)絡(luò)方面，繼魯梅爾哈特研制出BP網(wǎng)絡(luò)之后，1987年，首屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)在美國的圣迭戈（San-Diego）舉行，掀起了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。之后，隨著模糊邏輯和進(jìn)化計(jì)算的逐步成熟，又形成了“計(jì)算智能”這個(gè)統(tǒng)一的學(xué)科范疇。291.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展行為主義學(xué)派

是指進(jìn)化主義學(xué)派，在行為模擬方面，麻省理工學(xué)院的布魯克教授1991年研制成功了能在未知的動(dòng)態(tài)環(huán)境中漫游的有6條腿的機(jī)器蟲。三大學(xué)派的綜合集成

隨著研究和應(yīng)用的深入，人們又逐步認(rèn)識到，三個(gè)學(xué)派各有所長，各有所短，應(yīng)相互結(jié)合、取長補(bǔ)短，綜合集成。30第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)317.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)學(xué)習(xí)過程與推理過程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種：機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例學(xué)習(xí)。7.2.1機(jī)器學(xué)習(xí)的主要策略機(jī)械學(xué)習(xí)（RoteLearning）示教學(xué)習(xí)（LearningfromInstructionorLearningbybeingtold）類比學(xué)習(xí)（LearningbyAnalogy）示例學(xué)習(xí)（LearningfromExamples）學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。32機(jī)械學(xué)習(xí)就是記憶，是最簡單的學(xué)習(xí)策略。這種學(xué)習(xí)策略直接輸入新知識，學(xué)習(xí)者不需要進(jìn)行任何推理或知識轉(zhuǎn)換，將知識直接裝進(jìn)機(jī)器中（記憶學(xué)習(xí)）。7.2.1機(jī)器學(xué)習(xí)的主要策略比機(jī)械學(xué)習(xí)更復(fù)雜一點(diǎn)的學(xué)習(xí)是示教學(xué)習(xí)策略（傳授學(xué)習(xí)、指點(diǎn)學(xué)習(xí)）。從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學(xué)習(xí)者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機(jī)地結(jié)合為一體。系統(tǒng)在接受外部知識時(shí)需要一點(diǎn)推理，翻譯和轉(zhuǎn)化工作。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)33類比學(xué)習(xí)系統(tǒng)只能得到完成類似任務(wù)的有關(guān)策略，因此，它比上述兩種學(xué)習(xí)策略需要更多的推理。類比學(xué)習(xí)利用二個(gè)不同領(lǐng)域（源域、目標(biāo)域）中的知識相似性，通過類比，從源域的知識（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識。7.2.1機(jī)器學(xué)習(xí)的主要策略例如：未開過貨車的司機(jī)——有開小車的知識就可完成開貨車的任務(wù)。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)34采用示例學(xué)習(xí)策略的計(jì)算機(jī)系統(tǒng)，事先完全沒有完成任務(wù)的任何規(guī)律性的信息，因此需要推理是最多的。7.2.1機(jī)器學(xué)習(xí)的主要策略采用示例學(xué)習(xí)（歸納學(xué)習(xí)）策略的計(jì)算機(jī)系統(tǒng)，給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個(gè)總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)357.2.2機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)環(huán)境學(xué)習(xí)知識庫執(zhí)行圖6.1學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)

1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

367.2.2機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)

1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

學(xué)習(xí)系統(tǒng)至少應(yīng)有環(huán)境、知識庫、學(xué)習(xí)環(huán)節(jié)和執(zhí)行環(huán)節(jié)四個(gè)基本部分。

環(huán)境向系統(tǒng)的學(xué)習(xí)部件提供某些信息，學(xué)習(xí)環(huán)節(jié)利用這些信息修改知識庫，增進(jìn)執(zhí)行部件的效能；執(zhí)行環(huán)節(jié)根據(jù)知識庫完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部件。37系統(tǒng)中的環(huán)境包括工作對象和外界條件。比如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀，物化檢驗(yàn)的報(bào)告和病歷等信息；在模式識別中，環(huán)境就是待識別的圖像或影物；在控制系統(tǒng)中，環(huán)境就是受控的設(shè)備或生產(chǎn)流程。1.環(huán)境環(huán)境提供給系統(tǒng)的信息水平和質(zhì)量對于學(xué)習(xí)系統(tǒng)有很大的影響。信息的水平是指信息的一般性程度，也就是適用范圍的廣泛性，高水平的信息往往比較抽象，適用面更廣泛。信息的質(zhì)量指信息的正確性、信息選擇的適宜性和信息組織的合理性。信息質(zhì)量對學(xué)習(xí)難度有明顯影響。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)38

(a)橋梁的全色圖像(b)橋梁的多光譜圖像(c)橋梁的SAR圖像橋梁的三類遙感圖像39學(xué)習(xí)環(huán)節(jié)是系統(tǒng)的學(xué)習(xí)機(jī)構(gòu)，是學(xué)習(xí)系統(tǒng)的核心。它通過對環(huán)境的搜索取得外部信息，然后經(jīng)分析、綜合、類比、推理等思維過程獲得知識，并將這些知識送入知識庫，供執(zhí)行環(huán)節(jié)使用。2.學(xué)習(xí)環(huán)節(jié)事實(shí)上，由于環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，學(xué)習(xí)環(huán)節(jié)的任務(wù)就是解決這個(gè)水平差距問題。如果環(huán)境提供較高水平的信息，學(xué)習(xí)環(huán)節(jié)就去就去補(bǔ)充遺漏的細(xì)節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。如果環(huán)境提供較具體的低水平信息，即在特殊情況執(zhí)行任務(wù)的實(shí)例，學(xué)習(xí)環(huán)節(jié)就要進(jìn)行歸納，以便系統(tǒng)能完成更為一般的任務(wù)。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)403.知識庫學(xué)習(xí)系統(tǒng)設(shè)計(jì)的另一個(gè)重要問題就是知識庫的形成設(shè)計(jì)以及其內(nèi)容。學(xué)習(xí)系統(tǒng)實(shí)質(zhì)上就是對原有知識的擴(kuò)充和完善。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)41執(zhí)行環(huán)節(jié)實(shí)際上是由執(zhí)行環(huán)節(jié)和評價(jià)兩部分組成，執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實(shí)問題，比如定理證明、智能控制、自然語言處理、機(jī)器人行動(dòng)規(guī)劃等；評價(jià)環(huán)節(jié)用來驗(yàn)證、評價(jià)執(zhí)行環(huán)節(jié)執(zhí)行的效果，比如結(jié)果的正確性等。評價(jià)環(huán)節(jié)的處理方法有兩種，一種是把評價(jià)時(shí)所需的性能指標(biāo)直接建立在系統(tǒng)中，由系統(tǒng)對執(zhí)行環(huán)節(jié)所做出的結(jié)論進(jìn)行評價(jià)；另一種是由人類協(xié)助完成評價(jià)工作。４.執(zhí)行環(huán)節(jié)從執(zhí)行環(huán)節(jié)到學(xué)習(xí)環(huán)節(jié)必須要有反饋信息。這樣，學(xué)習(xí)環(huán)節(jié)就可以根據(jù)反饋信息決定是否要從環(huán)境中獲取進(jìn)一步的信息進(jìn)行再學(xué)習(xí)，以便修改、完善知識庫中的知識。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)42鄰域平均法中值濾波432.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)提供的信息，或者更具體地說是信息的質(zhì)量。整個(gè)過程要遵循“取之精華，棄之糟粕”的原則，同時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)知識庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識的表示有特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等多種形式。447.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)在選擇表示方式時(shí)要兼顧以下4個(gè)方面：表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識。易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識表示方式能使推理較為容易。容易修改知識庫。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識庫，當(dāng)推廣得出一般執(zhí)行規(guī)則后，要加到知識庫中。知識表示易于擴(kuò)展。更確切地說，學(xué)習(xí)系統(tǒng)是對現(xiàn)有知識的擴(kuò)展和改進(jìn)。45第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)461.機(jī)械學(xué)習(xí)模式

7.3機(jī)械學(xué)習(xí)7.3機(jī)械學(xué)習(xí)機(jī)器學(xué)習(xí)是最簡單的學(xué)習(xí)方法。機(jī)器學(xué)習(xí)就是記憶，即把新的知識存儲起來，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。它是一種最基本的學(xué)習(xí)過程。

任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過多的加工。47存儲計(jì)算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則圖7.2數(shù)據(jù)化簡級別圖

Lenat，Hayes-Roth和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀點(diǎn)，見圖7.2。7.3機(jī)械學(xué)習(xí)他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡分級中的第一級。數(shù)據(jù)化簡與計(jì)算機(jī)語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機(jī)械學(xué)習(xí)中我們只記憶計(jì)算的輸入輸出，忽略了計(jì)算過程，這樣就把計(jì)算問題化簡成存取問題。487.3機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)也稱死記硬背學(xué)習(xí)或記憶學(xué)習(xí)。這種學(xué)習(xí)方法不要求系統(tǒng)具有對復(fù)雜問題求解的能力，也就是沒有推理技能，系統(tǒng)的學(xué)習(xí)方法就是直接記錄問題有關(guān)的信息，然后檢索并利用這些存儲的信息來解決問題。

機(jī)械學(xué)習(xí)是基于記憶和檢索的辦法，學(xué)習(xí)方法很簡單。492.機(jī)械學(xué)習(xí)的主要問題存儲組織信息：要采用適當(dāng)?shù)拇鎯Ψ绞?，使檢索速度盡可能地快。7.3機(jī)械學(xué)習(xí)環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要。存儲與計(jì)算之間的權(quán)衡：對于機(jī)械學(xué)習(xí)來說很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。50第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)517.4歸納學(xué)習(xí)歸納學(xué)習(xí)（inductionlearning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者屬于有師學(xué)習(xí)，后者屬于無師學(xué)習(xí)。歸納（induction）是人類拓展認(rèn)識能力的重要方法，是一種從個(gè)別到一般的，從部分到整體的推理行為。歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。7.4歸納學(xué)習(xí)52

7.4歸納學(xué)習(xí)7.4.1歸納學(xué)習(xí)的模式和規(guī)則

7.4歸納學(xué)習(xí)歸納學(xué)習(xí)的一般模式為：

給定：(1)觀察陳述（事實(shí)）F，用以表示有關(guān)某些對象、狀態(tài)、過程等的特定知識

；蘊(yùn)涵觀察陳述，并滿足背景知識。

(2)假定的初始?xì)w納斷言（可能為空）；(3)背景知識，用于定義有關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問題領(lǐng)域知識、假設(shè)和約束，其中包括能夠刻畫所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。求：歸納斷言（假設(shè)）H，能重言蘊(yùn)涵或弱蘊(yùn)涵觀察陳述，并滿足背景知識。

53重言式與蘊(yùn)涵式定義：給定一個(gè)命題，若無論對分量作怎樣的指派，其對應(yīng)的真值永遠(yuǎn)為T，則稱該命題公式為重言式或永真公式。定理：任何兩個(gè)重言式的合取或析取仍然是一個(gè)重言式。定義：給定一個(gè)命題，若無論對分量作怎樣的指派，其對應(yīng)的真值永遠(yuǎn)為F，則稱該命題公式為矛盾式或永假公式?？蓾M足式：表示可真可假的真值形式。54定義：一個(gè)命題稱為合取范式，當(dāng)且僅當(dāng)它具有如下的形式： A1A2

…An，(n≥1)其中A1,A2,…,An都是由命題變元或其否定所組成的析取式。定義

當(dāng)命題公式A→B為永真式時(shí)，稱A邏輯蘊(yùn)涵B，記為AB，又稱它為邏輯蘊(yùn)涵式(logicallyimplication)。定義：一個(gè)命題稱為析取范式，當(dāng)且僅當(dāng)它具有如下的形式： A1A2

…An，(n≥1)其中A1,A2,…,An都是由命題變元或其否定所組成的合取式。55一個(gè)命題公式稱為合取范式僅當(dāng)具有形式:A1∧A2......An（n≥1）其中An都是由命題變元或其否定組成的析取式。這里A1,A2,..,An稱為析取項(xiàng)(或簡單析取式),n可取1,n=1時(shí),Ak化為單個(gè)變元或單個(gè)變元否定,也即單個(gè)變元或單個(gè)變元否定均可看成析取項(xiàng)(簡單析取式),同理單個(gè)變元或單個(gè)變元否定也均可看成合取項(xiàng)(簡單合取式)。如P∧(P∨┐Q∨R)∧（┐p∨Q)P∧Q∧(P∨┐Q)均是合取范式。P∨(P∧┐Q∧R)∨（┐p∧Q)P∨Q∨(P∧┐Q)均是析取范式。56蘊(yùn)涵命題序號表達(dá)式I1PP＝>PI2PP=>QI3P=>PQI4P=>PQI5Q=>PQI6(PQ)=>PI7(PQ)=>QI8P

(PQ)=>QI9Q

(PQ)=>PI10P(PQ)

＝>QI11(PQ)(QR)=>PRI12(PQ)(PR)(QR)=>RI13(PQ)(RS)=>(PR)(QS)I14(P?Q)(Q?R)=>(P?R)57

7.4歸納學(xué)習(xí)7.4.1歸納學(xué)習(xí)的模式和規(guī)則

7.4歸納學(xué)習(xí)歸納學(xué)習(xí)的一般模式為：

假設(shè)H永真蘊(yùn)涵事實(shí)F，說明F是H的邏輯推理，則有：H|>F（讀作H特殊化為F）或F|<H（讀作F一般化或消解為H）這里，從H推導(dǎo)F是演繹推理，因此是保真的；而從事實(shí)F推導(dǎo)出假設(shè)H是歸納推理，因此不是保真的，而是保假的。587.4歸納學(xué)習(xí)7.4.1歸納學(xué)習(xí)的模式和規(guī)則

歸納學(xué)習(xí)的模式

解釋過程

實(shí)例空間

規(guī)則空間

規(guī)劃過程

實(shí)驗(yàn)規(guī)劃過程通過對實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí)例提交解釋過程。解釋過程對實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。7.4歸納學(xué)習(xí)59在上圖中，除描繪從例子學(xué)習(xí)的實(shí)例空間規(guī)則空間外，還描繪了解釋實(shí)例和實(shí)驗(yàn)規(guī)劃過程。在這個(gè)模型中，首先由示教者給實(shí)例空間提供一些初始示教例子，然后程序?qū)κ窘汤舆M(jìn)行解釋。由于示教例子的形式往往不同于規(guī)則形式，所以有必要對例子進(jìn)行解釋。往后再利用被解釋的示教例子搜索規(guī)則空間。一般情況下不能一次就從規(guī)則空間中搜索到要求的規(guī)則，因此還要尋找一些新的示教例子，這個(gè)過程就是選擇例子。此過程如此循環(huán)，直到搜索到要求的規(guī)則。607.4.2歸納學(xué)習(xí)方法1、示例學(xué)習(xí)示例學(xué)習(xí)（learningfromexamples）又稱為實(shí)例學(xué)習(xí)，它是通過環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。7.4歸納學(xué)習(xí)在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子（正例和反例）。示例學(xué)習(xí)就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以覆蓋所有的正例并排除所有反例。617.4.2歸納學(xué)習(xí)方法1、示例學(xué)習(xí)7.4歸納學(xué)習(xí)示例學(xué)習(xí)屬于歸納學(xué)習(xí)，是目前機(jī)器學(xué)習(xí)方法中最成熟的方法之一。示例學(xué)習(xí)要求環(huán)境能夠從一些特殊的實(shí)例（這些實(shí)例事先由教師劃分為正例和反例兩類），并由這些實(shí)例進(jìn)行歸納推理，導(dǎo)出一般性的規(guī)則。627.4.2歸納學(xué)習(xí)方法2、觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描述，刻畫觀察集，指定某類對象的性質(zhì)。7.4歸納學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。前者用于對事例進(jìn)行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。63第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)647.5類比學(xué)習(xí)7.5.1類比推理和類比學(xué)習(xí)方式

類比推理是由新情況與已知情況在某些方面的相似來推出它們在其它相關(guān)方面的相似。類比推理是在兩個(gè)相似域之間進(jìn)行的：類比推理的目的是從源域中選出與當(dāng)前問題最近似的問題及其求解方法以求解決當(dāng)前的問題，或者建立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識。657.5類比學(xué)習(xí)7.5.1類比推理和類比學(xué)習(xí)方式

類比是人類應(yīng)用過去的經(jīng)驗(yàn)來求解新問題的一種思維過程。類比學(xué)習(xí)是把兩個(gè)或兩類事物或情形進(jìn)行比較，找出它們在某一抽象層上的相似關(guān)系，并以這種關(guān)系為依據(jù)，把某一事物或情形的有關(guān)知識加以適當(dāng)整理（或變換）對應(yīng)到另一事物或情況，從而獲得求解另一事物或情形的知識。66類比的重要性：類比現(xiàn)象普遍存在。7.5類比學(xué)習(xí)7.5.1類比推理和類比學(xué)習(xí)方式

類比在人的思維中扮演著極為重要的角色。比喻的使用。在計(jì)算機(jī)上實(shí)現(xiàn)類比問題求解系統(tǒng)可以使計(jì)算機(jī)也具有創(chuàng)造性思維。677.5類比學(xué)習(xí)7.5.1類比推理和類比學(xué)習(xí)方式

類比學(xué)習(xí)（learningbyanalogy）就是通過類比，即通過對相似事物加以比較所進(jìn)行的一種學(xué)習(xí)。其推理過程如下：回憶與聯(lián)想---選擇---建立對應(yīng)關(guān)系---轉(zhuǎn)換68其推理過程如下：(1)回憶與聯(lián)想遇到新情況或新問題時(shí)，首先通過回憶與聯(lián)想在S中找出與當(dāng)前情況相似的情況，這些情況是過去已經(jīng)處理過的，有現(xiàn)成的解決方法及相關(guān)的知識。(2)選擇從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識。69其推理過程如下：(3)建立對應(yīng)映射在S與T的相似情況之間建立相似元素的對應(yīng)關(guān)系，并建立起相應(yīng)的映射。(4)轉(zhuǎn)換在上一步建立的映射下，把S中的有關(guān)知識引到T中來，從而建立起求解當(dāng)前問題的方法或者學(xué)習(xí)到關(guān)于T的新知識。707.5.2類比學(xué)習(xí)過程與研究類型類比學(xué)習(xí)主要包括如下四個(gè)過程：輸入一組已知條件（已解決問題）和一組未完全確定的條件（新問題）

。7.5類比學(xué)習(xí)

2.對兩組輸入條件尋找其可類比的對應(yīng)關(guān)系。

3.根據(jù)相似轉(zhuǎn)換的方法，進(jìn)行映射。4.對類推得到的知識進(jìn)行校驗(yàn)。驗(yàn)證正確的知識存入知識庫中，而暫時(shí)還無法驗(yàn)證的知識只能作為參考性知識，置于數(shù)據(jù)庫中。

71類比學(xué)習(xí)的研究可分為兩大類：(1)問題求解型的類比學(xué)習(xí)

7.5類比學(xué)習(xí)

(2)預(yù)測推定型的類比學(xué)習(xí)。它又分為兩種方式：

一是傳統(tǒng)的類比法。找到滿足類比條件的類比對象。另一是因果關(guān)系型的類比

72因果關(guān)系，是指由某行為而發(fā)生某結(jié)果，前事實(shí)與后事實(shí)之間互有關(guān)聯(lián)，后事實(shí)由前事實(shí)而生。哲學(xué)上把因果關(guān)系定義為“引起”和“被引起”的關(guān)系，現(xiàn)實(shí)中常用“因?yàn)椤浴眮肀硎尽Ｌ卣鳎阂蚬P(guān)系的重要特性：因果關(guān)系的特定性。事物是普遍聯(lián)系的，為了了解單個(gè)的現(xiàn)象，我們就必須把它們從普遍的聯(lián)系中抽出來，孤立地考察它們，一個(gè)為原因，另一個(gè)為結(jié)果?！耙蚴且?，果是果”。因果關(guān)系的時(shí)間序列性。原因必定在先，結(jié)果只能在后，二者的時(shí)間順序不能顛倒。73【例1】生病∶吃藥上課∶請假B.經(jīng)商∶結(jié)婚C.桌子∶風(fēng)扇D.游泳∶更衣【答案】D【解析】題干是一種因果順承關(guān)系，只有D項(xiàng)符合這個(gè)推理關(guān)系。其他都不符合這個(gè)推理關(guān)系。74第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)75基于解釋的學(xué)習(xí)Explanation-BasedLearning(EBL)不考慮很多實(shí)例，采用演繹推理，少用歸納?？梢钥朔w納學(xué)習(xí)的不可靠問題。利用單個(gè)問題的求解例子，依領(lǐng)域知識對實(shí)例進(jìn)行詳細(xì)分析，構(gòu)造求解過程的因果解釋結(jié)構(gòu)，并獲取控制知識，然后對解釋進(jìn)行推廣得到一般性描述，以便用于指導(dǎo)以后求解類似問題。從本質(zhì)上是屬于演繹學(xué)習(xí)。76基于解釋的學(xué)習(xí)解釋：專家系統(tǒng)是給用戶看的，所以，推理過程要說明搜索過程記錄下來，以便對錯(cuò)誤決策進(jìn)行追蹤，發(fā)現(xiàn)知識庫和概念的錯(cuò)誤。對初學(xué)者進(jìn)行訓(xùn)練。

77基于解釋的學(xué)習(xí)可操作性 機(jī)器學(xué)習(xí)得到的知識，應(yīng)該有用且有盡量大的適應(yīng)范圍。因此要考慮可操作性和一般性。希望學(xué)到的概念描述有利于提高系統(tǒng)運(yùn)行效率?？刹僮鳎喝绻粋€(gè)概念描述能有效地用于識別相應(yīng)概念的例子。給定：一個(gè)概念描述；一個(gè)執(zhí)行系統(tǒng)；改善系統(tǒng)的各種要求，應(yīng)明確各要求的類型和程度?？刹僮鳚M足：可用性。執(zhí)行系統(tǒng)可以使用該概念描述。

效用性。執(zhí)行系統(tǒng)使用概念描述時(shí)，系統(tǒng)的 運(yùn)行得到要求的改善。78基于解釋的學(xué)習(xí)解釋空間的描述概念空間：某個(gè)學(xué)習(xí)程序能描述的所有概念的集合，對應(yīng)同一概念的兩個(gè)描述稱為同義詞。解釋學(xué)習(xí)的任務(wù)：把不可操作的描述轉(zhuǎn)化為可操作的描述。例：D1是搜索的開始結(jié)點(diǎn)，D2是解結(jié)點(diǎn)，解釋是空間的變換，而可操作性是搜索結(jié)束的標(biāo)準(zhǔn)。 從D1到D2的過程稱作概念可操作。79解釋學(xué)習(xí)一般包括下列3個(gè)步驟：

(1)利用基于解釋的方法對訓(xùn)練例子進(jìn)行分析與解釋。7.6解釋學(xué)習(xí)(2)對例子的結(jié)構(gòu)進(jìn)行概括性解釋。(3)從解釋結(jié)構(gòu)中識別出訓(xùn)練例子的特性，獲取一般控制知識。807.6解釋學(xué)習(xí)1986年米切爾（Mitchell）等人為基于解釋的學(xué)習(xí)提出了一個(gè)統(tǒng)一的算法EBG，該算法建立了基于解釋的概括過程，并運(yùn)用知識的邏輯表示和演繹推理進(jìn)行問題求解。

81一般框架：給定：領(lǐng)域知識、目標(biāo)概念、訓(xùn)練實(shí)例和操作性準(zhǔn)則。領(lǐng)域知識：描述領(lǐng)域的事實(shí)和規(guī)則，背景知識，用來證明訓(xùn)練實(shí)例為什么可作為目標(biāo)概念的實(shí)例。找出：滿足操作性準(zhǔn)則的關(guān)于概念的充分條件訓(xùn)練實(shí)例：為了解釋學(xué)習(xí)提供的一個(gè)例子，解釋學(xué)習(xí)正是從該例出發(fā)，通過運(yùn)用領(lǐng)域知識進(jìn)行證明，最終推廣出目標(biāo)概念的描述。操作性準(zhǔn)則：用于指明哪些測試在運(yùn)行時(shí)容易判定，指導(dǎo)系統(tǒng)對描述目標(biāo)的概念進(jìn)行取舍，使得通過學(xué)習(xí)產(chǎn)生的關(guān)于目標(biāo)概念的一般性描述成為可用的一般性知識。82EBG求解問題的形式可描述于下:給定：(1)目標(biāo)概念描述TC；(2)訓(xùn)練實(shí)例TE；(3)領(lǐng)域知識DT；(4)操作準(zhǔn)則OC。7.6解釋學(xué)習(xí)求解：訓(xùn)練實(shí)例的一般化概括，使之滿足：(1)目標(biāo)概念的充分概括描述TC；(2)操作準(zhǔn)則OC。83第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)847.7神經(jīng)學(xué)習(xí)7.7.1基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)反向傳播（Error

back-propagation,BP）算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權(quán)值修正，所以稱為“反向傳播”。85前饋網(wǎng)絡(luò):前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級組成。從輸入層至輸出層的信號通過單向連接流通；神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接，如圖4.5所示。圖中，實(shí)線指明實(shí)際信號流通而虛線表示反向傳播。

4.2神經(jīng)計(jì)算x1x2輸入層輸出層隱層y1ynw11w1m圖4.5前饋網(wǎng)絡(luò)反向傳播86誤差反向傳播（ErrorBackPropagation,BP）算法

1、BP算法的基本思想是，學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個(gè)過程組成。

1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層

注1：若輸出層實(shí)際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入2（誤差反向傳播過程）

87

2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層

其主要目的是通過將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號，進(jìn)而修正各單元的權(quán)值（其過程，是一個(gè)權(quán)值調(diào)整的過程）。

注2：權(quán)值調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程（學(xué)習(xí)也就是權(quán)值調(diào)整）。

88BP算法實(shí)現(xiàn)步驟：（1）初始化

（2）輸入訓(xùn)練樣本對，計(jì)算各層輸出

（3）計(jì)算網(wǎng)絡(luò)輸出誤差

（4）計(jì)算各層誤差信號

（5）調(diào)整各層權(quán)值

（6）檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求

滿足，則訓(xùn)練結(jié)束；不滿足，則返回步驟（2）

897.7.2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)

Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問題)。Hello,I’mJohnHopfield907.7.2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。7.7神經(jīng)學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。Hopfield網(wǎng)絡(luò)系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務(wù)。91遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖4.4。圖4.4反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸出x1’x2’xn’4.2神經(jīng)計(jì)算人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸（反饋）網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。Hopfield網(wǎng)絡(luò)，Elmman網(wǎng)絡(luò)和Jordan網(wǎng)絡(luò)是遞歸網(wǎng)絡(luò)有代表性的例子。

92若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)就是使得網(wǎng)絡(luò)存儲一些特定的平衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最后會(huì)在這樣的點(diǎn)上停下來。

93Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函數(shù)名功能satlin()飽和線性傳遞函數(shù)satlins()對稱飽和線性傳遞函數(shù)newhop()生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop()更新NNT2.0Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能

94

MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能newhop()功能生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式net=newhop(T)說明net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)激活函數(shù)用satlins()函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)，改善網(wǎng)絡(luò)性能。95MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins()功能對稱飽和線性傳遞函數(shù)格式A=satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間[0，1]內(nèi)。96人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計(jì)算機(jī)來模仿人腦工作過程。學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）97例如：人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識中汲取智慧的生命成長過程。同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學(xué)習(xí)過程不一樣。一個(gè)是總結(jié)出常人都不懂的規(guī)律；一個(gè)是沒完沒了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說話。9899第七章機(jī)器學(xué)習(xí)(MachineLearning)

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識發(fā)現(xiàn)1007.8知識發(fā)現(xiàn)（KnowledgeDiscovery，KDD）

7.8.1