第7講機器學(xué)習(xí)課件

人工智能中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院第7講機器學(xué)習(xí)人工智能中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院第7講機器學(xué)習(xí)

機器學(xué)習(xí)一、概述二、機器學(xué)習(xí)系統(tǒng)的基本模型三、機械學(xué)習(xí)四、實例學(xué)習(xí)五、解釋學(xué)習(xí)六、決策樹學(xué)習(xí)七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機器學(xué)習(xí)一、概述2一、概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒有或僅有有限的學(xué)習(xí)能力。系統(tǒng)中的知識是由人工編程送入的，知識中的錯誤也不能自動改正。一、概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒有或僅有有限的3一、概述否定意見：機器是人造的，其性能和動作是由設(shè)計者規(guī)定的，因此無論如何其能力也不會超過設(shè)計者本人。對于不具備學(xué)習(xí)能力的機器來說是正確的，可是對于具備學(xué)習(xí)能力的機器就值得考慮了。機器學(xué)習(xí)的不可預(yù)測問題。機器的能力是否能超過人的能力？一、概述否定意見：機器是人造的，其性能和動作是由設(shè)計者規(guī)定的4一、概述20世紀50年代末，阿瑟.塞繆爾（samuel）編寫了著名的跳棋程序。啟發(fā)式搜索技術(shù)，跳棋程序可以向前看幾步然后再走棋?？梢詮慕?jīng)驗中學(xué)習(xí)，從棋譜中學(xué)習(xí)。不斷調(diào)整棋盤評價函數(shù)，提高自己的棋藝。經(jīng)過三年的學(xué)習(xí)，打敗了Samuel，又三年，打敗了州冠軍。同時刺激了“搜索”和“機器學(xué)習(xí)”這兩個人工智能的重要領(lǐng)域的發(fā)展。跳棋程序一、概述20世紀50年代末，阿瑟.塞繆爾（samuel）編5一、概述一、概述6一、概述--塞繆爾的人生1901年生于美國堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)1923年大學(xué)畢業(yè)以后，他進入MIT念研究生，1926年取得碩士學(xué)位。留校工作兩年以后，他加盟貝爾實驗室，從事電子器件的研究。二次世界大戰(zhàn)爆發(fā)以后，他的研究工作集中于雷達技術(shù)。戰(zhàn)爭結(jié)束后，到伊利諾大學(xué)電氣工程系任教，積極參與了該校研制電子計算機的工作。1949年即轉(zhuǎn)至IBM公司在普凱潑茜的研發(fā)實驗室工作，參與其第一臺大型科學(xué)計算機701的開發(fā)。一、概述--塞繆爾的人生1901年生于美國堪薩斯州的恩波利亞7一、概述--塞繆爾的人生塞繆爾在下棋程序方面的工作對IBM公司早期計算機的指令系統(tǒng)產(chǎn)生了很大影響。由于下棋程序是計算機應(yīng)用中最早的一種典型的非數(shù)值計算，因此在701中加入了許多邏輯指令，這類指令后來迅速被所有計算機的設(shè)計者所采用和推廣，成為計算機指令集中的基本成分。1966年塞繆爾從IBM公司退休以后，到斯坦福大學(xué)從事教學(xué)和研究工作，指導(dǎo)博士生，直到1982年。塞繆爾晚年得了帕金森綜合癥。病中他開始撰寫自傳，但只寫到20世紀60年代中期，即于1990年7月29日在加利福尼亞州的家中撒手西去。塞繆爾生前除了獲得IZEE的計算機先驅(qū)獎以外，沒有別的榮譽和獎勵。一、概述--塞繆爾的人生塞繆爾在下棋程序方面的工作對IBM公8一、概述Simon認為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作”。Minsky認為“學(xué)習(xí)是在我們的頭腦中進行有用的變化”。有的觀點認為“機器學(xué)習(xí)就是知識的獲取”，但獲取的知識有時不會使系統(tǒng)有所改善。什么是機器學(xué)習(xí)？一、概述Simon認為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)9一、概述知識獲取學(xué)習(xí)的本質(zhì)就是獲取新的知識，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實的表示。技能求精通過實踐改造機制和認知技能。這些技能包括意識的或機制的。這種改變是通過反復(fù)實踐和從失敗中糾正錯誤來進行的。學(xué)習(xí)騎自行車。學(xué)習(xí)的基本形式一、概述知識獲取學(xué)習(xí)的基本形式10一、概述人工智能主要是為了研究人的智能，模仿其機理將其應(yīng)用于工程的科學(xué)，在這個過程中，必然會問到“人類怎么做才能獲得這種特殊技能（或知識）？”當前的人工智能研究的主要障礙和發(fā)展方向之一就是機器學(xué)習(xí)。包括學(xué)習(xí)的計算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。為什么要研究機器學(xué)習(xí)？一、概述人工智能主要是為了研究人的智能，模仿其機理將其應(yīng)用于11未來的計算機將有自動獲取知識的能力，直接從書本中學(xué)習(xí)，通過與人談話學(xué)習(xí)，通過觀察學(xué)習(xí)。通過實踐自我完善?？朔说拇鎯ι伲实?，注意力分散，難以傳送所獲取知識等局限性。一臺計算機獲取的知識很容易復(fù)制給任何其他機器。一、概述為什么要研究機器學(xué)習(xí)？未來的計算機將有自動獲取知識的能力，直接從書本中學(xué)習(xí)，通過與12機器學(xué)習(xí)實現(xiàn)的困難預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測。歸納推理：現(xiàn)有的歸納推理保假，不保真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當多的是假的，給生成知識帶來不可靠性。機器目前很難觀察什么重要，什么有意義。一、概述機器學(xué)習(xí)實現(xiàn)的困難預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功13一、概述---機器學(xué)習(xí)的發(fā)展史

第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。在這個時期，所研究的是“沒有知識”的學(xué)習(xí)，即“無知”學(xué)習(xí)；其研究目標是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開始研究的神經(jīng)網(wǎng)絡(luò)模型。在這個時期，我國研制了數(shù)字識別學(xué)習(xí)機。一、概述---機器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到14一、概述---機器學(xué)習(xí)的發(fā)展史

第二階段在60年代中葉至70年代中葉，被稱為機器學(xué)習(xí)的冷靜時期。

本階段的研究目標是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機器內(nèi)部描述。這個時期正是我國“史無前例”的十年，對機器學(xué)習(xí)的研究不可能取得實質(zhì)進展。一、概述---機器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至715一、概述---機器學(xué)習(xí)的發(fā)展史

第三階段從70年代中葉至80年代中葉，稱為復(fù)興時期。

在這個時期，人們從學(xué)習(xí)單個概念擴展到學(xué)習(xí)多個概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來，中國科學(xué)院自動化研究所進行質(zhì)譜分析和模式文法推斷研究，表明我國的機器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來華傳播機器學(xué)習(xí)的火種后，我國的機器學(xué)習(xí)研究出現(xiàn)了新局面。一、概述---機器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至816一、概述---機器學(xué)習(xí)的發(fā)展史機器學(xué)習(xí)的最新階段始于1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對實驗研究和應(yīng)用研究得到前所未有的重視。我國的機器學(xué)習(xí)研究開始進入穩(wěn)步發(fā)展和逐漸繁榮的新時期。一、概述---機器學(xué)習(xí)的發(fā)展史機器學(xué)習(xí)的最新階段始于198617一、概述---機器學(xué)習(xí)的主要策略學(xué)習(xí)過程與推理過程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機器學(xué)習(xí)所采用的策略大體上可分為：機械學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)和歸納學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強。一、概述---機器學(xué)習(xí)的主要策略學(xué)習(xí)過程與推理過程是緊密相連18機械學(xué)習(xí)機械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理過程。外面輸入知識的表示方式與系統(tǒng)內(nèi)部表示方式完全一致，不需要任何處理和變化。一、概述---機器學(xué)習(xí)的主要策略機械學(xué)習(xí)機械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡單的學(xué)習(xí)策略。一、概述19傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點學(xué)習(xí)。在使用傳授學(xué)習(xí)系統(tǒng)時，外界輸入知識的表達方式與系統(tǒng)內(nèi)部表達方式不完全一致，系統(tǒng)在接受外部知識時，需要一點推理、翻譯和轉(zhuǎn)化工作。一、概述---機器學(xué)習(xí)的主要策略傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點學(xué)習(xí)。一、概述---機器20演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識進行演繹的保真推理，并存儲有用的結(jié)論。一、概述---機器學(xué)習(xí)的主要策略演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識進行演繹的保真推理21歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又無教師的指導(dǎo)，可以分為實例學(xué)習(xí)及觀察與發(fā)現(xiàn)學(xué)習(xí)。一、概述---機器學(xué)習(xí)的主要策略歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又22實例學(xué)習(xí)實例學(xué)習(xí)又稱為概念獲取，它是通過向?qū)W習(xí)者提供某一概念的一組正例和反例，使學(xué)習(xí)者從這些正反例中歸納推理出概念的一般描述，這個描述應(yīng)能解釋所有給定的正例并排除所有給定的反例這些正反例是由信息源提供的，信息源可能是已經(jīng)知道概念的教師，也可以是學(xué)習(xí)者本身，還可能是學(xué)習(xí)者以外的外部環(huán)境。一、概述---機器學(xué)習(xí)的主要策略實例學(xué)習(xí)實例學(xué)習(xí)又稱為概念獲取，它是通過向?qū)W習(xí)者提供某一概念23類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問題時，可以學(xué)習(xí)以前解決過的類似問題的解決方法，來解決當前的問題。所以尋找與當前問題相似的已知問題就很重要，并且必須要能夠發(fā)現(xiàn)當前任務(wù)與已知任務(wù)的相似之點，由此制定出完成當前任務(wù)的方案。類比學(xué)習(xí)可以由系統(tǒng)已有的某一領(lǐng)域知識得到另一領(lǐng)域中類似的知識。一、概述---機器學(xué)習(xí)的主要策略類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問題時，可以學(xué)習(xí)以前解決過的類24觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒有教師的指導(dǎo)，它要產(chǎn)生對所有或大多數(shù)觀察到的規(guī)律和規(guī)則的解釋。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、曲線擬合（使方程符合數(shù)據(jù)）、發(fā)現(xiàn)并解釋觀察到的定律并形成理論。一、概述---機器學(xué)習(xí)的主要策略觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒有25二、機器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點，建立機器學(xué)習(xí)系統(tǒng)的基本模型。環(huán)境學(xué)習(xí)環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)二、機器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點，建26二、機器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識庫是以某種知識表示形式表達的信息的集合，分別代表外界信息來源和系統(tǒng)所具有的知識；“學(xué)習(xí)環(huán)節(jié)”和“執(zhí)行環(huán)節(jié)”代表兩個過程?！碍h(huán)境”向系統(tǒng)的“學(xué)習(xí)環(huán)節(jié)”提供某些信息，而“學(xué)習(xí)環(huán)節(jié)”則利用這些信息對系統(tǒng)的“知識庫”進行改進，以增進系統(tǒng)“執(zhí)行環(huán)節(jié)”完成任務(wù)的效能，“執(zhí)行環(huán)節(jié)”根據(jù)知識庫中的知識來完成某種任務(wù)，同時把獲得的信息反饋給“學(xué)習(xí)環(huán)節(jié)”。二、機器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識庫是以某種知識表示形式表27二、機器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境可以是系統(tǒng)的工作對象，也可以包括工作對象和外界條件。例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當前的癥狀、檢驗的數(shù)據(jù)和病歷。在模式識別中，環(huán)境就是待識別的圖形或景物。環(huán)境就是為學(xué)習(xí)系統(tǒng)提供獲取知識所需的信息。信息的水平和質(zhì)量，對學(xué)習(xí)系統(tǒng)獲取知識的能力有很大的影響。二、機器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境可以是系統(tǒng)的工作對象，也可以包28二、機器學(xué)習(xí)系統(tǒng)的基本模型學(xué)習(xí)環(huán)節(jié)通過獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反饋回的信息進行比較。一般情況下環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，經(jīng)分析、綜合、類比、歸納等思維過程，學(xué)習(xí)環(huán)節(jié)就要從這些差距中獲取相關(guān)對象的知識，并將這些知識存入知識庫中。二、機器學(xué)習(xí)系統(tǒng)的基本模型學(xué)習(xí)環(huán)節(jié)通過獲得外部信息，并將這些29二、機器學(xué)習(xí)系統(tǒng)的基本模型知識庫用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識。影響學(xué)習(xí)系統(tǒng)設(shè)計的第二個因素是知識庫的形式和內(nèi)容。知識庫的形式就是知識表示的形式。選擇知識表示方法要考慮下列準則：可表達性、推理難度、可修改性和可擴充性。二、機器學(xué)習(xí)系統(tǒng)的基本模型知識庫用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知30二、機器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行環(huán)節(jié)是整個機器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實問題，即應(yīng)用知識庫中所學(xué)到的知識求解問題，如智能控制、自然語言理解和定理證明等，并對執(zhí)行的效果進行評價，將評價的結(jié)果反饋回學(xué)習(xí)環(huán)節(jié)，以便系統(tǒng)進一步的學(xué)習(xí)。執(zhí)行環(huán)節(jié)的問題復(fù)雜性、反饋信息和執(zhí)行過程的透明度都對學(xué)習(xí)環(huán)節(jié)有影響。二、機器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行環(huán)節(jié)是整個機器學(xué)習(xí)系統(tǒng)的核心。31二、機器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行部分是整個學(xué)習(xí)系統(tǒng)的核心，因為執(zhí)行部分的動作就是學(xué)習(xí)部分力求改進的動作。同執(zhí)行部分有關(guān)的問題有3個：復(fù)雜性、反饋和透明性。復(fù)雜的任務(wù)比簡單的任務(wù)需要更多的知識，對于這類簡單任務(wù)，有一條分組規(guī)則就可以了。有的要使用幾百條規(guī)則。對于通過例子學(xué)習(xí)的計算機系統(tǒng)，最簡單的執(zhí)行任務(wù)是按照單一的概念或規(guī)則進行分類或預(yù)測。比較復(fù)雜一點的任務(wù)涉及多個概念。學(xué)習(xí)系統(tǒng)最復(fù)雜的任務(wù)是小型計劃任務(wù)，系統(tǒng)必須給出一組規(guī)則序列，執(zhí)行部分依次執(zhí)行這些規(guī)則。二、機器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行部分是整個學(xué)習(xí)系統(tǒng)的核心，因為32三、機械學(xué)習(xí)機械學(xué)習(xí)是最簡單的機器學(xué)習(xí)方法。機械學(xué)習(xí)就是記憶，即把新的知識存儲起來，供需要時檢索調(diào)用，而不需要計算和推理。機械學(xué)習(xí)又是最基本的學(xué)習(xí)過程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識。在機械學(xué)習(xí)系統(tǒng)中，知識的獲取是以較為穩(wěn)定和直接的方式進行的，不需要系統(tǒng)進行過多的加工。三、機械學(xué)習(xí)機械學(xué)習(xí)是最簡單的機器學(xué)習(xí)方法。機械學(xué)習(xí)就是記憶33三、機械學(xué)習(xí)當機械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問題之后，系統(tǒng)就記住該問題及其解。我們可把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個函數(shù)，該函數(shù)在得到自變量輸入值(X1,X2,…,Xn)之后，計算并輸出函數(shù)值(Y1,Y2,…,Yp)。機械學(xué)習(xí)在存儲器中簡單地記憶存儲對((X1,X2,…,Xn),(Y1,Y2,…,Yp))。當需要f(X1,X2,…,Xn)時,執(zhí)行部分就從存儲器中把(Y1,Y2,…,Yp)簡單地檢索出來而不是重新計算它。三、機械學(xué)習(xí)當機械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問題之后，系統(tǒng)就記34三、機械學(xué)習(xí)---主要問題（1）存儲組織信息：采用適當?shù)拇鎯Ψ绞?，使檢索速度，盡可能地快，是機械學(xué)習(xí)中的重要問題。（提高檢索速度）（2）環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。（3）存儲與計算之間的權(quán)衡：對于機械學(xué)習(xí)來說很重要的一點是它不能降低系統(tǒng)的效率三、機械學(xué)習(xí)---主要問題（1）存儲組織信息：采用適當?shù)拇鎯?5四、實例學(xué)習(xí)實例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過事例學(xué)習(xí)。它是通過例子，經(jīng)歸納得出一般性概念的一種方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供給系統(tǒng)一些特殊的實例，這些實例事先又被施教者劃分為正例和反例。實例學(xué)習(xí)系統(tǒng)由此進行歸納推理，得到一般的規(guī)則或一般性的知識，這些一般性知識應(yīng)能解釋所有給定的正例，并排除所有給定的反例。四、實例學(xué)習(xí)實例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過事例學(xué)習(xí)。它是通過例36四、實例學(xué)習(xí)---兩個空間模型實例學(xué)習(xí)中有兩個重要的概念：例子空間和規(guī)則空間。例子空間就是向系統(tǒng)提供的訓(xùn)練例子集合，如教系統(tǒng)識別狗時提供的狗、其它動物和物品。規(guī)則空間是事物所具有的某種規(guī)律，例如“狗有四條腿”、“狗有兩只眼睛”、“狗有一條尾巴”等四、實例學(xué)習(xí)---兩個空間模型實例學(xué)習(xí)中有兩個重要的概念：例37四、實例學(xué)習(xí)---兩個空間模型四、實例學(xué)習(xí)---兩個空間模型38例子空間要考慮的問題例子空間的組織和搜索方法：選擇適當?shù)睦右员阕C實或否決規(guī)則空間中某些假設(shè)規(guī)則集。為了提高搜索效率，需要設(shè)計合適的搜索算法，并把它與例子空間的組織結(jié)構(gòu)進行統(tǒng)籌考慮。四、實例學(xué)習(xí)例子空間要考慮的問題例子空間的組織和搜索方法：選擇適當?shù)睦?9規(guī)則空間要考慮的問題所謂規(guī)則空間用規(guī)定的描述語言可以表示的所有規(guī)則的集合即為規(guī)則空間。與規(guī)則空間有關(guān)的兩個問題是對規(guī)則空間的要求和規(guī)則空間的搜索方法。規(guī)則的表示與實例的表示一致。規(guī)則的表示形式應(yīng)適應(yīng)歸納推理。規(guī)則空間中應(yīng)包括所有可能產(chǎn)生的規(guī)則。四、實例學(xué)習(xí)規(guī)則空間要考慮的問題所謂規(guī)則空間用規(guī)定的描述語言可以表示的所40常用的幾種歸納推理方法常量化成變量去掉條件增加選擇曲線擬合四、實例學(xué)習(xí)常用的幾種歸納推理方法四、實例學(xué)習(xí)41常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧花色(C3,梅花)∧花色(C4,梅花)∧花色(C5,梅花)→同花(C1,C2,C3,C4,C5)示例2：花色(C1,紅桃)∧花色(C2,紅桃)∧花色(C3,紅桃)∧花色(C4,紅桃)∧花色(C5,紅桃)→同花(C1,C2,C3,C4,C5)其中示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。把常量“梅花”和“紅桃”換成變量x，就歸納出一條假設(shè)規(guī)則。規(guī)則1：花色(C1,x)∧花色(C2,x)∧花色(C3,x)∧花色(C4,x)∧花色(C5,x)→同花(C1,C2,C3,C4,C5)常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧42去掉條件去掉條件就是把示例中的某些無關(guān)的子條件去掉。如：示例3：花色(C1,紅桃)∧點數(shù)(C1,3)∧花色(C2,紅桃)∧點數(shù)(C2,5)∧花色(C3,紅桃)∧點數(shù)(C3,7)∧花色(C4,紅桃)∧點數(shù)(C4,10)∧花色(C5,紅桃)∧點數(shù)(C5,K)→同花(C1,C2,C3,C4,C5)為了得到上述規(guī)則1，不但要把常量“紅桃”化為變量x，而且要去掉所有的“點數(shù)”謂詞。去掉條件去掉條件就是把示例中的某些無關(guān)的子條件去掉。如：43增加選擇例如要程序來學(xué)習(xí)“人面牌”的概念，“人面牌”是指點數(shù)為J、Q、K的牌。提供的兩個真例是：示例4：點數(shù)（C1，J）→人面牌（C1）示例5：點數(shù)（C1，K）→人面牌（C1）將兩個示例的前件進行析取合并后等價地得到點數(shù)（C1，J）∨點數(shù)（C1，K）→人面牌（C1）如果在析取條件中增加一種選擇，就得到要求的規(guī)則規(guī)則2：點數(shù)（C1，J）∨點數(shù)（C1，Q）∨點數(shù)（C1，K）→人面牌（C1）增加選擇就是在析取條件中增加一個新的析取項。增加選擇例如要程序來學(xué)習(xí)“人面牌”的概念，“人面牌”是指點數(shù)44“常量化成變量”是一種由具體到一般的演變或歸納；“去掉條件”就是去掉合取項，也就是去掉部分約束；“增加選擇”就是增加析取項，也就是擴大范圍。后兩種方法都是直接擴大范圍，但方法①更強，歸納過快，因此更容易出錯，方法③較弱，不易出錯，但歸納較慢。例如對示例4和示例5使用方法①就會得到下列錯誤：點數(shù)（C1，x）→人（C1）.....(錯誤)“常量化成變量”是一種由具體到一般的演變或歸納；45歸納推理這個結(jié)果說明歸納過程很容易出錯，歸納推理不是保真的，是保假的（前提為真則結(jié)論不一定為真，前提為假則結(jié)論一定為假）。歸納過程就是從多種歸納方法中選擇正確的方法，以得到正確的結(jié)果。因此歸納過程就是搜索過程，在歸納的過程中，出現(xiàn)錯誤后要進行回溯。發(fā)現(xiàn)錯誤的方法，一般是選用新的例子去否定歸納出的錯誤規(guī)則，在實例學(xué)習(xí)的兩個空間模型中也正是這樣表示的。歸納推理這個結(jié)果說明歸納過程很容易出錯，歸納推理不是保真的，46五、解釋學(xué)習(xí)解釋學(xué)習(xí)是20世紀80年代出現(xiàn)的一種機器學(xué)習(xí)方法。屬于分析學(xué)習(xí)。從本質(zhì)上講屬于演繹學(xué)習(xí)。由美國Illinois大學(xué)Dejong提出。解釋學(xué)習(xí)是在經(jīng)驗學(xué)習(xí)的基礎(chǔ)上提出的。解釋學(xué)習(xí)與實例學(xué)習(xí)不同，解釋學(xué)習(xí)分析一個或少數(shù)幾個例子，加上給定的領(lǐng)域知識，進行保真的的演繹推理，存儲有用的結(jié)論，經(jīng)過知識的求精和編輯，產(chǎn)生適合以后求解類似問題的控制知識。五、解釋學(xué)習(xí)解釋學(xué)習(xí)是20世紀80年代出現(xiàn)的一種機器學(xué)習(xí)方法47五、解釋學(xué)習(xí)解釋學(xué)習(xí)的步驟：1.通過分析一個求解實例來產(chǎn)生解釋結(jié)構(gòu)。2.對該結(jié)構(gòu)進行泛化，獲取一般的控制規(guī)則。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的步驟：www.themegallery48五、解釋學(xué)習(xí)解釋學(xué)習(xí)的可操作性如果給定：1.一個概念描述；2.一個執(zhí)行系統(tǒng)，它利用概念描述改善執(zhí)行情況；3.改善執(zhí)行系統(tǒng)的各種要求，應(yīng)明確各要求的類型和程度。如果，滿足下面兩個條件：1.可用性（執(zhí)行系統(tǒng)可利用該概念描述）。2.有用性（執(zhí)行系統(tǒng)利用該概念描述時，系統(tǒng)的運行得到要求的改善）。則：該概念描述是可操作的。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的可操作性www.themegaller49五、解釋學(xué)習(xí)解釋學(xué)習(xí)的空間模型例子空間：例子的集合概念空間：某個學(xué)習(xí)程序能描述的所有概念的集合。概念描述空間：對概念描述的集合。解釋學(xué)習(xí)的方法1987年斯坦福大學(xué)Haym和Hirsh提出的解釋和概括交替并行的EBG方法。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的空間模型www.themegaller50六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹，到葉子節(jié)點處的熵值為零，此時每個葉節(jié)點中的實例都屬于同一類。決策樹學(xué)習(xí)是以實例為基礎(chǔ)的歸納學(xué)習(xí)。從一類無序、無規(guī)則的事物（概念）中推理出決策樹表示的分類規(guī)則。六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一www.51六、決策樹學(xué)習(xí)六、決策樹學(xué)習(xí)52六、決策樹學(xué)習(xí)概念分類學(xué)習(xí)算法：來源于Hunt,Marin和Stone于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個概念。1979年,J.R.Quinlan給出ID3算法，并在1983年和1986年對ID3進行了總結(jié)和簡化，使其成為決策樹學(xué)習(xí)算法的典型。Schlimmer和Fisher于1986年對ID3進行改造，在每個可能的決策樹節(jié)點創(chuàng)建緩沖區(qū)，使決策樹可以遞增式生成，得到ID4算法。1988年，Utgoff在ID4基礎(chǔ)上提出了ID5學(xué)習(xí)算法，進一步提高了效率。1993年，Quinlan進一步發(fā)展了ID3算法，改進成C4.5算法。另一類決策樹算法為CART，與C4.5不同的是，CART的決策樹由二元邏輯問題生成，每個樹節(jié)點只有兩個分枝，分別包括學(xué)習(xí)實例的正例與反例。六、決策樹學(xué)習(xí)概念分類學(xué)習(xí)算法：來源于www.themega53六、決策樹學(xué)習(xí)大多數(shù)決策樹學(xué)習(xí)算法是一種核心算法的變體采用自頂向下的貪婪搜索遍歷可能的決策樹空間當前比較引人注目的有斜超平面分割的多變決策樹(Multi-VarianceDecisionTree，MDT)算法，將遺傳算法、神經(jīng)元網(wǎng)絡(luò)和C4.5相結(jié)合的GA-NN-C4.5算法，SVM決策樹算法。六、決策樹學(xué)習(xí)大多數(shù)決策樹學(xué)習(xí)算法是一種核心算法的變體www54六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)采用的是自頂向下的遞歸方法。決策樹的每一層節(jié)點依照某一屬性值向下分為子節(jié)點，待分類的實例在每一節(jié)點處與該節(jié)點相關(guān)的屬性值進行比較，根據(jù)不同的比較結(jié)果向相應(yīng)的子節(jié)點擴展，這一過程在到達決策樹的葉節(jié)點時結(jié)束，此時得到結(jié)論。從根節(jié)點到葉節(jié)點的每一條路經(jīng)都對應(yīng)著一條合理的規(guī)則，規(guī)則間各個部分（各個層的條件）的關(guān)系是合取關(guān)系。整個決策樹就對應(yīng)著一組析取的規(guī)則。六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)采用的是自頂向下的遞歸方法。www.55六、決策樹學(xué)習(xí)樹是由節(jié)點和分枝組成的層次數(shù)據(jù)結(jié)構(gòu)。節(jié)點用于存貯信息或知識，分枝用于連接各個節(jié)點。樹是圖的一個特例，圖是更一般的數(shù)學(xué)結(jié)構(gòu)，如貝葉斯網(wǎng)絡(luò)。決策樹是描述分類過程的一種數(shù)據(jù)結(jié)構(gòu)，從上端的根節(jié)點開始，各種分類原則被引用進來，并依這些分類原則將根節(jié)點的數(shù)據(jù)集劃分為子集，這一劃分過程直到某種約束條件滿足而結(jié)束。

根結(jié)點個子大可能是松鼠可能是老鼠可能是大象在水里會吱吱叫鼻子長脖子長個子小不會吱吱叫鼻子短脖子短可能是長頸鹿在陸地上可能是犀?？赡苁呛玉R六、決策樹學(xué)習(xí)樹是由56六、決策樹學(xué)習(xí)判定結(jié)構(gòu)可以機械的轉(zhuǎn)變成產(chǎn)生式規(guī)則。可以通過對結(jié)構(gòu)進行廣度優(yōu)先搜索，并在每個節(jié)點生成“IF…THEN”規(guī)則來實現(xiàn)。如上圖的決策樹可以轉(zhuǎn)換成下規(guī)則：

IF“個子大”THENIF“脖子短”THENIF“鼻子長”THEN可能是大象形式化表示成六、決策樹學(xué)習(xí)判定結(jié)構(gòu)可以機械的轉(zhuǎn)變成產(chǎn)生式規(guī)則。可以通過對57六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)的應(yīng)用根據(jù)病情對病人分類根據(jù)起因?qū)收戏诸惛鶕?jù)付款信用情況對貸款申請者分類六、決策樹學(xué)習(xí)決策樹學(xué)習(xí)的應(yīng)用www.themegaller58七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計算機代替人的腦力勞動。計算機速度為納秒級，人腦細胞反應(yīng)時間是毫秒級。而計算機不如人。長期以來人類的夢想，機器既能超越人的計算能力，又有類似于人的識別、分析、聯(lián)想等能力。七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)什么叫人工神經(jīng)網(wǎng)絡(luò)www.themegall59七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史發(fā)展史1890年，美國生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當兩個基本處理單元同時活動，或兩個單元靠得比較近時，一個單元的興奮會傳到另一個單元。而且一個單元的活動程度與他周圍的活動數(shù)目和活動密度成正比。1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個簡單的人工神經(jīng)元模型的活動是服從二值（興奮和抑制）變化的?？偨Y(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法?！獦酥旧窠?jīng)計算時代的開始輸出表達式七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史發(fā)展史www.themegaller60七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史1949年DonalaU.Hebb（心理學(xué)家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯(lián)系強度可變的假設(shè)，認為學(xué)習(xí)的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經(jīng)元的活動而變化。1957年FrankRosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。規(guī)則學(xué)習(xí)

意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)，在IBM704計算機上進行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對于非線性或其他分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點。——神經(jīng)網(wǎng)絡(luò)研究一度達到低潮。原因還有：計算機不夠發(fā)達、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史1949年DonalaU.Hebb61七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史七十年代：日本Fukusima的Neocognitron；芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；StephenCrossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等。1982年JohnJ.Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型?！碌木哂型暾碚摶A(chǔ)的神經(jīng)網(wǎng)絡(luò)模型。基本思想是對