第7講機(jī)器學(xué)習(xí)課件

人工智能中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院第7講機(jī)器學(xué)習(xí)人工智能中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院第7講機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)一、概述二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型三、機(jī)械學(xué)習(xí)四、實(shí)例學(xué)習(xí)五、解釋學(xué)習(xí)六、決策樹(shù)學(xué)習(xí)七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)器學(xué)習(xí)一、概述2一、概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的學(xué)習(xí)能力。系統(tǒng)中的知識(shí)是由人工編程送入的，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。一、概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的3一、概述否定意見(jiàn)：機(jī)器是人造的，其性能和動(dòng)作是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。對(duì)于不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)是正確的，可是對(duì)于具備學(xué)習(xí)能力的機(jī)器就值得考慮了。機(jī)器學(xué)習(xí)的不可預(yù)測(cè)問(wèn)題。機(jī)器的能力是否能超過(guò)人的能力？一、概述否定意見(jiàn)：機(jī)器是人造的，其性能和動(dòng)作是由設(shè)計(jì)者規(guī)定的4一、概述20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編寫(xiě)了著名的跳棋程序。啟發(fā)式搜索技術(shù)，跳棋程序可以向前看幾步然后再走棋。可以從經(jīng)驗(yàn)中學(xué)習(xí)，從棋譜中學(xué)習(xí)。不斷調(diào)整棋盤(pán)評(píng)價(jià)函數(shù)，提高自己的棋藝。經(jīng)過(guò)三年的學(xué)習(xí)，打敗了Samuel，又三年，打敗了州冠軍。同時(shí)刺激了“搜索”和“機(jī)器學(xué)習(xí)”這兩個(gè)人工智能的重要領(lǐng)域的發(fā)展。跳棋程序一、概述20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編5一、概述一、概述6一、概述--塞繆爾的人生1901年生于美國(guó)堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)1923年大學(xué)畢業(yè)以后，他進(jìn)入MIT念研究生，1926年取得碩士學(xué)位。留校工作兩年以后，他加盟貝爾實(shí)驗(yàn)室，從事電子器件的研究。二次世界大戰(zhàn)爆發(fā)以后，他的研究工作集中于雷達(dá)技術(shù)。戰(zhàn)爭(zhēng)結(jié)束后，到伊利諾大學(xué)電氣工程系任教，積極參與了該校研制電子計(jì)算機(jī)的工作。1949年即轉(zhuǎn)至IBM公司在普凱潑茜的研發(fā)實(shí)驗(yàn)室工作，參與其第一臺(tái)大型科學(xué)計(jì)算機(jī)701的開(kāi)發(fā)。一、概述--塞繆爾的人生1901年生于美國(guó)堪薩斯州的恩波利亞7一、概述--塞繆爾的人生塞繆爾在下棋程序方面的工作對(duì)IBM公司早期計(jì)算機(jī)的指令系統(tǒng)產(chǎn)生了很大影響。由于下棋程序是計(jì)算機(jī)應(yīng)用中最早的一種典型的非數(shù)值計(jì)算，因此在701中加入了許多邏輯指令，這類指令后來(lái)迅速被所有計(jì)算機(jī)的設(shè)計(jì)者所采用和推廣，成為計(jì)算機(jī)指令集中的基本成分。1966年塞繆爾從IBM公司退休以后，到斯坦福大學(xué)從事教學(xué)和研究工作，指導(dǎo)博士生，直到1982年。塞繆爾晚年得了帕金森綜合癥。病中他開(kāi)始撰寫(xiě)自傳，但只寫(xiě)到20世紀(jì)60年代中期，即于1990年7月29日在加利福尼亞州的家中撒手西去。塞繆爾生前除了獲得IZEE的計(jì)算機(jī)先驅(qū)獎(jiǎng)以外，沒(méi)有別的榮譽(yù)和獎(jiǎng)勵(lì)。一、概述--塞繆爾的人生塞繆爾在下棋程序方面的工作對(duì)IBM公8一、概述Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作”。Minsky認(rèn)為“學(xué)習(xí)是在我們的頭腦中進(jìn)行有用的變化”。有的觀點(diǎn)認(rèn)為“機(jī)器學(xué)習(xí)就是知識(shí)的獲取”，但獲取的知識(shí)有時(shí)不會(huì)使系統(tǒng)有所改善。什么是機(jī)器學(xué)習(xí)？一、概述Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)9一、概述知識(shí)獲取學(xué)習(xí)的本質(zhì)就是獲取新的知識(shí)，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實(shí)的表示。技能求精通過(guò)實(shí)踐改造機(jī)制和認(rèn)知技能。這些技能包括意識(shí)的或機(jī)制的。這種改變是通過(guò)反復(fù)實(shí)踐和從失敗中糾正錯(cuò)誤來(lái)進(jìn)行的。學(xué)習(xí)騎自行車(chē)。學(xué)習(xí)的基本形式一、概述知識(shí)獲取學(xué)習(xí)的基本形式10一、概述人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)，在這個(gè)過(guò)程中，必然會(huì)問(wèn)到“人類怎么做才能獲得這種特殊技能（或知識(shí)）？”當(dāng)前的人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。為什么要研究機(jī)器學(xué)習(xí)？一、概述人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于11未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書(shū)本中學(xué)習(xí)，通過(guò)與人談話學(xué)習(xí)，通過(guò)觀察學(xué)習(xí)。通過(guò)實(shí)踐自我完善?？朔说拇鎯?chǔ)少，效率低，注意力分散，難以傳送所獲取知識(shí)等局限性。一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易復(fù)制給任何其他機(jī)器。一、概述為什么要研究機(jī)器學(xué)習(xí)？未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書(shū)本中學(xué)習(xí)，通過(guò)與12機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)。歸納推理：現(xiàn)有的歸納推理保假，不保真。演繹推理保真。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多的是假的，給生成知識(shí)帶來(lái)不可靠性。機(jī)器目前很難觀察什么重要，什么有意義。一、概述機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功13一、概述---機(jī)器學(xué)習(xí)的發(fā)展史

第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)；其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開(kāi)始研究的神經(jīng)網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。一、概述---機(jī)器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到14一、概述---機(jī)器學(xué)習(xí)的發(fā)展史

第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。

本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。一、概述---機(jī)器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至715一、概述---機(jī)器學(xué)習(xí)的發(fā)展史

第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。

在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。一、概述---機(jī)器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至816一、概述---機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究開(kāi)始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。一、概述---機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于198617一、概述---機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為：機(jī)械學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)和歸納學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。一、概述---機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連18機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理過(guò)程。外面輸入知識(shí)的表示方式與系統(tǒng)內(nèi)部表示方式完全一致，不需要任何處理和變化。一、概述---機(jī)器學(xué)習(xí)的主要策略機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。一、概述19傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。在使用傳授學(xué)習(xí)系統(tǒng)時(shí)，外界輸入知識(shí)的表達(dá)方式與系統(tǒng)內(nèi)部表達(dá)方式不完全一致，系統(tǒng)在接受外部知識(shí)時(shí)，需要一點(diǎn)推理、翻譯和轉(zhuǎn)化工作。一、概述---機(jī)器學(xué)習(xí)的主要策略傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。一、概述---機(jī)器20演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理，并存儲(chǔ)有用的結(jié)論。一、概述---機(jī)器學(xué)習(xí)的主要策略演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理21歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又無(wú)教師的指導(dǎo)，可以分為實(shí)例學(xué)習(xí)及觀察與發(fā)現(xiàn)學(xué)習(xí)。一、概述---機(jī)器學(xué)習(xí)的主要策略歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又22實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念的一組正例和反例，使學(xué)習(xí)者從這些正反例中歸納推理出概念的一般描述，這個(gè)描述應(yīng)能解釋所有給定的正例并排除所有給定的反例這些正反例是由信息源提供的，信息源可能是已經(jīng)知道概念的教師，也可以是學(xué)習(xí)者本身，還可能是學(xué)習(xí)者以外的外部環(huán)境。一、概述---機(jī)器學(xué)習(xí)的主要策略實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念23類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類似問(wèn)題的解決方法，來(lái)解決當(dāng)前的問(wèn)題。所以尋找與當(dāng)前問(wèn)題相似的已知問(wèn)題就很重要，并且必須要能夠發(fā)現(xiàn)當(dāng)前任務(wù)與已知任務(wù)的相似之點(diǎn)，由此制定出完成當(dāng)前任務(wù)的方案。類比學(xué)習(xí)可以由系統(tǒng)已有的某一領(lǐng)域知識(shí)得到另一領(lǐng)域中類似的知識(shí)。一、概述---機(jī)器學(xué)習(xí)的主要策略類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類24觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有教師的指導(dǎo)，它要產(chǎn)生對(duì)所有或大多數(shù)觀察到的規(guī)律和規(guī)則的解釋。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、曲線擬合（使方程符合數(shù)據(jù)）、發(fā)現(xiàn)并解釋觀察到的定律并形成理論。一、概述---機(jī)器學(xué)習(xí)的主要策略觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有25二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建立機(jī)器學(xué)習(xí)系統(tǒng)的基本模型。環(huán)境學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建26二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息的集合，分別代表外界信息來(lái)源和系統(tǒng)所具有的知識(shí)；“學(xué)習(xí)環(huán)節(jié)”和“執(zhí)行環(huán)節(jié)”代表兩個(gè)過(guò)程?！碍h(huán)境”向系統(tǒng)的“學(xué)習(xí)環(huán)節(jié)”提供某些信息，而“學(xué)習(xí)環(huán)節(jié)”則利用這些信息對(duì)系統(tǒng)的“知識(shí)庫(kù)”進(jìn)行改進(jìn)，以增進(jìn)系統(tǒng)“執(zhí)行環(huán)節(jié)”完成任務(wù)的效能，“執(zhí)行環(huán)節(jié)”根據(jù)知識(shí)庫(kù)中的知識(shí)來(lái)完成某種任務(wù)，同時(shí)把獲得的信息反饋給“學(xué)習(xí)環(huán)節(jié)”。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表27二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀、檢驗(yàn)的數(shù)據(jù)和病歷。在模式識(shí)別中，環(huán)境就是待識(shí)別的圖形或景物。環(huán)境就是為學(xué)習(xí)系統(tǒng)提供獲取知識(shí)所需的信息。信息的水平和質(zhì)量，對(duì)學(xué)習(xí)系統(tǒng)獲取知識(shí)的能力有很大的影響。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包28二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反饋回的信息進(jìn)行比較。一般情況下環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，經(jīng)分析、綜合、類比、歸納等思維過(guò)程，學(xué)習(xí)環(huán)節(jié)就要從這些差距中獲取相關(guān)對(duì)象的知識(shí)，并將這些知識(shí)存入知識(shí)庫(kù)中。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些29二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識(shí)。影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素是知識(shí)庫(kù)的形式和內(nèi)容。知識(shí)庫(kù)的形式就是知識(shí)表示的形式。選擇知識(shí)表示方法要考慮下列準(zhǔn)則：可表達(dá)性、推理難度、可修改性和可擴(kuò)充性。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知30二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實(shí)問(wèn)題，即應(yīng)用知識(shí)庫(kù)中所學(xué)到的知識(shí)求解問(wèn)題，如智能控制、自然語(yǔ)言理解和定理證明等，并對(duì)執(zhí)行的效果進(jìn)行評(píng)價(jià)，將評(píng)價(jià)的結(jié)果反饋回學(xué)習(xí)環(huán)節(jié)，以便系統(tǒng)進(jìn)一步的學(xué)習(xí)。執(zhí)行環(huán)節(jié)的問(wèn)題復(fù)雜性、反饋信息和執(zhí)行過(guò)程的透明度都對(duì)學(xué)習(xí)環(huán)節(jié)有影響。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。31二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問(wèn)題有3個(gè)：復(fù)雜性、反饋和透明性。復(fù)雜的任務(wù)比簡(jiǎn)單的任務(wù)需要更多的知識(shí)，對(duì)于這類簡(jiǎn)單任務(wù)，有一條分組規(guī)則就可以了。有的要使用幾百條規(guī)則。對(duì)于通過(guò)例子學(xué)習(xí)的計(jì)算機(jī)系統(tǒng)，最簡(jiǎn)單的執(zhí)行任務(wù)是按照單一的概念或規(guī)則進(jìn)行分類或預(yù)測(cè)。比較復(fù)雜一點(diǎn)的任務(wù)涉及多個(gè)概念。學(xué)習(xí)系統(tǒng)最復(fù)雜的任務(wù)是小型計(jì)劃任務(wù)，系統(tǒng)必須給出一組規(guī)則序列，執(zhí)行部分依次執(zhí)行這些規(guī)則。二、機(jī)器學(xué)習(xí)系統(tǒng)的基本模型執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)?2三、機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。三、機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶33三、機(jī)械學(xué)習(xí)當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其解。我們可把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個(gè)函數(shù)，該函數(shù)在得到自變量輸入值(X1,X2,…,Xn)之后，計(jì)算并輸出函數(shù)值(Y1,Y2,…,Yp)。機(jī)械學(xué)習(xí)在存儲(chǔ)器中簡(jiǎn)單地記憶存儲(chǔ)對(duì)((X1,X2,…,Xn),(Y1,Y2,…,Yp))。當(dāng)需要f(X1,X2,…,Xn)時(shí),執(zhí)行部分就從存儲(chǔ)器中把(Y1,Y2,…,Yp)簡(jiǎn)單地檢索出來(lái)而不是重新計(jì)算它。三、機(jī)械學(xué)習(xí)當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記34三、機(jī)械學(xué)習(xí)---主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度，盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。（提高檢索速度）（2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。（3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率三、機(jī)械學(xué)習(xí)---主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)35四、實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例子，經(jīng)歸納得出一般性概念的一種方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供給系統(tǒng)一些特殊的實(shí)例，這些實(shí)例事先又被施教者劃分為正例和反例。實(shí)例學(xué)習(xí)系統(tǒng)由此進(jìn)行歸納推理，得到一般的規(guī)則或一般性的知識(shí)，這些一般性知識(shí)應(yīng)能解釋所有給定的正例，并排除所有給定的反例。四、實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例36四、實(shí)例學(xué)習(xí)---兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例子空間和規(guī)則空間。例子空間就是向系統(tǒng)提供的訓(xùn)練例子集合，如教系統(tǒng)識(shí)別狗時(shí)提供的狗、其它動(dòng)物和物品。規(guī)則空間是事物所具有的某種規(guī)律，例如“狗有四條腿”、“狗有兩只眼睛”、“狗有一條尾巴”等四、實(shí)例學(xué)習(xí)---兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例37四、實(shí)例學(xué)習(xí)---兩個(gè)空間模型四、實(shí)例學(xué)習(xí)---兩個(gè)空間模型38例子空間要考慮的問(wèn)題例子空間的組織和搜索方法：選擇適當(dāng)?shù)睦右员阕C實(shí)或否決規(guī)則空間中某些假設(shè)規(guī)則集。為了提高搜索效率，需要設(shè)計(jì)合適的搜索算法，并把它與例子空間的組織結(jié)構(gòu)進(jìn)行統(tǒng)籌考慮。四、實(shí)例學(xué)習(xí)例子空間要考慮的問(wèn)題例子空間的組織和搜索方法：選擇適當(dāng)?shù)睦?9規(guī)則空間要考慮的問(wèn)題所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的所有規(guī)則的集合即為規(guī)則空間。與規(guī)則空間有關(guān)的兩個(gè)問(wèn)題是對(duì)規(guī)則空間的要求和規(guī)則空間的搜索方法。規(guī)則的表示與實(shí)例的表示一致。規(guī)則的表示形式應(yīng)適應(yīng)歸納推理。規(guī)則空間中應(yīng)包括所有可能產(chǎn)生的規(guī)則。四、實(shí)例學(xué)習(xí)規(guī)則空間要考慮的問(wèn)題所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的所40常用的幾種歸納推理方法常量化成變量去掉條件增加選擇曲線擬合四、實(shí)例學(xué)習(xí)常用的幾種歸納推理方法四、實(shí)例學(xué)習(xí)41常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧花色(C3,梅花)∧花色(C4,梅花)∧花色(C5,梅花)→同花(C1,C2,C3,C4,C5)示例2：花色(C1,紅桃)∧花色(C2,紅桃)∧花色(C3,紅桃)∧花色(C4,紅桃)∧花色(C5,紅桃)→同花(C1,C2,C3,C4,C5)其中示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。把常量“梅花”和“紅桃”換成變量x，就歸納出一條假設(shè)規(guī)則。規(guī)則1：花色(C1,x)∧花色(C2,x)∧花色(C3,x)∧花色(C4,x)∧花色(C5,x)→同花(C1,C2,C3,C4,C5)常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧42去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：示例3：花色(C1,紅桃)∧點(diǎn)數(shù)(C1,3)∧花色(C2,紅桃)∧點(diǎn)數(shù)(C2,5)∧花色(C3,紅桃)∧點(diǎn)數(shù)(C3,7)∧花色(C4,紅桃)∧點(diǎn)數(shù)(C4,10)∧花色(C5,紅桃)∧點(diǎn)數(shù)(C5,K)→同花(C1,C2,C3,C4,C5)為了得到上述規(guī)則1，不但要把常量“紅桃”化為變量x，而且要去掉所有的“點(diǎn)數(shù)”謂詞。去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：43增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)為J、Q、K的牌。提供的兩個(gè)真例是：示例4：點(diǎn)數(shù)（C1，J）→人面牌（C1）示例5：點(diǎn)數(shù)（C1，K）→人面牌（C1）將兩個(gè)示例的前件進(jìn)行析取合并后等價(jià)地得到點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）如果在析取條件中增加一種選擇，就得到要求的規(guī)則規(guī)則2：點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，Q）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）增加選擇就是在析取條件中增加一個(gè)新的析取項(xiàng)。增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)44“常量化成變量”是一種由具體到一般的演變或歸納；“去掉條件”就是去掉合取項(xiàng)，也就是去掉部分約束；“增加選擇”就是增加析取項(xiàng)，也就是擴(kuò)大范圍。后兩種方法都是直接擴(kuò)大范圍，但方法①更強(qiáng)，歸納過(guò)快，因此更容易出錯(cuò)，方法③較弱，不易出錯(cuò)，但歸納較慢。例如對(duì)示例4和示例5使用方法①就會(huì)得到下列錯(cuò)誤：點(diǎn)數(shù)（C1，x）→人（C1）.....(錯(cuò)誤)“常量化成變量”是一種由具體到一般的演變或歸納；45歸納推理這個(gè)結(jié)果說(shuō)明歸納過(guò)程很容易出錯(cuò)，歸納推理不是保真的，是保假的（前提為真則結(jié)論不一定為真，前提為假則結(jié)論一定為假）。歸納過(guò)程就是從多種歸納方法中選擇正確的方法，以得到正確的結(jié)果。因此歸納過(guò)程就是搜索過(guò)程，在歸納的過(guò)程中，出現(xiàn)錯(cuò)誤后要進(jìn)行回溯。發(fā)現(xiàn)錯(cuò)誤的方法，一般是選用新的例子去否定歸納出的錯(cuò)誤規(guī)則，在實(shí)例學(xué)習(xí)的兩個(gè)空間模型中也正是這樣表示的。歸納推理這個(gè)結(jié)果說(shuō)明歸納過(guò)程很容易出錯(cuò)，歸納推理不是保真的，46五、解釋學(xué)習(xí)解釋學(xué)習(xí)是20世紀(jì)80年代出現(xiàn)的一種機(jī)器學(xué)習(xí)方法。屬于分析學(xué)習(xí)。從本質(zhì)上講屬于演繹學(xué)習(xí)。由美國(guó)Illinois大學(xué)Dejong提出。解釋學(xué)習(xí)是在經(jīng)驗(yàn)學(xué)習(xí)的基礎(chǔ)上提出的。解釋學(xué)習(xí)與實(shí)例學(xué)習(xí)不同，解釋學(xué)習(xí)分析一個(gè)或少數(shù)幾個(gè)例子，加上給定的領(lǐng)域知識(shí)，進(jìn)行保真的的演繹推理，存儲(chǔ)有用的結(jié)論，經(jīng)過(guò)知識(shí)的求精和編輯，產(chǎn)生適合以后求解類似問(wèn)題的控制知識(shí)。五、解釋學(xué)習(xí)解釋學(xué)習(xí)是20世紀(jì)80年代出現(xiàn)的一種機(jī)器學(xué)習(xí)方法47五、解釋學(xué)習(xí)解釋學(xué)習(xí)的步驟：1.通過(guò)分析一個(gè)求解實(shí)例來(lái)產(chǎn)生解釋結(jié)構(gòu)。2.對(duì)該結(jié)構(gòu)進(jìn)行泛化，獲取一般的控制規(guī)則。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的步驟：www.themegallery48五、解釋學(xué)習(xí)解釋學(xué)習(xí)的可操作性如果給定：1.一個(gè)概念描述；2.一個(gè)執(zhí)行系統(tǒng)，它利用概念描述改善執(zhí)行情況；3.改善執(zhí)行系統(tǒng)的各種要求，應(yīng)明確各要求的類型和程度。如果，滿足下面兩個(gè)條件：1.可用性（執(zhí)行系統(tǒng)可利用該概念描述）。2.有用性（執(zhí)行系統(tǒng)利用該概念描述時(shí)，系統(tǒng)的運(yùn)行得到要求的改善）。則：該概念描述是可操作的。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的可操作性www.themegaller49五、解釋學(xué)習(xí)解釋學(xué)習(xí)的空間模型例子空間：例子的集合概念空間：某個(gè)學(xué)習(xí)程序能描述的所有概念的集合。概念描述空間：對(duì)概念描述的集合。解釋學(xué)習(xí)的方法1987年斯坦福大學(xué)Haym和Hirsh提出的解釋和概括交替并行的EBG方法。五、解釋學(xué)習(xí)解釋學(xué)習(xí)的空間模型www.themegaller50六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹(shù)，到葉子節(jié)點(diǎn)處的熵值為零，此時(shí)每個(gè)葉節(jié)點(diǎn)中的實(shí)例都屬于同一類。決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)。從一類無(wú)序、無(wú)規(guī)則的事物（概念）中推理出決策樹(shù)表示的分類規(guī)則。六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一www.51六、決策樹(shù)學(xué)習(xí)六、決策樹(shù)學(xué)習(xí)52六、決策樹(shù)學(xué)習(xí)概念分類學(xué)習(xí)算法：來(lái)源于Hunt,Marin和Stone于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個(gè)概念。1979年,J.R.Quinlan給出ID3算法，并在1983年和1986年對(duì)ID3進(jìn)行了總結(jié)和簡(jiǎn)化，使其成為決策樹(shù)學(xué)習(xí)算法的典型。Schlimmer和Fisher于1986年對(duì)ID3進(jìn)行改造，在每個(gè)可能的決策樹(shù)節(jié)點(diǎn)創(chuàng)建緩沖區(qū)，使決策樹(shù)可以遞增式生成，得到ID4算法。1988年，Utgoff在ID4基礎(chǔ)上提出了ID5學(xué)習(xí)算法，進(jìn)一步提高了效率。1993年，Quinlan進(jìn)一步發(fā)展了ID3算法，改進(jìn)成C4.5算法。另一類決策樹(shù)算法為CART，與C4.5不同的是，CART的決策樹(shù)由二元邏輯問(wèn)題生成，每個(gè)樹(shù)節(jié)點(diǎn)只有兩個(gè)分枝，分別包括學(xué)習(xí)實(shí)例的正例與反例。六、決策樹(shù)學(xué)習(xí)概念分類學(xué)習(xí)算法：來(lái)源于www.themega53六、決策樹(shù)學(xué)習(xí)大多數(shù)決策樹(shù)學(xué)習(xí)算法是一種核心算法的變體采用自頂向下的貪婪搜索遍歷可能的決策樹(shù)空間當(dāng)前比較引人注目的有斜超平面分割的多變決策樹(shù)(Multi-VarianceDecisionTree，MDT)算法，將遺傳算法、神經(jīng)元網(wǎng)絡(luò)和C4.5相結(jié)合的GA-NN-C4.5算法，SVM決策樹(shù)算法。六、決策樹(shù)學(xué)習(xí)大多數(shù)決策樹(shù)學(xué)習(xí)算法是一種核心算法的變體www54六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)采用的是自頂向下的遞歸方法。決策樹(shù)的每一層節(jié)點(diǎn)依照某一屬性值向下分為子節(jié)點(diǎn)，待分類的實(shí)例在每一節(jié)點(diǎn)處與該節(jié)點(diǎn)相關(guān)的屬性值進(jìn)行比較，根據(jù)不同的比較結(jié)果向相應(yīng)的子節(jié)點(diǎn)擴(kuò)展，這一過(guò)程在到達(dá)決策樹(shù)的葉節(jié)點(diǎn)時(shí)結(jié)束，此時(shí)得到結(jié)論。從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的每一條路經(jīng)都對(duì)應(yīng)著一條合理的規(guī)則，規(guī)則間各個(gè)部分（各個(gè)層的條件）的關(guān)系是合取關(guān)系。整個(gè)決策樹(shù)就對(duì)應(yīng)著一組析取的規(guī)則。六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)采用的是自頂向下的遞歸方法。www.55六、決策樹(shù)學(xué)習(xí)樹(shù)是由節(jié)點(diǎn)和分枝組成的層次數(shù)據(jù)結(jié)構(gòu)。節(jié)點(diǎn)用于存貯信息或知識(shí)，分枝用于連接各個(gè)節(jié)點(diǎn)。樹(shù)是圖的一個(gè)特例，圖是更一般的數(shù)學(xué)結(jié)構(gòu)，如貝葉斯網(wǎng)絡(luò)。決策樹(shù)是描述分類過(guò)程的一種數(shù)據(jù)結(jié)構(gòu)，從上端的根節(jié)點(diǎn)開(kāi)始，各種分類原則被引用進(jìn)來(lái)，并依這些分類原則將根節(jié)點(diǎn)的數(shù)據(jù)集劃分為子集，這一劃分過(guò)程直到某種約束條件滿足而結(jié)束。

根結(jié)點(diǎn)個(gè)子大可能是松鼠可能是老鼠可能是大象在水里會(huì)吱吱叫鼻子長(zhǎng)脖子長(zhǎng)個(gè)子小不會(huì)吱吱叫鼻子短脖子短可能是長(zhǎng)頸鹿在陸地上可能是犀?？赡苁呛玉R六、決策樹(shù)學(xué)習(xí)樹(shù)是由56六、決策樹(shù)學(xué)習(xí)判定結(jié)構(gòu)可以機(jī)械的轉(zhuǎn)變成產(chǎn)生式規(guī)則。可以通過(guò)對(duì)結(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索，并在每個(gè)節(jié)點(diǎn)生成“IF…THEN”規(guī)則來(lái)實(shí)現(xiàn)。如上圖的決策樹(shù)可以轉(zhuǎn)換成下規(guī)則：

IF“個(gè)子大”THENIF“脖子短”THENIF“鼻子長(zhǎng)”THEN可能是大象形式化表示成六、決策樹(shù)學(xué)習(xí)判定結(jié)構(gòu)可以機(jī)械的轉(zhuǎn)變成產(chǎn)生式規(guī)則。可以通過(guò)對(duì)57六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)的應(yīng)用根據(jù)病情對(duì)病人分類根據(jù)起因?qū)收戏诸惛鶕?jù)付款信用情況對(duì)貸款申請(qǐng)者分類六、決策樹(shù)學(xué)習(xí)決策樹(shù)學(xué)習(xí)的應(yīng)用www.themegaller58七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來(lái)模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。而計(jì)算機(jī)不如人。長(zhǎng)期以來(lái)人類的夢(mèng)想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識(shí)別、分析、聯(lián)想等能力。七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)什么叫人工神經(jīng)網(wǎng)絡(luò)www.themegall59七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史發(fā)展史1890年，美國(guó)生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書(shū)。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當(dāng)兩個(gè)基本處理單元同時(shí)活動(dòng)，或兩個(gè)單元靠得比較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元。而且一個(gè)單元的活動(dòng)程度與他周?chē)幕顒?dòng)數(shù)目和活動(dòng)密度成正比。1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的。總結(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法?！獦?biāo)志神經(jīng)計(jì)算時(shí)代的開(kāi)始輸出表達(dá)式七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史發(fā)展史www.themegaller60七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史1949年DonalaU.Hebb（心理學(xué)家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯(lián)系強(qiáng)度可變的假設(shè)，認(rèn)為學(xué)習(xí)的過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。1957年FrankRosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。規(guī)則學(xué)習(xí)

意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM704計(jì)算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過(guò)調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對(duì)于非線性或其他分類會(huì)遇到很大困難。一個(gè)簡(jiǎn)單的XOR問(wèn)題的例子就證明了這一點(diǎn)?！窠?jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮。原因還有：計(jì)算機(jī)不夠發(fā)達(dá)、VLSI還沒(méi)出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史1949年DonalaU.Hebb61七、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)—發(fā)展史七十年代：日本Fukusima的Neocognitron；芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；StephenCrossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等。1982年JohnJ.Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型?！碌木哂型暾碚摶A(chǔ)的神經(jīng)網(wǎng)絡(luò)模型?；舅枷胧菍?duì)