人工智能機器學(xué)習(xí)課件

第六章機器學(xué)習(xí)概述幾種機器學(xué)習(xí)第六章機器學(xué)習(xí)概述幾種機器學(xué)習(xí)機器學(xué)習(xí)—概述參考書本書展示了機器學(xué)習(xí)中的核心算法和理論，并闡明了算法的過行過程。書中主要涵蓋了目前機器學(xué)習(xí)中各種最實用的理論和算法，包括概念學(xué)習(xí)、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)、基于實例的學(xué)習(xí)、遺傳算法、規(guī)則學(xué)習(xí)、基于解釋的學(xué)習(xí)和增強學(xué)習(xí)等。對每一個主題，作者不僅進行了十分詳盡和直觀的解釋，還給出了實用的算法流程。本書被卡內(nèi)基梅隆等許多大學(xué)作為機器學(xué)習(xí)課程的教材。機器學(xué)習(xí)—概述什么是機器學(xué)習(xí)？Simon（1983）：學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。Minsky(1985)：學(xué)習(xí)是在我們頭腦中（心里內(nèi)部）進行有用的變化。學(xué)習(xí)是一種具有多側(cè)面的現(xiàn)象。學(xué)習(xí)的過程有：獲取新的陳述性知識、通過教育或?qū)嵺`發(fā)展機械技能和認知能力、將新知識組織成為通用化和有效的表達形式、借助觀察和實驗發(fā)現(xiàn)新的事實和新的理論。機器學(xué)習(xí)—概述基本形式：知識獲取和技能求精知識獲?。簩W(xué)習(xí)的本質(zhì)就是獲取新的知識。包括物理系統(tǒng)和行為的描述和建模，構(gòu)造客觀現(xiàn)實的表示?！R獲取通過實踐逐漸改造機制和認知技能。例：騎自行車。這些技能包括意識的或機制的協(xié)調(diào)。這種改進又是通過反復(fù)實踐和從失敗的行為中糾正偏差來進行的?！寄芮缶珯C器學(xué)習(xí)—概述基本形式知識獲取的本質(zhì)可能是一個自覺的過程，其結(jié)果是產(chǎn)生新的符號知識結(jié)構(gòu)和智力模型。而技能求精則是下意識地借助于反復(fù)地實踐來實現(xiàn)的。本章只涉及學(xué)習(xí)的知識獲取問題。機器學(xué)習(xí)—概述為什么要研究機器學(xué)習(xí)？人工智能主要是為了研究人的智能，模仿其機理將其應(yīng)用于工程的科學(xué)。在這個過程中必然會問道：“人類怎樣做才能獲取這種特殊技能（或知識）？”。.......….機器學(xué)習(xí)—概述為什么要研究機器學(xué)習(xí)？

.......….當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機器學(xué)習(xí)。包括學(xué)習(xí)的計算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學(xué)習(xí)能力。系統(tǒng)中的知識由人工編程送入系統(tǒng)，知識中的錯誤也不能自動改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動獲取和生成知識。.......….機器學(xué)習(xí)—概述為什么要研究機器學(xué)習(xí)？

………..未來的計算機將有自動獲取知識的能力，它們直接由書本學(xué)習(xí)，通過與人談話學(xué)習(xí)，通過觀察學(xué)習(xí)。它們通過實踐自我完善，克服人的存儲少、效率低、注意力分散、難以傳送所獲取得知識等局限性。一臺計算機獲取的知識很容易復(fù)制給任何其它機器。機器學(xué)習(xí)—概述實現(xiàn)的困難：

預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測。

歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當(dāng)多是假的，給生成的知識帶來不可靠性。

機器目前很難觀察什么重要、什么有意義。機器學(xué)習(xí)—

概述機器學(xué)習(xí)模型學(xué)習(xí)是建立理論、形成假設(shè)和進行歸納推理的過程。整個過程包括：信息的存儲、知識的處理兩部分環(huán)境學(xué)習(xí)環(huán)節(jié)知識庫

執(zhí)行環(huán)節(jié)對環(huán)境所提供的信息進行處理，以便改善知識庫中的顯式知識。機器學(xué)習(xí)—概述發(fā)展歷史神經(jīng)系統(tǒng)模型和決策理論的研究50年代開始。其特點是對開始與無初始結(jié)構(gòu)和面向作業(yè)知識的通用學(xué)習(xí)系統(tǒng)感興趣。包括構(gòu)造多種具有隨機或部分隨機的初始結(jié)構(gòu)的基于神經(jīng)模型的機器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時計算機技術(shù)狀態(tài)，多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實現(xiàn)簡單的邏輯功能?！瓩C器學(xué)習(xí)—概述發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論的研究………1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗?zāi)Ｊ綄?dǎo)致了模式識別這一新學(xué)科以及機器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，有線性的、多項式的、或相關(guān)的形式。當(dāng)時，Samuel(1059-1963)的跳棋程序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達到了跳棋大師的水平。機器學(xué)習(xí)—概述符號概念獲取的研究60年代中期提出的基于符號表示的概念學(xué)習(xí)系統(tǒng)研究。這類學(xué)習(xí)過程通過分析一些概念的正例和反例構(gòu)造出這些概念的符號表示。表示的形式一般是邏輯表達式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡(luò)。代表有Winston的ARCH。機器學(xué)習(xí)—概述基于知識的學(xué)習(xí)系統(tǒng)的研究70年代中期注重基于知識的學(xué)習(xí)系統(tǒng)研究。人們不再局限于構(gòu)造概念學(xué)習(xí)系統(tǒng)和獲取上下文知識，同時也結(jié)合了問題求解中的學(xué)習(xí)、概念聚類、類比推理及機器發(fā)現(xiàn)的工作。一些成熟的方法開始用于輔助構(gòu)造專家系統(tǒng)，并不斷地開發(fā)新的學(xué)習(xí)方法，使機器學(xué)習(xí)達到一個新的時期。這時期的工作特點主要有三個方面：機器學(xué)習(xí)—概述基于知識的學(xué)習(xí)系統(tǒng)的研究基于知識的方法：著重強調(diào)應(yīng)用面向任務(wù)的知識和指導(dǎo)學(xué)習(xí)過程的約束。從早先的無知識學(xué)習(xí)系統(tǒng)的失敗中吸取的教訓(xùn)就是：為獲取新的知識，系統(tǒng)必須事先具備大量的初始知識。開發(fā)各種各樣的學(xué)習(xí)方法，除了早先從例子中學(xué)習(xí)外，各種有關(guān)的學(xué)習(xí)策略相繼出現(xiàn)，如示教學(xué)習(xí),觀察和發(fā)現(xiàn)學(xué)習(xí)。同時也出現(xiàn)了如類比學(xué)習(xí)和基于解釋的學(xué)習(xí)等方法。

結(jié)合生成和選擇學(xué)習(xí)任務(wù)的能力：應(yīng)用啟發(fā)式知識于學(xué)習(xí)任務(wù)的生成和選擇，包括提出收集數(shù)據(jù)的方式、選擇要獲取的概念與控制系統(tǒng)的注意力等。

機器學(xué)習(xí)—概述聯(lián)接學(xué)習(xí)和符號學(xué)習(xí)的深入研究

第四時期開始于八十年代后期，聯(lián)接學(xué)習(xí)和符號學(xué)習(xí)的深入研究導(dǎo)致機器學(xué)習(xí)領(lǐng)域的極大繁榮。首先，神經(jīng)網(wǎng)絡(luò)的研究重新迅速崛起，并在聲音識別、圖象處理等諸多領(lǐng)域得到很大成功。從事研究的學(xué)者，發(fā)現(xiàn)了用隱含層神經(jīng)元來計算和學(xué)習(xí)非線性函數(shù)的方法，克服了早期神經(jīng)元模型的局限性。計算機硬件技術(shù)的高速發(fā)展也為開發(fā)大規(guī)模和高性能的人工神經(jīng)網(wǎng)絡(luò)掃清了障礙，使得基于人工神經(jīng)網(wǎng)絡(luò)的聯(lián)接學(xué)習(xí)從低谷走出，發(fā)展迅猛，并向傳統(tǒng)的基于符號的學(xué)習(xí)提出了挑戰(zhàn)。機器學(xué)習(xí)—概述聯(lián)接學(xué)習(xí)和符號學(xué)習(xí)的深入研究

同時，符號學(xué)習(xí)已經(jīng)歷了三十多年的發(fā)展歷程，各種方法日臻完善，出現(xiàn)了應(yīng)用技術(shù)蓬勃發(fā)展的景象。最突出的成就有分析學(xué)習(xí)（特別是解釋學(xué)習(xí)）的發(fā)展,遺傳算法的成功和加強學(xué)習(xí)方法的廣泛應(yīng)用。特別是近幾年來，隨著計算機網(wǎng)絡(luò)的發(fā)展，基于計算機網(wǎng)絡(luò)的各種自適應(yīng)、具有學(xué)習(xí)功能的軟件系統(tǒng)的研制和開發(fā)都將機器學(xué)習(xí)的研究推向新的高度，網(wǎng)絡(luò)環(huán)境已成為人工智能和機器學(xué)習(xí)的重要試驗床。機器學(xué)習(xí)—概述機器學(xué)習(xí)進入新階段的重要表現(xiàn)：（近十年）

機器學(xué)習(xí)已成為新的邊緣科學(xué)并在高校形成一門課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動化和計算機科學(xué)形成機器學(xué)習(xí)理論基礎(chǔ)。機器學(xué)習(xí)—概述機器學(xué)習(xí)進入新階段的重要表現(xiàn)：（近十年）結(jié)合各種學(xué)習(xí)方法，取長補短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。特別是連接學(xué)習(xí)，符號學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。機器學(xué)習(xí)—概述機器學(xué)習(xí)進入新階段的重要表現(xiàn)：（近十年）機器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點正在形成。例如：學(xué)習(xí)與問題求解結(jié)合進行，知識表達便于學(xué)習(xí)的觀點產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例學(xué)習(xí)已成為經(jīng)驗學(xué)習(xí)的重要方向。

機器學(xué)習(xí)—概述機器學(xué)習(xí)進入新階段的重要表現(xiàn)：（近十年）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴大，一部分已形成商品。歸納學(xué)習(xí)的知識獲取工具已在診斷分類性專家系統(tǒng)中廣泛應(yīng)用。連接學(xué)習(xí)在聲圖文識別中占優(yōu)勢。分析學(xué)習(xí)用于設(shè)計綜合性專家系統(tǒng)。遺傳算法與強化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。機器學(xué)習(xí)—概述機器學(xué)習(xí)進入新階段的重要表現(xiàn)：（近十年）與機器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動空前活躍。國際上除每年一次的機器學(xué)習(xí)研究會外，還有計算機學(xué)習(xí)理論會議及遺傳算法會議。

機器學(xué)習(xí)—

概述分類（由低到高）通過歸納總結(jié)學(xué)習(xí)（自學(xué)習(xí)）通過書本資料學(xué)習(xí)（獨立研究）通過實際事例學(xué)習(xí)（啟發(fā)式學(xué)習(xí)）通過提問學(xué)習(xí)（注入式學(xué)習(xí)）通過機械記憶學(xué)習(xí)（死記硬背式）高

低機器學(xué)習(xí)—

概述分類：(按學(xué)習(xí)策略分類)機械式學(xué)習(xí)和直接輸入新知識（記憶學(xué)習(xí)） 學(xué)習(xí)者不需要進行任何推理或知識轉(zhuǎn)換，將知識直接裝進機器中。根據(jù)示教學(xué)習(xí)（傳授學(xué)習(xí)、指點學(xué)習(xí)） 從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學(xué)習(xí)者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機地結(jié)合為一體。機器學(xué)習(xí)—

概述通過類推學(xué)習(xí)（演繹學(xué)習(xí)） 學(xué)習(xí)者找出現(xiàn)有知識中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴大成適合新情況的形式，從而取得新的事實或技能。從例子中學(xué)習(xí)（歸納學(xué)習(xí)） 給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個總的概念描述，是它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）機器學(xué)習(xí)—

概述類比學(xué)習(xí) 演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類比映射的基礎(chǔ)。尋找公共子結(jié)構(gòu)是歸納推理，而實現(xiàn)類比映射是演繹推理。基于解釋的學(xué)習(xí)

學(xué)生根據(jù)教師提供的目標概念、該概念的一個例子、領(lǐng)域理論及可操作準則，首先構(gòu)造一個解釋來說明為什么該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。機器學(xué)習(xí)—

概述分類：(按綜合分類)機器學(xué)習(xí)近幾年來發(fā)展很快，無論是符號學(xué)習(xí)還是聯(lián)接學(xué)習(xí)都派生出了許多分支和新的方法，研究領(lǐng)域不斷擴大，使得不少機器學(xué)習(xí)方法很難用加以歸類。綜合分類方式則在對機器學(xué)習(xí)方法進行分類時，綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識表示、推理策略、結(jié)果評估的相似性、研究人員交流的相對集中性以及應(yīng)用領(lǐng)域等諸因素。綜合分類方式將機器學(xué)習(xí)方法區(qū)分為以下六類：機器學(xué)習(xí)—

概述按綜合分類經(jīng)驗性歸納學(xué)習(xí)(empiricalinductivelearning)。經(jīng)驗性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗方法（例如，版本空間法、ID3法，定律發(fā)現(xiàn)方法）對例子進行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強學(xué)習(xí)的部分。機器學(xué)習(xí)—

概述按綜合分類經(jīng)驗性歸納學(xué)習(xí)--決策樹構(gòu)造法ID3。如果學(xué)習(xí)的任務(wù)是對一個大的例子集作分類概念的歸納定義，而這些例子又都是用一些無結(jié)構(gòu)的屬性值對來表示，則可以采用示例學(xué)習(xí)方法的一個變種──決策樹學(xué)習(xí)，其代表性的算法是昆蘭（J.R.Quinlan，1986）提出的ID3。機器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。ID3的輸入是描述各種已知類別實例的列表。例子由預(yù)先定義的屬性值對來表示。歸納推理產(chǎn)生的結(jié)果不是以往討論的那種合取表達式，而是一棵決策樹（也稱判別樹，并可轉(zhuǎn)而表示為決策規(guī)則的一個集合），用它可正確地區(qū)分所有給定例子的類屬。機器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。樹中的每一非葉節(jié)點對應(yīng)一個需測試的屬性，每個分叉就是該屬性可能的取值；樹的葉節(jié)點則指示一個例子事物的類別。

ID3的顯著優(yōu)點是歸納學(xué)習(xí)花費的時間和所給任務(wù)的困難度（取決于例子個數(shù)，用來描述對象的屬性數(shù)，所學(xué)習(xí)概念的復(fù)雜度即決策樹的節(jié)點數(shù)等）僅成線性增長關(guān)系。當(dāng)然，ID3只能處理用屬性-值對表示的例子。機器學(xué)習(xí)—

概述按綜合分類分析學(xué)習(xí)（analyticlearning）。分析學(xué)習(xí)方法是從一個或少數(shù)幾個實例出發(fā)，運用領(lǐng)域知識進行分析。其主要特征為：

☆推理策略主要是演繹，而非歸納；

☆使用過去的問題求解經(jīng)驗（實例）指導(dǎo)新的問題求解，或產(chǎn)生能更有效地運用領(lǐng)域知識的搜索控制規(guī)則。

分析學(xué)習(xí)的目標是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。機器學(xué)習(xí)—

概述按綜合分類類比學(xué)習(xí)。它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。目前，在這一類型的學(xué)習(xí)中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_basedlearning)，或簡稱范例學(xué)習(xí)。

基于范例的推理（Case-BasedRessoning,CBR）是指利用過去經(jīng)歷的典型事例（稱為范例）求解或理解當(dāng)前問題。機器學(xué)習(xí)—

概述按綜合分類基于范例的推理。這種推理形式在現(xiàn)實生活中非常常見。例如，有經(jīng)驗的建筑設(shè)計師在設(shè)計新的建筑結(jié)構(gòu)時，往往會回想起以往類似的例子。在烹飪、日?；顒影才偶捌渌S多方面都存在類似情況，即處理問題時不是從頭開始考慮各種細節(jié)及其關(guān)系，而是依據(jù)過去典型的事例，做適當(dāng)調(diào)整以處理當(dāng)前問題。因而基于范例推理又被稱為"即時推理"（instantreasoning），特別適合于知識缺乏或知識太復(fù)雜而經(jīng)驗又相對豐富、穩(wěn)定的領(lǐng)域。機器學(xué)習(xí)—

概述按綜合分類基于范例的推理是一種類比推理方式。與一般的類比推理相比,基于范例推理有以下兩個特點：

1)作為過去經(jīng)驗的范例一般有比較固定的表示結(jié)構(gòu)，通常用框架形式表示；

2)欲求解的問題與范例中的問題同屬于一個領(lǐng)域，且一般是同性質(zhì)的，即是兩類同性質(zhì)問題的類比。機器學(xué)習(xí)—

概述基于范例的推理不僅是一種有效的推理方法，也可用于建立一種很好的機器學(xué)習(xí)方法--基于范例的學(xué)習(xí)（CaseBasedLearning，CBL），其學(xué)習(xí)能力主要表現(xiàn)在：

1)通過記憶和調(diào)整老問題的解，使得新問題的求解不必從頭做起，因而推理更有效率。

2)通過記憶更多的正、反范例，使得系統(tǒng)的推理能力更強。

3)通過對范例庫中同類范例的歸納，可抽象出更一般、有用的結(jié)論。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。是一種基于進化論優(yōu)勝劣汰、適者生存的物種遺傳思想的搜索算法。遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，并利用目標函數(shù)（相應(yīng)于自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據(jù)評價值（適應(yīng)度）對個體進行選擇、交換(基因重組)、變異(突變)等遺傳操作，從而得到新的群體。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。美國密執(zhí)根大學(xué)的霍勒德（J.H.Holland）于70年代初提出并創(chuàng)立了遺傳算法。在霍勒德的GA算法中采用二進制串來表示個體?？紤]到物種的進化或淘汰取決于它們在自然界中的適應(yīng)程度，GA算法為每一個體計算一個適應(yīng)值或評價值，以反映其好壞程度。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）因而，個體的適應(yīng)值越高，就有更大的可能生存和再生，即它的表示特征有更大的可能出現(xiàn)在下一代中。遺傳操作“交換”旨在通過交換兩個個體的子串來實現(xiàn)進化；遺傳操作“突變”則隨機地改變串中的某一（些）位的值，以期產(chǎn)生新的遺傳物質(zhì)或再現(xiàn)已在進化過程中失去的遺傳物質(zhì)?；衾盏绿岢龅倪z傳算法也稱為簡單遺傳算法（SGA），是一種基本的遺傳算法。機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）

SGA以0、1組成的串表示問題域中待進化的個體（初始解）。利用遺傳操作──交換和突變，SGA從當(dāng)前個體的集合──群體的各串中產(chǎn)生下一代群體。這一過程循環(huán)進行，直到滿足了結(jié)束條件（如循環(huán)了指定次，或群體性能不再改進）。SGA的處理過程如下：機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）

begin

1.選擇適當(dāng)表示，生成初始群體；

2.評估群體；

3.While未達到要求的目標do

begin

1.選擇作為下一代群體的各個體；

2.執(zhí)行交換和突變操作；

3.評估群體；

end

end機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）因此，對于一個SGA算法來說主要涉及以下內(nèi)容：

·編碼和初始群體生成；

·群體的評價；

·個體的選擇；

·交換；

·突變；機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm）。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無關(guān)數(shù)據(jù)、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當(dāng)前行為的價值等。遺傳算法作為一種解決復(fù)雜問題的嶄新的有效優(yōu)化方法，近年來得到了廣泛的實際應(yīng)用，同時也滲透到人工智能、機器學(xué)習(xí)、模式識別、圖像處理、軟件技術(shù)等計算機學(xué)科領(lǐng)域。GA在機器學(xué)習(xí)領(lǐng)域中的一個典型應(yīng)用就是利用GA技術(shù)作為規(guī)則發(fā)現(xiàn)方法應(yīng)用于分類系統(tǒng)。機器學(xué)習(xí)—

概述按綜合分類聯(lián)接學(xué)習(xí)。典型的聯(lián)接模型實現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡單計算單元以及單元間的加權(quán)聯(lián)接組成。機器學(xué)習(xí)—

概述按綜合分類加強學(xué)習(xí)（reinforcementlearning）。加強學(xué)習(xí)的特點是通過與環(huán)境的試探性（trialanderror）交互來確定和優(yōu)化動作的選擇，以實現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機制通過選擇并執(zhí)行動作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強化信號（立即回報），從而實現(xiàn)與環(huán)境的交互。強化信號就是對系統(tǒng)行為的一種標量化的獎懲。系統(tǒng)學(xué)習(xí)的目標是尋找一個合適的動作選擇策略，即在任一給定的狀態(tài)下選擇哪種動作的方法，使產(chǎn)生的動作序列可獲得某種最優(yōu)的結(jié)果（如累計立即回報最大）。機器學(xué)習(xí)—

概述研究目的希望得到通用的算法研究了解學(xué)習(xí)知識的模型、認知模型解決實際問題的知識庫域系統(tǒng)，達到工程目標研究特點不可預(yù)測性第六章機器學(xué)習(xí)概述幾種機器學(xué)習(xí)第六章機器學(xué)習(xí)概述幾種機器學(xué)習(xí)機械式學(xué)習(xí)指導(dǎo)式學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)遺傳算法機械式學(xué)習(xí)概述是一種最簡單的機器學(xué)習(xí)系統(tǒng)。外界以一種推理機可直接使用的知識表示形式提供信息，學(xué)習(xí)系統(tǒng)無需作任何處理。它所要做的是記住所有的信息，考察系統(tǒng)已解決的問題，記住問題和結(jié)論。模型：

(x1,…,x2)

(y1,…,y2)[(x1,…,x2),(y1,…,y2)]

輸入模式執(zhí)行輸出值數(shù)據(jù)對（已解決問題結(jié)果）函數(shù)是一種基于記憶和檢索的辦法，因此儲存器的組織問題將影響檢索的效率。f存儲指導(dǎo)式學(xué)習(xí)概述通過和用戶的相互對話，把用戶的一般性意見或指示具體化；或協(xié)助用戶補充和修改原有的知識庫。該方法既避免系統(tǒng)自己分析、歸納和發(fā)現(xiàn)知識的困難，又無需提供知識的領(lǐng)域?qū)＜伊私庀到y(tǒng)內(nèi)部表示和組織知識的實際細節(jié)。是目前智能系統(tǒng)中采用較多的方法之一。指導(dǎo)式學(xué)習(xí)模型輸入推理機輸出知識庫征詢解釋加工歸并評價專家用戶指導(dǎo)式學(xué)習(xí)步驟征詢：請求并接受專家的指導(dǎo)。解釋：消化吸收成內(nèi)部表示（系統(tǒng)規(guī)定的形式）。加工：轉(zhuǎn)換成推理機可直接使用的形式。歸并：歸并到知識庫中，主要檢查冗余性、一致性和完整性。評價：對執(zhí)行結(jié)果進行評價。示例學(xué)習(xí)概述50年代興起的示例學(xué)習(xí)是歸納學(xué)習(xí)的一種。目前示例學(xué)習(xí)在某些系統(tǒng)中的應(yīng)用已成為機器學(xué)習(xí)走向?qū)嵺`的先導(dǎo)。環(huán)境提供給系統(tǒng)一些特殊的示例，這些示例事先由施教者劃分為正例和反例。示例學(xué)習(xí)系統(tǒng)由此進行歸納推理得到一般規(guī)則。環(huán)境提供給學(xué)習(xí)環(huán)節(jié)的正例和反例是低水平的信息，這是特殊情況下執(zhí)行環(huán)節(jié)的行為。學(xué)習(xí)環(huán)節(jié)歸納出的規(guī)則是高水平的信息，可以在一般情況下用這些規(guī)則指導(dǎo)執(zhí)行環(huán)節(jié)的工作。示例學(xué)習(xí)示例學(xué)習(xí)的學(xué)習(xí)模型驗證搜索解釋形成規(guī)則實驗計劃示例空間規(guī)則空間示例學(xué)習(xí)示例學(xué)習(xí)的學(xué)習(xí)模型1）示例空間：所有可能對系統(tǒng)進行訓(xùn)練的示例集合。2）搜索：從示例空間中搜索出所需的示例。3）解釋：從所選的示例中抽象出信息，提供給規(guī)則空間。4）形成規(guī)則：從解釋處接收示例，抽取所需信息，將它們歸納成一般性規(guī)則。5）規(guī)則空間：存放已形成的規(guī)則。6）實驗計劃：一旦規(guī)則假設(shè)形成，系統(tǒng)就要選擇更多的示例來驗證和精練它們，甚至修正它們，以形成正確的知識。示例學(xué)習(xí)示例學(xué)習(xí)的兩個空間模型例子空間規(guī)則空間選擇例子解釋例子示例學(xué)習(xí)－兩個空間模型描述例子空間的描述語言可以描述所有例子；規(guī)則空間的可以描述所有規(guī)則。例如：紙牌，同花5張正例：{(2,c),(3,c),(5,c),(J,c),(A,c)},其中c，草花club規(guī)則：描述一手牌的全部謂詞表達式的集合。符號：SUIT(花色)，RANK（點數(shù)）常量：A,2,3,…,10.J,Q,K,clubs(草花),diamonds(方塊),hearts（紅桃）,spades(黑桃)合取連接詞∧，存在量詞

所以有規(guī)則：對c1,c2,c3,c4,c5SUIT(c1,x)∧SUIT(c2,x)∧SUIT(c3,x)∧SUIT(c4,x)∧SUIT(c5,x)示例學(xué)習(xí)－兩個空間模型例子空間示教例子的質(zhì)量。不能有錯，同時提供正例和反例，逐步分批有選擇地送入。選擇的條件：最有力地劃分規(guī)則空間；證實肯定假設(shè)規(guī)則的集合；否定否定假設(shè)規(guī)則的集合。搜索方法。示例學(xué)習(xí)－兩個空間模型規(guī)則空間最根本，真正學(xué)習(xí)的部分。定義：一套符號來規(guī)定表示規(guī)則的算符、術(shù)語，所有的描述都在其中。歸納方法：從特殊到一般的推理（P.221）常量化為變量。例，從幾個正例中找到共性的部分改成變量。去掉條件。同上例。去掉牌點數(shù)這個條件增加選擇（析?。＠四樑?。從RANK(c1,J),RANK(c2,K)推出還有RANK(c3,Q)曲線擬合。幾組值，解方程或用最小二乘法擬合成一條曲線或曲面。示例學(xué)習(xí)－兩個空間模型（規(guī)則空間）不管是去掉還是增加，都是擴大范圍。把已有的知識總結(jié)歸納推廣。但是要小心。越快越強的方法越容易出錯。原因是歸納推理方法是保假不保真。實際上沒有很嚴格的具體方法。因此，用歸納方法的過程就是搜索過程。找到包含在少數(shù)例子中的正確信息。歸納出錯就要回溯。要經(jīng)常檢驗，用新例子去否定歸納出的錯誤規(guī)則。即解釋例子和選擇例子的反復(fù)，反復(fù)于例子空間和規(guī)則空間之間。示例學(xué)習(xí)－兩個空間模型（規(guī)則空間）對規(guī)則空間的要求表示要適應(yīng)于歸納。如：有謂詞才可以增減；有狀態(tài)空間才能擬合。不同的歸納方法要求不同的規(guī)則表示方法。如果規(guī)則空間描述的語言的表達能力較弱，可以使用的歸納方法就比較少，規(guī)則空間的搜索反謂就比較小，搜索就比較容易。但解決的問題就較少。因此，設(shè)計是在規(guī)則空間表達能力與規(guī)則空間搜索難度之間進行權(quán)衡。表示和例子的一致。如相差很大，解釋例子和選擇例子的過程就很復(fù)雜。引入新術(shù)語（規(guī)則空間）。當(dāng)表示語言不能描述學(xué)習(xí)過程中產(chǎn)生的新狀態(tài)時，要產(chǎn)生新的術(shù)語。示例學(xué)習(xí)－例有兩組數(shù)據(jù)通過學(xué)習(xí),得到描述規(guī)則1.[發(fā)色=金色∨紅色]∧[眼睛=藍色∨灰色]2.[發(fā)色=黑色]∨[眼睛=黑色]示例學(xué)習(xí)－例有兩組數(shù)據(jù)（決策樹學(xué)習(xí)）決策樹學(xué)習(xí)決策樹(DecisionTree)

一種描述概念空間的有效的歸納推理辦法?；跊Q策樹的學(xué)習(xí)方法可以進行不相關(guān)的多概念學(xué)習(xí)，具有簡單快捷的優(yōu)勢，已經(jīng)在各個領(lǐng)域取得廣泛應(yīng)用。決策樹學(xué)習(xí)（概述）決策樹學(xué)習(xí)是以實例為基礎(chǔ)的歸納學(xué)習(xí)。從一類無序、無規(guī)則的事物（概念）中推理出決策樹表示的分類規(guī)則。概念分類學(xué)習(xí)算法：來源于Hunt,Marin和Stone于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個概念。1979年,J.R.Quinlan給出ID3算法，并在1983年和1986年對ID3進行了總結(jié)和簡化，使其成為決策樹學(xué)習(xí)算法的典型。Schlimmer和Fisher于1986年對ID3進行改造，在每個可能的決策樹節(jié)點創(chuàng)建緩沖區(qū)，使決策樹可以遞增式生成，得到ID4算法。1988年，Utgoff在ID4基礎(chǔ)上提出了ID5學(xué)習(xí)算法，進一步提高了效率。1993年，Quinlan進一步發(fā)展了ID3算法，改進成C4.5算法。另一類決策樹算法為CART，與C4.5不同的是，CART的決策樹由二元邏輯問題生成，每個樹節(jié)點只有兩個分枝，分別包括學(xué)習(xí)實例的正例與反例。其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹，到葉子節(jié)點處的熵值為零，此時每個葉節(jié)點中的實例都屬于同一類。決策樹學(xué)習(xí)（概述）隨著決策樹學(xué)習(xí)算法的廣泛應(yīng)用，包括C4.5和CART的各種算法得到進一步改進。當(dāng)前比較引人注目的有斜超平面分割的多變決策樹(Multi-VarianceDecisionTree，MDT)算法，將遺傳算法、神經(jīng)元網(wǎng)絡(luò)和C4.5相結(jié)合的GA-NN-C4.5算法，SVM決策樹算法。這些改進算法旨在結(jié)合各種方案的優(yōu)勢，取得更合理的分類效果，總結(jié)出更通用的規(guī)則。決策樹學(xué)習(xí)（概述）決策樹學(xué)習(xí)采用的是自頂向下的遞歸方法。決策樹的每一層節(jié)點依照某一屬性值向下分為子節(jié)點，待分類的實例在每一節(jié)點處與該節(jié)點相關(guān)的屬性值進行比較，根據(jù)不同的比較結(jié)果向相應(yīng)的子節(jié)點擴展，這一過程在到達決策樹的葉節(jié)點時結(jié)束，此時得到結(jié)論。從根節(jié)點到葉節(jié)點的每一條路經(jīng)都對應(yīng)著一條合理的規(guī)則，規(guī)則間各個部分（各個層的條件）的關(guān)系是合取關(guān)系。整個決策樹就對應(yīng)著一組析取的規(guī)則。決策樹學(xué)習(xí)算法的最大優(yōu)點是，它可以自學(xué)習(xí)。在學(xué)習(xí)的過程中，不需要使用者了解過多背景知識，只需要對訓(xùn)練例子進行較好的標注，就能夠進行學(xué)習(xí)。如果在應(yīng)用中發(fā)現(xiàn)不符合規(guī)則的實例，程序會詢問用戶該實例的正確分類，從而生成新的分枝和葉子，并添加到樹中。決策樹學(xué)習(xí)（決策樹）樹是由節(jié)點和分枝組成的層次數(shù)據(jù)結(jié)構(gòu)。節(jié)點用于存貯信息或知識，分枝用于連接各個節(jié)點。樹是圖的一個特例，圖是更一般的數(shù)學(xué)結(jié)構(gòu)，如貝葉斯網(wǎng)絡(luò)。

決策樹是描述分類過程的一種數(shù)據(jù)結(jié)構(gòu)，從上端的根節(jié)點開始，各種分類原則被引用進來，并依這些分類原則將根節(jié)點的數(shù)據(jù)集劃分為子集，這一劃分過程直到某種約束條件滿足而結(jié)束。

根結(jié)點個子大可能是松鼠可能是老鼠可能是大象在水里會吱吱叫鼻子長脖子長個子小不會吱吱叫鼻子短脖子短可能是長頸鹿在陸地上可能是犀?？赡苁呛玉R決策樹學(xué)習(xí)（決策樹）可以看到，一個決策樹的內(nèi)部結(jié)點包含學(xué)習(xí)的實例，每層分枝代表了實例的一個屬性的可能取值，葉節(jié)點是最終劃分成的類。如果判定是二元的，那么構(gòu)造的將是一棵二叉樹，在樹中每回答一個問題就降到樹的下一層，這類樹一般稱為CART（ClassificationAndRegressionTree）。判定結(jié)構(gòu)可以機械的轉(zhuǎn)變成產(chǎn)生式規(guī)則?？梢酝ㄟ^對結(jié)構(gòu)進行廣度優(yōu)先搜索，并在每個節(jié)點生成“IF…THEN”規(guī)則來實現(xiàn)。如圖6-13的決策樹可以轉(zhuǎn)換成下規(guī)則：

IF“個子大”THENIF“脖子短”THENIF“鼻子長”THEN可能是大象形式化表示成決策樹學(xué)習(xí)（決策樹）構(gòu)造一棵決策樹要解決四個問題：收集待分類的數(shù)據(jù)，這些數(shù)據(jù)的所有屬性應(yīng)該是完全標注的。設(shè)計分類原則，即數(shù)據(jù)的哪些屬性可以被用來分類，以及如何將該屬性量化。分類原則的選擇，即在眾多分類準則中，每一步選擇哪一準則使最終的樹更令人滿意。設(shè)計分類停止條件，實際應(yīng)用中數(shù)據(jù)的屬性很多，真正有分類意義的屬性往往是有限幾個，因此在必要的時候應(yīng)該停止數(shù)據(jù)集分裂：該節(jié)點包含的數(shù)據(jù)太少不足以分裂，繼續(xù)分裂數(shù)據(jù)集對樹生成的目標(例如ID3中的熵下降準則)沒有貢獻，樹的深度過大不宜再分。通用的決策樹分裂目標是整棵樹的熵總量最小，每一步分裂時，選擇使熵減小最大的準則，這種方案使最具有分類潛力的準則最先被提取出來決策樹學(xué)習(xí)（性質(zhì)）證據(jù)由屬性值對表示證據(jù)由固定的的屬性和其值表示，如屬性（溫度），值（熱）最簡單的學(xué)習(xí)情況時每個屬性擁有少量的不相關(guān)的值。目標函數(shù)有離散輸出值決策樹分配一個二值的樹，很容易擴展成為多于兩個的輸出值。需要不相關(guān)的描述決策樹原則上是表述不相關(guān)的表示容忍訓(xùn)練數(shù)據(jù)的錯誤對訓(xùn)練樣本和表述樣本的屬性值的錯誤都有較強的魯棒性。訓(xùn)練數(shù)據(jù)可以缺少值可以采用缺少屬性值的樣本學(xué)習(xí)。（不是所有樣本都有）決策樹學(xué)習(xí)（應(yīng)用）根據(jù)病情對病人分類根據(jù)起因?qū)收戏诸惛鶕?jù)付款信用情況對貸款申請者分類這些都是將輸入樣本分類成可能離散集

分類問題決策樹學(xué)習(xí)（學(xué)習(xí)）Shannon信息熵自信息量設(shè)信源X發(fā)出ai的概率p(ai)，在收到符號ai之前，收信者對ai的不確定性定義為ai的自信息量I(ai)。I(ai)=-logp(ai)。信息熵自信息量只能反映符號的不確定性，而信息熵用來度量整個信源整體的不確定性，定義為：

其中，r為信源X發(fā)出的所有可能的