ai-7ml-p基于解釋學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí).第六章機(jī)器學(xué)習(xí)Machine

Learning第六章機(jī)器學(xué)習(xí)Machine

Learning

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí).機(jī)器學(xué)習(xí)—概述

1、 機(jī)器學(xué)習(xí)？

2、機(jī)器學(xué)習(xí)基本形式

3、機(jī)器學(xué)習(xí)學(xué)科

4、為什么要研究機(jī)器學(xué)習(xí)

5、機(jī)器學(xué)習(xí)發(fā)展歷史

6、機(jī)器學(xué)習(xí)模型

7、機(jī)器學(xué)習(xí)方法的分類

8、機(jī)器學(xué)習(xí)研究目的機(jī)器學(xué)習(xí)—概述

1、 機(jī)器學(xué)習(xí)？

機(jī)器學(xué)習(xí)？

知識發(fā)現(xiàn)-knowledgediscovery

data mining數(shù)據(jù)挖掘

pattern

discovery

模式發(fā)現(xiàn)（模式識別）

data

dredging (撲撈)

data archeology（考古）機(jī)器學(xué)習(xí)—概述

1、機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)—概述

1、機(jī)器學(xué)習(xí)？

Simon（1983）：學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。

Minsky (1985)：學(xué)習(xí)是在 頭腦中（心里 ）進(jìn)行有用的變化。

“利用經(jīng)驗(yàn)來改善計(jì)算機(jī)系統(tǒng)自身的性能”?！霸诓恢苯俞槍栴}進(jìn)行編

的情況下，賦予計(jì)算機(jī)學(xué)習(xí)能力的一個研究領(lǐng)域?！?/p>

是人工智能的

研究領(lǐng)域之一，

其最初的研究

是為了讓計(jì)算機(jī)系統(tǒng)具有人的學(xué)習(xí)能力以便實(shí)現(xiàn)人工智能。

學(xué)習(xí)是一種具有多視覺、多側(cè)面的現(xiàn)象。學(xué)習(xí)的過有：獲取新的陳述性知識、通過教育或?qū)嵺`掌握并發(fā)展機(jī)械技能和認(rèn)知能力、將新知識組織成為通用化和有效的表達(dá)形式、借助觀察和實(shí)驗(yàn)發(fā)現(xiàn)新的事實(shí)和新的理論。

Machine

Learning,是一門專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身性能的學(xué)科。機(jī)器學(xué)習(xí)—概述

2、基本形式

知識獲取和技能求精。學(xué)習(xí)的本質(zhì)就是獲取新的知識。包括物理系統(tǒng)和行為的描述和建模，構(gòu)造客觀現(xiàn)實(shí)的表示?！R獲取

通過實(shí)踐逐漸改造機(jī)制和認(rèn)知并掌握技能。例：學(xué)騎自行車，學(xué)游泳，學(xué)開車等。這些技能包括意識的或機(jī)制的協(xié)調(diào)。這種改進(jìn)又是通過反復(fù)實(shí)踐和從失敗的行為中糾正偏差來進(jìn)行的?！寄芮缶珯C(jī)器學(xué)習(xí)—概述知識獲取的本質(zhì)是一個自覺的過

其結(jié)果是產(chǎn)生新的符號知識結(jié)構(gòu)和智力模型。而技能求精則是下意識地借助于反復(fù)地實(shí)踐來實(shí)現(xiàn)的。本章只涉及學(xué)習(xí)的知識獲取問題。機(jī)器學(xué)習(xí)—概述

3、機(jī)器學(xué)習(xí)學(xué)科

早起的研究：Rosenblatt的感知機(jī)模型（1956）,Widrow的Madline(1960),Samuel的符號機(jī)器學(xué)

965），Minsky的“Perception”的專著（69,88）。

1983，R.S. Michalski的《機(jī)器學(xué)習(xí)：通往人工智能的途徑》

1986，Machine

Learning

雜志創(chuàng)刊，《ArtificialIn ligence》 了機(jī)器學(xué)習(xí)專輯

1990年，MIT

《機(jī)器學(xué)習(xí):風(fēng)范與方法》一書

1997,《Machine

Learning》,Tom

M.Mitc ,

以后迅速發(fā)展。

2000

,<Journal

of

Machine

Learning

Research>機(jī)器學(xué)習(xí)—概述.序號簡稱全稱1AIArtificial

In

ligenceElsevierom/artificial-in

ligence/2TPAMIIEEETrans

on

Patternysis

and

MachineIn

ligenceIEEE/portal/web/tpami/home3IJCVInternational

Journal

ofComputer

VisionSpringerhttp:/

/journ

al/112634JMLRJournal

of

MachiLearning

ResearIT

Press

3、機(jī)器學(xué)習(xí)學(xué)科期刊A-人工智能與模式識別CCF機(jī)器學(xué)習(xí)—概述.

3、機(jī)器學(xué)習(xí)學(xué)科會議A-人工智能與模式識別CCF序號會議簡稱會議全稱1AAAIAAAI

Conference

on

ArtificialAAAIInligence2CVPRIEEE

Conference

on

ComputerVision

andPattern

RecognitionIEEEpr13/3ICCVInternationalConference

onComputer

VisionIEEE4ICMLInternationalConference

onMachine

LearningACM5IJCAIInternational

Joint

Conference

onArtificial

In

ligenceMorganKaufmann機(jī)器學(xué)習(xí)—概述

3、機(jī)器學(xué)習(xí)學(xué)科

機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘

“經(jīng)驗(yàn)”在計(jì)算機(jī)系統(tǒng)中主要是以數(shù)據(jù)的形式存在的,數(shù)據(jù)庫是主要的數(shù)據(jù)源，數(shù)據(jù)挖掘因此而重要了，知識發(fā)現(xiàn)。數(shù)據(jù)挖掘就是試圖從海量數(shù)據(jù)中找出有用的知識。

如沃爾瑪公司（Wal-Mart

）“買尿布的人很可能會買啤酒”

數(shù)據(jù)挖掘又可以視為機(jī)器學(xué)習(xí)和數(shù)據(jù)庫的交叉，它主要利用機(jī)器學(xué)習(xí)界提供的技術(shù)來分析海量數(shù)據(jù)，利用數(shù)據(jù)庫界提供的技術(shù)來管理海量數(shù)據(jù)。

機(jī)器學(xué)習(xí)理論成果已在多、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)、操作系統(tǒng)、工等眾多領(lǐng)域中發(fā)揮作用。尤其在計(jì)算機(jī)視覺和自然語言處理中。如十大人造（人工眼、人工耳等）。1.手指

器2.人工眼睛3.人工胰腺4.聞疾病的鼻子5.3D

打印耳朵6.微型人腦7.思想控制仿生腿、8.觸感人造手、9.在培養(yǎng)皿中跳動的心臟、10、十大人造機(jī)器學(xué)習(xí)—概述

4、為什么要研究機(jī)器學(xué)習(xí)？

人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工的科學(xué)。在這個過中必然會問道：“人類怎樣做才能獲取這種知識（或特殊技能）？”。

很難想象一個沒有學(xué)習(xí)功能的系統(tǒng)可以稱為智能系統(tǒng)。機(jī)器學(xué)習(xí)—概述

4、為什么要研究機(jī)器學(xué)習(xí)？

當(dāng)前人工智能研究的熱點(diǎn)之一就是機(jī)器學(xué)

習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)?，F(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很

有限的學(xué)習(xí)能力。

系統(tǒng)中的知識由人工編送入系統(tǒng)，知識中的錯誤也不能自動改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動獲取和生成知識。機(jī)器學(xué)習(xí)—概述4、為什么要研究機(jī)器學(xué)習(xí)？

未來的計(jì)算機(jī)將有自動獲取知識的能力，它們直接由書本學(xué)習(xí)，通過與人談話學(xué)習(xí)，通過觀察學(xué)習(xí)。它們通過實(shí)踐自我完善，克服人的 少、效率低、注意力分散、難以傳送所獲取的知識等局限性。一臺計(jì)算機(jī)獲取的知識很容易 給任何其它機(jī)器（ 的移植）。難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的

。

歸納學(xué)習(xí)：現(xiàn)有的歸納推理只保證假，不保證真，歸納是從特殊到一般。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當(dāng)多是

，給生成的知識帶來不可靠性。如“麻雀會飛”,“燕子會飛”等歸納“鳥會飛(鴕鳥不會飛)”。

“萬有引力”歸納學(xué)習(xí)依賴于經(jīng)驗(yàn)數(shù)據(jù),因此又稱為經(jīng)驗(yàn)學(xué)習(xí)。機(jī)器目前很難觀察什么重要、什么有意義。機(jī)器學(xué)習(xí)—概述4、為什么要研究機(jī)器學(xué)習(xí)？

實(shí)現(xiàn)的

：實(shí)現(xiàn)一個具有自主學(xué)習(xí)的系統(tǒng)，很難。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷 看機(jī)器學(xué)習(xí)人工智能研究處于“推理期”，給機(jī)器賦予邏輯推理能力，機(jī)器就能具有智能。有A.

Newell和H.

Simon的“邏輯理論家”

序以及此后的“通用問題求解”

序等，

“邏輯理論家” 序在1952年證明了著名數(shù)學(xué)家

（Bertrand

Russell，1872—1970）和

的名著《數(shù)學(xué)原理》中的38條定理，在1963年證明了全部的52條定理，而且定理2.85甚至比

和

證明得更巧妙。A.Newell和H.

Simon因此獲得了1975年

。

20世紀(jì)70年代中期開始，人工智能進(jìn)入了“知識期”，E.A.

Feigenbaum作為“知識工 之父在1994年獲得了

。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷

看機(jī)器學(xué)習(xí)

20世紀(jì)50年代，主要集中在基于神經(jīng)網(wǎng)絡(luò)的連接主義學(xué)習(xí)方面，代表性工作主要有F.Rosenblatt的感知機(jī)、B.Widrow的Adaline系統(tǒng)等，20世紀(jì)6、70年代，以決策理論為基礎(chǔ)的統(tǒng)計(jì)學(xué)習(xí)技術(shù)以及強(qiáng)化學(xué)習(xí)技術(shù)等得到發(fā)展，代表性工作有A.L.

Samuel的跳棋 序以及N.J.Nilson的“學(xué)習(xí)機(jī)器”等，20多年后紅極一時的統(tǒng)計(jì)學(xué)習(xí)理論，在這一時期，基于邏輯或圖結(jié)構(gòu)表示的符號學(xué)習(xí)技術(shù)也開始出現(xiàn)，代表性工作有P.Winston的“結(jié)構(gòu)學(xué)習(xí)系統(tǒng)”、R.S.

Michalski等人的“基于邏輯的歸納學(xué)習(xí)系統(tǒng)”、E.B.

Hunt等人的“概念學(xué)習(xí)系統(tǒng)”等。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷

看機(jī)器學(xué)習(xí)

“它使得任何人離任何問題的答案之間的距離只有點(diǎn)擊一下鼠標(biāo)這么遠(yuǎn)”2004年3月，在斯坦福大學(xué)的參DARPA（國防部先進(jìn)研究計(jì)劃局）組織的自動駕駛車輛競賽中，，成功地在7小時內(nèi)走完了212公里路機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論50年

始。其特點(diǎn)是對開始與無初始結(jié)構(gòu)和面向作業(yè)知識的通用學(xué)習(xí)系統(tǒng)感

。包括構(gòu)造多種具有隨機(jī)或部分隨機(jī)的初始結(jié)構(gòu)的基于神經(jīng)模型的機(jī)器。這些系 般稱為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時計(jì)算機(jī)技術(shù)狀態(tài)，多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實(shí)現(xiàn)簡單的邏輯功能?！瓩C(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)Ｊ綄?dǎo)致了模式識別這一新學(xué)科以及機(jī)器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，有線性的、多項(xiàng)式的、或相關(guān)的形式。當(dāng)時，Samuel( 1959-1963)的跳棋序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達(dá)到了跳棋大師的水平。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

符號概念獲取1975年左右

。這類學(xué)習(xí)過通過分析一些概念的正例和反例構(gòu)造出這些概念的符號表示。表示的形式一般是邏輯表達(dá)式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡(luò)。代表有Winston（頓）的ARCH系統(tǒng)。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

知識加強(qiáng)和論域 學(xué)習(xí)此方法是70年代中期開始，沿著符號主義路線進(jìn)行的。在原有基礎(chǔ)上逐步加強(qiáng)、側(cè)重于專業(yè)的 性。強(qiáng)調(diào)使用面向任務(wù)的知識和它對學(xué)習(xí)過 的引導(dǎo)作用。系統(tǒng)包括預(yù)先確定的概念、知識結(jié)構(gòu)、論域約束、啟發(fā)式規(guī)則和論域有關(guān)的變換。系統(tǒng)在開始并不具有所有的屬性或概念，在學(xué)習(xí)過 中系統(tǒng)應(yīng)得到一些新的屬性或概念。沒有 學(xué)習(xí)方法。許多系統(tǒng)體現(xiàn)出上述途徑的組合。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（1）

機(jī)器學(xué)習(xí)已成為新的邊緣科學(xué)并在高校形成一門課它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（2）結(jié)合各種學(xué)習(xí)方法，取長補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。特別是連接學(xué)習(xí)，符號學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（3）機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點(diǎn)正在形成。如通用問題求解例如：學(xué)習(xí)與問題求解結(jié)合進(jìn)行，知識表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例學(xué)習(xí)已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。機(jī)器學(xué)習(xí)—概述分析學(xué)習(xí)用于設(shè)計(jì)綜合性

系統(tǒng)。遺傳算法與強(qiáng)化學(xué)

工 控制中有較好的應(yīng)用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動規(guī)劃中發(fā)揮作用。

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（4）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品。歸納學(xué)習(xí)的知識獲取工具已在

分類性

系統(tǒng)中廣泛應(yīng)用。連接學(xué) 聲、圖、文識別中占優(yōu)勢。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（5）與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動空前活躍。國際上除每年一次的機(jī)器學(xué)習(xí)研究會外，還有計(jì)算機(jī)學(xué)習(xí)理論會議及遺傳算議。機(jī)器學(xué)習(xí)

—

概述

6、機(jī)器學(xué)習(xí)模型

學(xué)習(xí)是建立理論、形成假設(shè)和進(jìn)行歸納推理的過

整個過包括：信息的、知識的處理兩部分環(huán)境學(xué)習(xí)環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)機(jī)器學(xué)習(xí)

—

概述

7、分類：按學(xué)習(xí)策略

機(jī)械式學(xué)習(xí)，直接輸入新知識（學(xué)習(xí)）學(xué)習(xí)者不需要進(jìn)行任何推理或知識轉(zhuǎn)換，將知識直接裝進(jìn)機(jī)器中。

根據(jù)示教學(xué)習(xí)（傳授學(xué)習(xí)、指點(diǎn)學(xué)習(xí)）從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學(xué)習(xí)者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機(jī)地結(jié)合為一體?！?機(jī)器學(xué)習(xí)

—

概述……….

通過類推學(xué)習(xí)（演繹學(xué)習(xí)）學(xué)習(xí)者找出現(xiàn)有知識中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴(kuò)大成適合新情況的形式，從而取得新的事實(shí)或技能。

從例子中學(xué)習(xí)（歸納學(xué)習(xí)）給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的

法）……….而實(shí)現(xiàn)類比機(jī)器學(xué)習(xí)

—

概述……….

類比學(xué)習(xí)演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類比的基礎(chǔ)。例如對原子中的原子核認(rèn)識推廣到系行星的認(rèn)識?？傊瑢ふ夜沧咏Y(jié)構(gòu)是歸納推理，是

演繹推理

。機(jī)器學(xué)習(xí)

—

概述

8、研究目的

希望得到通用的算法

研究了解學(xué)習(xí)知識的模型、認(rèn)知模型

解決實(shí)際問題的知識庫與系統(tǒng)，達(dá)到工

目標(biāo)

研究特點(diǎn)

不可

性第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)實(shí)例學(xué)習(xí)

概述

50年代興起的實(shí)例學(xué)習(xí)是歸納學(xué)習(xí)的一種。目前實(shí)例學(xué)

某些系統(tǒng)中的應(yīng)用已成為機(jī)器學(xué)習(xí)實(shí)踐的先導(dǎo)。

環(huán)境提供給系些特殊的實(shí)例，這些實(shí)例事先由施教者劃分為正例和反例。實(shí)例學(xué)習(xí)系統(tǒng)由此進(jìn)行歸納推理得到一般規(guī)則。例如“狗”,“橋”等概念的建立。

環(huán)境提供給學(xué)習(xí)環(huán)節(jié)的正例和反例是低水平的信息，這是特殊情況下執(zhí)行環(huán)節(jié)的行為。學(xué)習(xí)環(huán)節(jié)歸納出的規(guī)則是高水平的信息，可以在一般情況下用這些規(guī)則指導(dǎo)執(zhí)行環(huán)節(jié)的工作。實(shí)例學(xué)習(xí)

實(shí)例學(xué)習(xí)的兩個空間模型例子空間規(guī)則空間選擇例子解釋例子(例化)(泛化)現(xiàn)象（實(shí)例）本質(zhì)（概念）“狗”實(shí)例學(xué)習(xí)例子空間規(guī)則空間選擇例子解釋例子(例化)取實(shí)例空間為所有的人。、(泛化)、}“

”“科學(xué)家”“中國科學(xué)家”,“？？？”,已故名人、現(xiàn)象（實(shí)例）本質(zhì)（概念）、、，正例集={

、

、反例集={遜，

，}、，實(shí)例學(xué)習(xí)－兩個空間模型例：取實(shí)例空間為所有的人。、張，正例集={

、

、

、光斗}反例集={

、

、

、，

}學(xué)到的概念可以 人”,或“科學(xué)家”,“中國科學(xué)家”，等。而中國當(dāng)代科學(xué)家，名人、已故名人、

、曾在20世紀(jì)生活過的人，等是不可能學(xué)到的。學(xué)到的概念可能是不唯一的，除非正例集和反例集加起來正好等于整個實(shí)例空間。實(shí)例學(xué)習(xí)－兩個空間模型

描述

例子空間的描述語言可以描述所有例子；規(guī)則空間的描述語言可以描述所有規(guī)則。

例如：紙牌，同花5張正例：集合{(2,c),(3,c),(5,c),(J,c),(A,c)},其中c，草花club規(guī)則：描述一手牌的全部謂詞表達(dá)式的集合。符號：SUIT(花色)，RANK（點(diǎn)數(shù)）常量：A,

2,3,…,10.

J,Q,K,

clubs(草花),diamonds(方塊),hearts（紅桃）,spades(黑桃)合取連接詞∧，存在量詞所以有規(guī)則：對c1,c2,c3,c4,c5

c1

c2

c3

c4

c5(SUIT(c1,

*)∧SUIT(c2,

*)∧SUIT(c3,

*)∧SUIT(c4,*)∧SUIT(c5,*)

)實(shí)例學(xué)習(xí)－兩個空間模型

例子空間

示教例子的質(zhì)量：不能有錯，同時提供正例和反例，逐步分批由選擇地送入。

選擇的條件：最有力地劃分規(guī)則空間；證實(shí)肯定假設(shè)規(guī)則的集合；否定假設(shè)規(guī)則的集合。實(shí)例學(xué)習(xí)－兩個空間模型

解釋例子（泛化）

解釋例子的目的是從例子中提出用于搜索空間的信息。把示教例子變換成易于進(jìn)行符號歸納的形式。（有時很難）

例如：Winston的積木世界中的“拱”的概念。BCA實(shí)例學(xué)習(xí)－兩個空間模型

規(guī)則空間（最根本，真正學(xué)習(xí)的部分）

定義：一套符號來規(guī)定表示規(guī)則的算符、術(shù)語，所有的描述都在其中。

歸納方法：從特殊到一般的推理常量化為變量。從幾個正例中找到共性的部分改成變量。去掉條件。同上例。去掉牌點(diǎn)數(shù)這個條件增加選擇（析?。?。例有人臉的牌。從RANK(c1,J),RANK(c2,K)推出還有RANK(c3,Q)曲線擬合。幾組值，解方

或用最小二乘法擬

一條曲線或曲面。實(shí)例學(xué)習(xí)－兩個空間模型（規(guī)則空間）不管是去掉還是增加，都是擴(kuò)大范圍。把已有的知識總結(jié)歸納推廣。但是越快越強(qiáng)的方法越容易出錯。原因是歸納推理方法是保假不保真。實(shí)際上沒有很嚴(yán)格的具體方法。因此，用歸納方法的過就是搜索過找到包含在少數(shù)例子中的正確信息。歸納出錯就要回溯。要經(jīng)常檢驗(yàn)，用新例子去否定歸納出的錯誤規(guī)則。即解釋例子和選擇例子的反復(fù)，反復(fù)于例子空間和規(guī)則空間之間。實(shí)例學(xué)習(xí)－兩個空間模型（規(guī)則空間）

對規(guī)則空間的要求規(guī)則空間表達(dá)能力與規(guī)則空間搜索難度。

謂詞才可以增減；有狀態(tài)空間才能擬合。不同的歸納方法要求不同

的規(guī)則表示方法。如果規(guī)則空間描述的語言的表達(dá)能力較

弱，可以使用的歸納方法就比較少，規(guī)則空間的搜索范圍

就比較小，搜索就比較容易。但解決的問題就較少。因此，設(shè)計(jì)是在規(guī)則空間表達(dá)能力與規(guī)則空間搜索難度之間進(jìn)行

權(quán)衡。表示與例子的一致。如相差很大，解釋例子和選擇例子的過

就很復(fù)雜。引入新術(shù)語（規(guī)則空間）。當(dāng)表示語言不能描述學(xué)習(xí)過中產(chǎn)生的新狀態(tài)時，要產(chǎn)生新的術(shù)語。實(shí)例學(xué)習(xí)－兩個空間模型（規(guī)則空間）

搜索規(guī)則空間的方法最終的目的是為了搜索，先建立一個假設(shè)空間，在其中進(jìn)行搜索。搜索方法：怎樣改進(jìn)假設(shè)規(guī)則集，以便求得要求的規(guī)則。變形空間法Version-space：數(shù)據(jù)驅(qū)動改進(jìn)假設(shè)法Hypothesis-refinement：數(shù)據(jù)驅(qū)動產(chǎn)生與測試Generate

and

Test：模型驅(qū)動方案示例法Schema

Instantiation：模型驅(qū)動

選擇例子。選擇合適的例子，以能更好的搜索。實(shí)例學(xué)習(xí)

實(shí)例學(xué)習(xí)的分類（三種分類）搜索方法、論域、任務(wù)復(fù)雜

（1）按搜索方法分類：變形空間法；改進(jìn)假設(shè)法；產(chǎn)生與測試法；方案示例法等等。

（2）按論域分類：系統(tǒng)理論和模式分析數(shù)字表示：多用于電子工知識：多項(xiàng)式、矩陣；系統(tǒng)：自適應(yīng)系統(tǒng)；任務(wù)：模式分類、自適應(yīng)控制、濾波等。符號表示：AI領(lǐng)域主要研究對象。知識：符號的特征向量、一階謂詞、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)、框架理論、多項(xiàng)式等；實(shí)例學(xué)習(xí)－實(shí)例學(xué)習(xí)的分類

（3）按任務(wù)復(fù)雜

度分類：學(xué)習(xí)單個概念：最基本的學(xué)習(xí)多個概念：歸納出多個相互獨(dú)立的概念學(xué)習(xí)執(zhí)行多步任務(wù)：一個操作序列去完成任務(wù)，即執(zhí)行環(huán)節(jié)對任務(wù)要規(guī)劃。實(shí)例學(xué)習(xí)

學(xué)習(xí)單個概念

概念：采用謂詞邏輯的知識表示時，一個概念就是一個謂詞公式。學(xué)習(xí)單個概念就是給系個概念的若干正例和反例，系統(tǒng)由此歸納出表示這個概念的謂詞公式。

過給定：概念的表示語言；正例和反例尋找：一條規(guī)則。要覆蓋全部正例，可以不覆蓋全部反例。概念學(xué)習(xí)例子目標(biāo)概念：“適于運(yùn)動員進(jìn)行水上運(yùn)動項(xiàng)目的天氣情況”，表示為

函數(shù)EnjoySport任務(wù)目的：基于某天的有關(guān)屬性，EnjoySport函數(shù)的值任務(wù)的學(xué)習(xí)空間：樣例集，每個樣例表示為屬性的集合實(shí)例學(xué)習(xí)

目標(biāo)概念c

訓(xùn)練樣例x

訓(xùn)練樣例集D={x1,x2,...xn}

正例（yes），目標(biāo)概念成員

反例(no)，非目標(biāo)概念成員

假設(shè)h

假設(shè)（空間）集H={h1,h2...hn}機(jī)器學(xué)習(xí)的目標(biāo)就是尋找一個（組）假設(shè)h，使得對所有的訓(xùn)練樣例x，都有h(x)=c(x)

假設(shè)與概念一致實(shí)例學(xué)習(xí)-術(shù)語定義目標(biāo)概念EnjoySport的訓(xùn)練樣例ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighWeakStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYesDay

5RainyWarmNormalWeakWarmChangeNo訓(xùn)練樣例集

D={Day1,Day2,...Dayn}

每個訓(xùn)練樣例

x有六個屬性實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)

表示假設(shè)的形式

一個簡單的形式，具體實(shí)例的各屬性約束的合取式

令每個假設(shè)為6個約束（或變量）的向量，每個約束對應(yīng)一個屬性可取值范圍，可以為？任意本屬性可接收的值明確指定的屬性值；如Cold，High，strong

，weak。

不接受任何值樣例都是反例，任何條件都滿足不了

假設(shè)的例子<?,

?,

?,

?,

?,

?><

,

,

,

,

,

>//所有的樣例都是正例，沒有指定任何條件//所有的樣例都是反例，任何條件都滿足不了<Sunny,Warm,?,?,?,?> //陽光燦爛，氣溫高<Sunny,

Warm,

High,?,

?,

?><?,

Cold,

High,

?,

?,

?>//陽光燦爛，氣溫高，濕度偏高//氣溫冷，濕度偏高EnjoySport概念學(xué)習(xí)的任務(wù)

已知

實(shí)例x每個實(shí)例x由6個屬性描述，每個屬性的取值范圍已確定

假設(shè)集H每個假設(shè)h描述為6個屬性的取值約束的合取

目標(biāo)概念c函數(shù)，變量為實(shí)例

訓(xùn)練樣例集D目標(biāo)函數(shù)（或目標(biāo)概念）的正例和反例

求解

H中的任一假設(shè)h，使對于任意實(shí)例x，h(x)=c(x)實(shí)例（歸納）學(xué)習(xí)過

實(shí)例學(xué)習(xí)

從特殊的訓(xùn)練樣例中得到普遍的規(guī)律

歸納

保證輸出的假設(shè)能與訓(xùn)練樣例相擬合

歸納假設(shè)的一個基本假定（偏置）

對于未見實(shí)例最好的假設(shè)就是與訓(xùn)練數(shù)據(jù)最佳擬合的假設(shè)

歸納學(xué)習(xí)假設(shè)

任一假設(shè)如果在足夠大的訓(xùn)練樣例集中很好地近目標(biāo)函數(shù)，它也能在未見實(shí)例中很好地近目標(biāo)函數(shù)。假設(shè)從一般到特殊的轉(zhuǎn)化

假設(shè)的一般到特殊

考慮下面兩個假設(shè)h1=<sunny,

?,

?,

Strong,

?,

?>h2=<Sunny,

?,

?,

?,

?,

?>h3=<Sunny,

?,

?,

,

?,

?>

任何被h1劃分為正例的實(shí)例都會被h2劃分為正例，因此h2比h1更一般(h1比h2更特殊)。

利用這個關(guān)系，無需列舉所有假設(shè)，就能在無限的假設(shè)空間中進(jìn)行徹底的搜索假設(shè)從一般到特殊的轉(zhuǎn)化（2）

關(guān)系“更一般”的精確定義

任給實(shí)例x和假設(shè)h，x滿足h，當(dāng)且僅當(dāng)h(x)=1

令hj和hk是在X上定義的 函數(shù)，稱hj比hk更一般，當(dāng)且僅當(dāng)(xX)[(hk(x)=1)(hj(x)=1)]

記為hjmore_general_than_or_equal_tohk，或hj

g

hk顯然“g

“是一種關(guān)系中的一類“偏序關(guān)系”。（自反、 稱、可傳遞；在某一集合上可能存在四類八種特殊元素）稱性假設(shè)從一般到特殊的轉(zhuǎn)化（3）

“更一般”的嚴(yán)格情形hj

>g

hk，當(dāng)且僅當(dāng)，(hj

g

hk)

(hk

g

hj)

“更特殊”關(guān)系的定義hj

g

hk，當(dāng)且僅當(dāng)，hk

g

hj

以EnjoySport為例說明上面的定義hk=<sunny,

?,

?,

Strong,

?,?>hj

=<Sunny,?,

?,

?,

?,

?>hj

>g

hkhk

g

hjhj

“更一般”hkhk“更特殊”hjx1x1

=<sunny,

warm,high,

Strong,

warm,

same>high,

weak,

warm,

same>x2=<

sunny,

cold,….….實(shí)例、假設(shè)與更一般實(shí)例X假設(shè)集Hx3h2h3h1x2h2“更一般”h13h

==<sunny,

?,?,

?,

?,

?>h1=<sunny,

?,?,

?,cool,

same>h2=<sunny,

?,?,

?,cool,

?>h3

“更一般”h2h3

“更一般”h1實(shí)例學(xué)習(xí)的方法Find-S算法：尋找極大特殊假設(shè)（1）

使用more_general_than偏序的搜索算法

從H中最特殊假設(shè)(最小假設(shè))開始，然后在假設(shè)覆蓋正例失敗時將其一般化Find-S算法1.2.3.將h初始化為H中最特殊假設(shè)對每個正例x對h的每個屬性約束ai如果x滿足ai,那么不做任何處理否則將h中ai替換為x滿足的另一個更一般約束輸出假設(shè)hFind-S：尋找極大特殊假設(shè)（2）

Find-S算法在例子EnjoySport上的應(yīng)用

h<,

,

,

,

,

>最特出假設(shè)

h<Sunny,Warm,Normal,Strong,Warm,Same>

泛化

h<Sunny,Warm,?,Strong,Warm,Same>

泛化

遇到反例，h不變（因?yàn)閔已經(jīng)能夠正確地識別反例）

h<Sunny,

Warm,

?,

Strong,

?,

?>極大特殊假設(shè)ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYesDay

5RainyWarmNormalWeakWarmChangeNo實(shí)例X假設(shè)集Hx2x1h0h1特殊一般x3h4x4Find-S：尋找極大特殊假設(shè)x1=<sunny,

warm,

normal,

strong,

warm,

same>,

+x2=<sunny,

warm,

high,

strong,

warm,

same>,

+x3=<rainy,

cold,

high,

strong,

warm,

change>,

-x4=<sunny,

warm,

high,

strong,

cool,

change>,

+h0=<

,

,

,

,

,

>h1=<sunny,

warm,

normal,

strong,

warm,same>h2=<sunny,

warm,

?,

strong,

warm,

same>h3=<sunny,

warm,

?,

strong,

warm,

same>h4=<sunny,

warm,

?,strong,

?,

?>h2

,h3Find-S：尋找極大特殊假設(shè)（3）

Find-S算法演示了一種利用more_general_than偏序來搜索假設(shè)空間的方法，沿著偏序鏈，從較特殊的假設(shè)逐漸轉(zhuǎn)移到較一般的假設(shè)。因此，每一步得到的假設(shè)都是在那一點(diǎn)上與訓(xùn)練樣例一致的最特殊的假設(shè)。

Find-S的重要特點(diǎn)：對以屬性約束的合取式描述的假設(shè)空間H，保證輸出為H中與正例一致的最特殊的假設(shè)。

存在的問題?

是否收斂到了正確的目標(biāo)概念？（還有其它假設(shè)嗎？）

為什么要用最特殊的假設(shè)？（為什么不用更一般？）

訓(xùn)練樣例是否相互一致？學(xué)習(xí)方法的健壯性（數(shù)據(jù)有噪聲）

如果有多個極大特殊假設(shè)怎么辦？多概念下的學(xué)習(xí)？實(shí)例學(xué)習(xí)的方法：變型空間和候選消除算法

候選消除算法概述

概念學(xué)習(xí)的另

法，候選消除算法（Candidate-Elimination）

Find-S算法的不足，輸出的假設(shè)只是H中能夠擬合訓(xùn)練樣例的多個假設(shè)中的一個；

候選消除算法輸出與訓(xùn)練樣例一致的所有假設(shè)的集合；

候選消除算法在描述這一集合時不需要明確列舉所有成員；

利用more_general_than偏序結(jié)構(gòu)，可以 一個一致假設(shè)集合表示；

候選消除算法可用于啟發(fā)式搜索控制規(guī)則來表示;

候選消除算法的缺點(diǎn)，容錯性能差;變型空間和候選消除算法

“一致”的定義

一個假設(shè)h與訓(xùn)練樣例集合D一致，當(dāng)且僅當(dāng)對D中每一個樣例<x,c(x)>都有h(x)=c(x)，即：Consistent(h,D)(<x,c(x)>D)h(x)=c(x)“一致”與“滿足”的關(guān)系；

變型(版本)空間VS（Version

Space）

與訓(xùn)練樣例一致的所有假設(shè)組成的集合

表示了目標(biāo)概念的所有合理的變型(版本)

關(guān)于H和D的變型空間，記為VSH,D，是H中與訓(xùn)練樣例D一致的所有假設(shè)構(gòu)成的子集：VSH,D={hH|Consistent(h,D)}變型空間和候選消除算法

先列表后消除法能表示變型空間的

法是列出其所有成員；

變型空間VS

包含H中所有假設(shè)的列表；

對每個訓(xùn)練樣例<x,c(x)>，從變型空間中移除所有h(x)c(x)的假設(shè)；

輸出VS中的假設(shè)列表；

優(yōu)點(diǎn)

保證得到所有與訓(xùn)練數(shù)據(jù)一致的假設(shè)；

缺點(diǎn)

非常繁瑣地列出H中的所有假設(shè)，大多數(shù)實(shí)際的假設(shè)空間無法做到。變型空間和候選消除算法

全部六個假設(shè)的變型空間變型空間及一般特殊邊界{<Sunny,

Warm,

?,

Strong,

?,

?>}S:{<Sunny,

?,

?,

?,

?,

?>,

or <?,

Warm,

?,

?,

?,

?>}G:<Sunny,?,?,Strong,?,?><Sunny,

Warm,?,?,?,?><?,Warm,?,Strong,?,?>極大一般極大特殊尋找到的極大特殊假設(shè)：h4=<sunny,

warm,

?,strong,

?,

?>S={h4,

…}G={h…}變型空間和候選消除算法

變型空間的更簡潔表示

變型空間被表示為它的極大一般g和極大特殊s的成員；

這些成員形成了一般和特殊邊界的集合，這些邊界在整個偏序結(jié)構(gòu)中劃分出變型空間；gsVSH,D變型空間Version

Space訓(xùn)練例子GS更特殊更一般VSH,D變型空間方法以整個規(guī)則空間為初始的假設(shè)規(guī)則集合H,VSH,D=H。依據(jù)訓(xùn)練例子中的信息，它對集合H進(jìn)行泛化或特化處理，逐步縮小集合H。最后使H收斂為只含有要求的規(guī)則。由于被搜索的空間H逐步縮小，故稱為變型空間。變型空間方法的初始G集是最上面的一個點(diǎn)（最一般的概念），初始S集是最下面的直線上的點(diǎn)（訓(xùn)練正例），初始H集是整個規(guī)則空間。在搜索過

中，G集逐步下移（進(jìn)行特例化），S

集逐步上移（進(jìn)行泛化），H

逐步縮小。最后H收斂為滿足要求的概念。初始變型空間(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)例化泛化gs第一個訓(xùn)練實(shí)例(sm

cir)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)第二個訓(xùn)練實(shí)例(lg,tri)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)第三個訓(xùn)練實(shí)例(lg,cir)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)變型空間和候選消除算法

搜索：使用一個可能合理的假設(shè)規(guī)則的集合

H，H是規(guī)則空間的子集，是規(guī)則空間中間的一段。

H中最一般的元素組成的子集稱為G集合，最特殊的元素組成的子集稱為S集合。（H是上界G和下界S之間的一段。）

學(xué)習(xí)基本思想：盡可能合理的進(jìn)行特殊化和一般化處理，通過搜索減小H，找到一個假設(shè)規(guī)則。

具體方法：消除候選元素法。變型空間和候選消除算法

形式化定義

極大一般:更一般中的極大者(元)-下確界

極大特殊:更特殊中的極小者(元)-上確界

關(guān)于假設(shè)空間H和訓(xùn)練數(shù)據(jù)D的一般邊界G，是在H中與D相一致的極大一般成員的集合

關(guān)于假設(shè)空間H和訓(xùn)練數(shù)據(jù)D的特殊邊界S，是在H中與D相一致的極大特殊成員的集合變型空間和候選消除算法變型空間定理：令X為一任意的實(shí)例集合，H為X上定義的布爾假設(shè)的集合。令c:X{0,1}為X上定義的任一目標(biāo)概念，并令D為任一訓(xùn)練樣例集合{<x,c(x)>}。對所有的X,H,c,

D以及定義的S和G：VSH,D={hH|(sS)(

gG)(gghgs)}變型空間中的任意假設(shè)h一定更一般特殊邊界S而更特殊一般邊界G變型空間和候選消除算法

將G集合初始化為H中極大一般假設(shè)G0=｛<,,,,,>｝

將S集合初始化為H中極大特出假設(shè)S0=｛<?,?,?,?,?,?>｝候選消除算法（candidate-elimination

）

初始化G和S

如果d是一個正例從G中移去所有與d不一致的假設(shè)對S中每個與d不一致的假設(shè)s從S中移去s把s的所有的極小一般（泛化）式h加入到S中，其中h滿足h與d一致，而且G的某個成員比h更一般

如果d是一個反例從S中移去所有與d不一致的假設(shè)對G中每個與d不一致的假設(shè)g從G中移去g把g的所有的極小特殊式（例化）h加入到G中，其中h滿足h與d一致，而且S的某個成員比h更特殊ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法算法舉例，訓(xùn)練樣例day1,day2,正例,只修改S對于樣例day1,極小一般（泛化）式h加入到S中對于樣例day2,極小一般（泛化）式h加入到S中對于樣例day1

，day2,G不做變化極大一般極大特殊{<sunny,

warm,

normal,

strong,

warm,

same>}s1s2{<sunny,

warm,

?,

strong,

warm,

same>}G1

G2{<rainy,

cold,

high,

strong,

warm,

change>}specificExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法訓(xùn)練樣例day3,反例,只修改G對于樣例day3,S不做修改對于樣例day3,

g的所有極小特殊式（例化）h加入到G中極大一般極大特殊{<sunny,

warm,

?,

strong,

warm,

same>}s1G3s2G2{<?,

?,

?,

?,

?,

?>}{<sunny,

?,

?,

?,

?,

?>,

<?,

warm,

?,

?,

?,

?>,

<?,

?,

?,

?,

?,

same>}ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法訓(xùn)練樣例day4,正例,只修改S對于樣例day4,G不做修改對于樣例day4,極小一般（泛化）式h加入到S中{<sunny,

warm,

?,

strong,

warm,

same>

}{<sunny,

?,

?,

?,

?,

?>,

<?,

warm,

?,

?,

?,

?>,

<?,

?,

?,

?,

?,

same>}s3{<sunny,

warm,

?,

strong,

?,

?

>}s4G3{<sunny,

?,

?,

?,

?,

?>,<?,

warm,

?,

?,

?,?>

}G4極大一般極大特殊變型空間和候選消除算法學(xué)習(xí)得到的最終的變形空間{<Sunny,

Warm,

?,

Strong,

?,

?>}S:{<Sunny,

?,

?,

?,

?,

?>, <?,

Warm,

?,

?,

?,

?>，<?,

?,

?,

?,

?,

same>}G:<Sunny,?,?,Strong,?,?><Sunny,Warm,?,?,?,?><?,Warm,?,Strong,?,?>極大一般極大特殊

學(xué)習(xí)的過和結(jié)論S是規(guī)則充分條件，G是規(guī)則必要條件的集合。學(xué)習(xí)結(jié)束時找到的應(yīng)是充分必要條件。正例的主要工作是對S一般化，反例是對G特殊化。搜索的過是在例子的引導(dǎo)下，數(shù)據(jù)驅(qū)動。遵循的是變量優(yōu)先的原則。正例去掉G中不符合的概念，然后修改S,歸納出最特殊的結(jié)果,盡量少改S。反例去掉S中符合的概念，然后修改G,做特殊化得到最一般的結(jié)果,盡量少改G.GS更特殊更一般VSH,D

變形空間法的優(yōu)缺點(diǎn)：搜索空間太大，有可能引起計(jì)算

問題（規(guī)則總地來說是越擴(kuò)越多）性差，所有數(shù)據(jù)驅(qū)動方法的通病。解決方法：例子一組一組地給。采用析取規(guī)則，即此算法不可能發(fā)現(xiàn)“或”的關(guān)系。歸納偏置

有關(guān)候選消除算法的幾個問題

如果目標(biāo)概念不在假設(shè)空間中怎么辦？

是否可設(shè)計(jì)一個包含所有假設(shè)的空間來解決這一？

假設(shè)空間的大小對于算法推廣到未見實(shí)例的能力有什么影響？

假設(shè)空間的大小對所需訓(xùn)練樣例的數(shù)量有什么影響？歸納學(xué)習(xí)需要的預(yù)先假定，稱為歸納偏置歸納偏置（2）

一個有偏的假設(shè)空間

在EnjoySport這個例子中，假設(shè)空間限制為只包含屬性值的合取。（肯定有偏）

因?yàn)檫@一限制，導(dǎo)致假設(shè)空間不能夠表示簡單一些的析取形式的目標(biāo)概念。歸納偏置（3）無偏的學(xué)習(xí)器

為了保證目標(biāo)概念在假設(shè)空間中，需要提供一個假設(shè)空間，它能表達(dá)所有的可教授概念。換言之，它能表達(dá)實(shí)例集X的所有子集。EnjoySport的無偏形式

帶來的問題：概念學(xué)習(xí)算法無法從訓(xùn)練樣例中泛化。

要想獲得單個目標(biāo)概念，就必須提供X中所有實(shí)例作為訓(xùn)練樣例歸納偏置（4）

無偏學(xué)習(xí)的無用性

歸納學(xué)習(xí)的一個基本屬性：學(xué)習(xí)器如果不對目標(biāo)概念的形式做預(yù)先的假定，它從根本上無法對未見實(shí)例進(jìn)行分類實(shí)例學(xué)習(xí)的改進(jìn)

改進(jìn)假設(shè)方法

也是數(shù)據(jù)驅(qū)動的方法。用改進(jìn)操作來修改規(guī)則空間中的假設(shè)。然后根據(jù)示教例子用啟發(fā)式方法選擇這些操作。

優(yōu)點(diǎn)：能發(fā)現(xiàn)實(shí)質(zhì)變量間關(guān)系

缺點(diǎn)：僅能在特殊情況下才能使用操作。變量的選樣，對例子的提供很敏感實(shí)例學(xué)習(xí)的改進(jìn)

產(chǎn)生與測試方法

模型驅(qū)動的方法。

優(yōu)點(diǎn)：比變形空間法更快，量更少，抗干擾。即使例子中有干擾，就選覆蓋大多數(shù)例子的規(guī)則即可。

缺點(diǎn)：沒有很完善的模型指導(dǎo)修剪和結(jié)束搜索。同時，因?yàn)樾藜羲圆煌陚?，不一定能找到全部合格的概念。而且一次需要全部例子，不適合于逐步學(xué)習(xí)。實(shí)例學(xué)習(xí)的改進(jìn)

方案示例方法

模型驅(qū)動的方法。常用于理解性任務(wù)。如：圖像、語音、自然語言理解。

優(yōu)點(diǎn)：可以很快找到要求規(guī)則， 性好

缺點(diǎn)：難以劃分出幾種方案。有的規(guī)則不能被現(xiàn)有的方案覆蓋。每個方案要專門研究，使用不同的解釋方法。實(shí)例學(xué)

結(jié)

概念學(xué)習(xí)可看作搜索預(yù)定義潛在假設(shè)空間的過

假設(shè)的一般到特殊偏序結(jié)構(gòu)可以定義在任何概念學(xué)習(xí)問題中，這種結(jié)構(gòu)便于假設(shè)空間的搜索；

Find-S算法使用一般到特殊序關(guān)系，在偏序結(jié)構(gòu)的一個分支上執(zhí)行一般到特殊搜索，尋找一個與樣例一致的最特殊假設(shè)；

候選消除算法利用一般到特殊的過通過漸進(jìn)地計(jì)算極大特殊假設(shè)集合S和極大一般假設(shè)集合G發(fā)現(xiàn)變型空間；

候選消除算法缺少健壯性；

歸納學(xué)習(xí)算法隱含了歸納偏置，候選消除算法的偏置是：目標(biāo)概念可以在假設(shè)空間中找到-所以又稱限定偏置。輸出的假設(shè)和對新實(shí)例的分類可由歸納偏置和訓(xùn)練樣例演繹推出。第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的