論人工智能中的機器學(xué)習(xí)

人工智能中的機器學(xué)習(xí)第20頁共20頁學(xué)詩雨序號（40）信息學(xué)院08自動化班論人工智能中的機器學(xué)習(xí)學(xué)績：評語：評語：信息學(xué)院《人工智能及其應(yīng)用》課程設(shè)計題目：人工智能中機器學(xué)習(xí)與應(yīng)用目錄TOC\o"1-2"\h\z\u摘要： 2關(guān)鍵字 2引言： 21.機器學(xué)習(xí)系統(tǒng)的定義【1】 32．機器學(xué)習(xí)的發(fā)展以及意義【2】 33．機器學(xué)習(xí)系統(tǒng)的基本模型【3】【5】 44．機器學(xué)習(xí)的分類與應(yīng)用【4】 5（1）機械式學(xué)習(xí) 5（2）指導(dǎo)式學(xué)習(xí) 5（3）歸納學(xué)習(xí)。 5（4）類比學(xué)習(xí) 6（5）基于解釋學(xué)習(xí) 65．結(jié)論 86．參考文獻(xiàn) 8人工智能中機器學(xué)習(xí)與應(yīng)用摘要：人工智能（ArtificialIntelligence），是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)。人工智能的發(fā)展，對現(xiàn)代社會的進(jìn)步有著重要意義，本文重點研究的是人工智能中機器學(xué)習(xí)（machinelearning）這一部分，機器學(xué)習(xí)是人工智能中一個重要的研究領(lǐng)域，一直受到人工智能以及認(rèn)知心理學(xué)家的的普遍關(guān)注，促進(jìn)機器學(xué)習(xí)的研究，對于人工智能的發(fā)展有著不可估量的作用。關(guān)鍵字：人工智能、機器學(xué)習(xí)、計算機、信息化、未來引言：科學(xué)技術(shù)日新月異，信息化時代已經(jīng)來臨。而信息化的進(jìn)一步發(fā)展，必須有智能技術(shù)的進(jìn)一步支持。自1956年Dartmouth學(xué)會正式提出“人工智能”一詞以來，人工智能領(lǐng)域吸引了無數(shù)研究人員為之奉獻(xiàn)才智。機器學(xué)習(xí)(MachineLearning)是研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域。1.機器學(xué)習(xí)系統(tǒng)的定義【1】學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長期以來卻眾說紛紜。社會學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。至今，還沒有統(tǒng)一的“機器學(xué)習(xí)”定義，而且也很難給出一個公認(rèn)的和準(zhǔn)確的定義。比如，Langley（1996)定義的機器學(xué)習(xí)是“機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學(xué)習(xí)中改善具體算法的性能”。（Machinelearningisascienceoftheartificial.Thefield'smainobjectsofstudyareartifacts,specificallyalgorithmsthatimprovetheirperformancewithexperience.'）Mitchell（1997）在其著作《MachineLearning》中定義機器學(xué)習(xí)是提到，“機器學(xué)習(xí)是對能通過經(jīng)驗自動改進(jìn)的計算機算法的研究”。（MachineLearningisthestudyofcomputeralgorithmsthatimproveautomaticallythroughexperience.）Alpaydin（2004）同時提出自己對機器學(xué)習(xí)的定義，“機器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標(biāo)準(zhǔn)?！保∕achinelearningisprogrammingcomputerstooptimizeaperformancecriterionusingexampledataorpastexperience.）盡管如此，為了便于進(jìn)行討論和估計學(xué)科的進(jìn)展，有必要對機器學(xué)習(xí)給出定義，即使這種定義是不完全的和不充分的。顧名思義，機器學(xué)習(xí)是研究如何使用機器來模擬人類學(xué)習(xí)活動的一門學(xué)科。稍為嚴(yán)格的提法是：機器學(xué)習(xí)是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學(xué)問。這里所說的“機器”，指的就是計算機2．機器學(xué)習(xí)的發(fā)展以及意義【2】機器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過程大體上可分為4個時期第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。第二階段是在60年代中葉至70年代中葉，被稱為機器學(xué)習(xí)的冷靜時期。第三階段是從70年代中葉至80年代中葉，稱為復(fù)興時期。機器學(xué)習(xí)的最新階段始于1986年。機器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)在下列諸方面：(1)機器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動化和計算機科學(xué)形成機器學(xué)習(xí)理論基礎(chǔ)。(2)結(jié)合各種學(xué)習(xí)方法，取長補短的多種形式的集成學(xué)習(xí)系統(tǒng)研究正在興起。特別是連接學(xué)習(xí)符號學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。(3)機器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點正在形成。例如學(xué)習(xí)與問題求解結(jié)合進(jìn)行、知識表達(dá)便于學(xué)習(xí)的觀點產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類比學(xué)習(xí)與問題求解結(jié)合的基于案例方法已成為經(jīng)驗學(xué)習(xí)的重要方向。(4)各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴大，一部分已形成商品。歸納學(xué)習(xí)的知識獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學(xué)習(xí)在聲圖文識別中占優(yōu)勢。分析學(xué)習(xí)已用于設(shè)計綜合型專家系統(tǒng)。遺傳算法與強化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。(5)與機器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動空前活躍。國際上除每年一次的機器學(xué)習(xí)研討會外，還有計算機學(xué)習(xí)理論會議以及遺傳算法會議。機器學(xué)習(xí)的意義也是相當(dāng)重要的：首先，機器學(xué)習(xí)速度驚人；其次，機器學(xué)習(xí)可以把學(xué)習(xí)不斷地延續(xù)下去，避免大量的重復(fù)學(xué)習(xí)，使知識積累達(dá)到新的高度；再次，機器學(xué)習(xí)有利于知識的傳播。3．機器學(xué)習(xí)系統(tǒng)的基本模型【3】【5】一個學(xué)習(xí)系統(tǒng)一般應(yīng)該有環(huán)境，學(xué)習(xí)，知識庫，執(zhí)行與評價等四個基本部分組成。各個部分之間的關(guān)系如下圖所示，其中箭頭表示信息的流向。圖1（1）：“環(huán)境”可以是外部信息的來源。它將為系統(tǒng)的學(xué)習(xí)機構(gòu)提供有關(guān)信息。系統(tǒng)通過環(huán)境的搜索取得外部信息，然后經(jīng)分析，綜合，類比，歸納等思維過程獲得知識，并將這些知識存入知識庫中。環(huán)境可以是系統(tǒng)的工作對象，也可以包括工作對象和外界條件。例如在在控制系統(tǒng)中，環(huán)境就是受控的設(shè)備或生產(chǎn)流程。就環(huán)境提供給系統(tǒng)的信息來說，信息的水平和質(zhì)量對學(xué)習(xí)系統(tǒng)有很大影響。信息的水平是指信息的一般性程度，也就是適用范圍的廣泛性。學(xué)習(xí)環(huán)節(jié)的任務(wù)就是解決水平差距問題。（（2）：“知識庫”知識庫的形式就是知識表實的形式。常用的知識表實方法有：特征向量、謂詞演算、產(chǎn)生式規(guī)則、過程、LISP函數(shù)、數(shù)字多項式、語義網(wǎng)絡(luò)和框架。選擇知識表實方法要考慮下列準(zhǔn)則：可表達(dá)性、推理難度、可修改性和可擴充性。學(xué)習(xí)系統(tǒng)實質(zhì)上是對舊知識庫的擴充和完善。（3）：“學(xué)習(xí)環(huán)節(jié)與執(zhí)行環(huán)節(jié)”的目的就是改善執(zhí)行環(huán)節(jié)的行為。執(zhí)行環(huán)節(jié)的復(fù)雜性、反饋和透明度都對學(xué)習(xí)環(huán)節(jié)有影響。復(fù)雜的任務(wù)需要更多的知識。二分分類是最簡單的任務(wù)，只需一條規(guī)則。某個玩樸克的程序有約20條規(guī)則。學(xué)習(xí)系統(tǒng)都要用某種方法去評價學(xué)習(xí)環(huán)節(jié)推薦的假設(shè)。一種方法是用獨立的知識庫作這種評價。另一種方法是以環(huán)境作為客觀的執(zhí)行標(biāo)準(zhǔn)，系統(tǒng)判定執(zhí)行環(huán)節(jié)是否按預(yù)期標(biāo)準(zhǔn)工作，由此反饋信息評價當(dāng)時的假設(shè)。若執(zhí)行環(huán)節(jié)有較好的透明度，學(xué)習(xí)環(huán)節(jié)就容易追蹤執(zhí)行環(huán)節(jié)的行為。4．機器學(xué)習(xí)的分類與應(yīng)用【4】正如人們有各種各樣的學(xué)習(xí)方法一樣，機器學(xué)習(xí)也有多種學(xué)習(xí)方法。若按學(xué)習(xí)時所用的方法來進(jìn)行分類，則機器學(xué)習(xí)可以分為機械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示范例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。這是溫斯頓在1977年提出的一種分類方法。（1）機械式學(xué)習(xí)這種學(xué)習(xí)直接記憶環(huán)境提供的新知識，并直接使用它們，對它們不作任何變換。對于記憶學(xué)習(xí)有兩種極端的觀點。一種觀點認(rèn)為，存儲對任何智能程序都是必要的、基本的，它不是獨立的學(xué)習(xí)過程，不必要專門研究。另一種觀點認(rèn)為，存儲是一個復(fù)雜問題，對任何認(rèn)知系統(tǒng)都是必要的，因此要詳細(xì)研究并模型化。一種折衷的觀點認(rèn)為，一般學(xué)習(xí)系統(tǒng)不會只是記憶學(xué)習(xí)，但記憶學(xué)習(xí)是任何學(xué)習(xí)系統(tǒng)的一部分。。Lenat(1979)提出一種獨特的觀點，他把記憶學(xué)習(xí)看作最低層次的數(shù)據(jù)處理。他劃分的數(shù)據(jù)處理層次如下圖所示。如果一個計算結(jié)果有普遍意義，就存儲起來。這就把計算任務(wù)簡化為存取任務(wù)。記憶是簡化數(shù)據(jù)處理，以空間換取時間的手段。圖2（2）指導(dǎo)式學(xué)習(xí) 指導(dǎo)式學(xué)習(xí)(LearningbyBeingTold或LearningbyInstruction)。又稱為指點學(xué)習(xí)。這時，環(huán)境提供的信息較抽象，水平較高，學(xué)習(xí)環(huán)節(jié)把這些信息變換成執(zhí)行環(huán)節(jié)使用的較低水平的信息。期間重點是實用化，即為它把抽象的建議轉(zhuǎn)成具體的知識。實用化過程類似于自動程序設(shè)計。前者由建議得到實用的規(guī)則，后者由程序說明得到程序。二者也存在差別。后者要求得到完全正確的程序，強調(diào)程序的正確性。前者往往使用弱方法，不保證完全正確。實用化過程有時作試探性的假設(shè)和近似，只能要求其合理性。得到的假設(shè)還要經(jīng)過檢驗和修改。（3）歸納學(xué)習(xí)。歸納學(xué)習(xí)是通過從環(huán)境中取得若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。在這種學(xué)習(xí)方法中，外部環(huán)境(教師)提供的是一組例子(正例和反例)，這些例子實際上是一組特殊的知識，每一個例子表達(dá)了僅適用于該例子的知識，實例學(xué)習(xí)就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，它將覆蓋所有的正例并排除所有反例。例如，如果我們用一批動物作為實例，并且告訴學(xué)習(xí)系統(tǒng)哪一個動物是“馬”，哪一個動物不是，當(dāng)實例足夠多時，學(xué)習(xí)系統(tǒng)就能一般出關(guān)于“馬”的概念模型，使自己能識別馬，并且能把馬與其它動物區(qū)別開來，這一學(xué)習(xí)過程就是歸納學(xué)習(xí)。圖3（4）類比學(xué)習(xí)類比學(xué)習(xí)(LearningbyAnalogy)。是獲取新概念或新技巧的方法，它把類似這些新概念或新技巧的已知知識轉(zhuǎn)換為適于新情況的形式。類比學(xué)習(xí)的第一步是從記憶中找到類似的概念或技巧，第二步是把它們轉(zhuǎn)換為新形式以便用于新情況。例如人類的一種學(xué)習(xí)方式是先由老師教學(xué)生解例題(先例)，再給學(xué)生留習(xí)題。學(xué)生尋找在例題和習(xí)題間的對應(yīng)關(guān)系，利用解決例題的知識去解決習(xí)題中的問題。學(xué)生經(jīng)過一般化歸納推出原理，以便以后使用。這種類比學(xué)習(xí)方式是人類常用的。問題求解基本過程：

1.比較新狀態(tài)與目標(biāo)狀態(tài)。

2.選擇可以減小這個差異的操作。

3.如果前提滿足就使用這個操作，否則保存新狀態(tài)，并用中間結(jié)局分析解決子問題，以便實現(xiàn)未滿足的前提。

4.在解決子問題后，再取出保存的狀態(tài)，繼續(xù)處理原問題。轉(zhuǎn)換類比學(xué)習(xí)主要有兩步：（5）基于解釋學(xué)習(xí)解釋學(xué)習(xí)（Explanation-BasedLeaning,簡稱EBL）。起源于經(jīng)驗學(xué)習(xí)的研究。50年代未，對神經(jīng)元的模擬中發(fā)明了用一種符號來標(biāo)記另一些符號的存儲結(jié)構(gòu)模型，這是早期的存儲塊（chunks）概念。在象棋大師的頭腦中就保存著在各種情況下對弈經(jīng)驗的存儲塊。80年代初，Newell和Rosenbloom認(rèn)為，通過獲取任務(wù)環(huán)境中關(guān)于模型問題的知識，可以改進(jìn)系統(tǒng)的性能，chunks可以作為對人類行為進(jìn)行模擬的模型基礎(chǔ)。通過觀察問題求解過程，獲取經(jīng)驗chunks，用其代替各個子目標(biāo)中的復(fù)雜過程，可以明顯提高系統(tǒng)求解的速度。由此奠定了經(jīng)驗學(xué)習(xí)的基礎(chǔ)。Mitchell等人把基于解釋的學(xué)習(xí)過程定義為兩個步驟：

（1）通過求解一個例子來產(chǎn)生解釋結(jié)構(gòu)；

（2）對該解釋結(jié)構(gòu)進(jìn)行一般化，獲取一般的控制規(guī)則。其具體過程如下：

（1）產(chǎn)生解釋。用戶輸入實例后，系統(tǒng)首先進(jìn)行問題求解。如由目標(biāo)引導(dǎo)反向推理，從領(lǐng)域知識庫中尋找有關(guān)規(guī)則，使其后件與目標(biāo)匹配。找到這樣的規(guī)則后，就把目標(biāo)作為后件，該規(guī)則作為前件，并記錄這一因果關(guān)系。然后以規(guī)則的前件作為子目標(biāo)，進(jìn)一步分解推理。如此反復(fù)，沿著因果鏈，直到求解結(jié)束。一旦得到解，便證明了該例的目標(biāo)可滿足，并獲得了證明的因果解釋結(jié)構(gòu)。構(gòu)造解釋結(jié)構(gòu)通常有兩種方式：一是將問題求解的每一推理所用的算子匯集，構(gòu)成動作序列作為解釋結(jié)構(gòu)；另一種是自頂向下的遍歷證明樹結(jié)構(gòu)。前者比較一般，略去了關(guān)于實例的某些事實描述；后者比較細(xì)致，每個事實都出現(xiàn)在證明樹中。解釋的構(gòu)造可以在問題求解的同時進(jìn)行，也可在問題求解結(jié)束后，沿著解路徑進(jìn)行。這兩種方式形成了邊解邊學(xué)（Learningwhiledoing）和解完再學(xué)（Learningbysolving）兩種方法。

（2）對得到的解釋結(jié)構(gòu)以及事件進(jìn)行一般。在這一步，通常采取的辦法是將常量轉(zhuǎn)換為變量，即把例子中的某些數(shù)據(jù)換成變量，并略去某些不重要的信息，只保留求解所必需的那些關(guān)鍵信息，經(jīng)過某種方式的組合，形成產(chǎn)生式規(guī)則，從而獲得一般性的控制知識。要學(xué)習(xí)目標(biāo)概念Safe-to-stack(V1,V2)解此問題依據(jù)下列兩步進(jìn)行第一步：構(gòu)造解釋結(jié)構(gòu)事實知識：

On(obj1,obj2)

Isa(obj2,Endtable)

Color(obj1,red)

Color(obj2,blue)

Volume(obj1,1)

Density(obj1,0.1)領(lǐng)域規(guī)則：

Not(Fragile(y))→Safe-to-stack(x,y)

Lighter(x,y)→Safe-to-stack(x,y)

Volume(p1,v1)∧Density(p1,d1)∧X(v1,d1,w1)→Weight(p1,w1)

Isa(p1,Endtable)→Weight(p1,5)

Weight(p1,w1)∧Weight(p2,w2)∧<(w1,w2)→Lighter(p1,p2)然后，為證明該例子滿足目標(biāo)概念，系統(tǒng)從目標(biāo)開始反向推理，根據(jù)知識庫中已有的上述事實和規(guī)則，分解目標(biāo)，每當(dāng)使用一條規(guī)則時，同時返回去把該規(guī)則應(yīng)用到變量化的目標(biāo)概念上。這樣，在生成該例子求解的解釋結(jié)構(gòu)的同時，也生