第四章機(jī)器學(xué)習(xí)之關(guān)于學(xué)習(xí)和機(jī)器學(xué)習(xí).ppt

1、第四章關(guān)于機(jī)器學(xué)習(xí)、4.1學(xué)習(xí)和機(jī)器學(xué)習(xí)，學(xué)習(xí)學(xué)習(xí)的定義是什么：通過與環(huán)境的對話，學(xué)習(xí)知識(專家系統(tǒng)研究者)，如嬰兒走路、跑步等身體技能，學(xué)生學(xué)習(xí)外語、數(shù)學(xué)等。 在重復(fù)的工作中，改善系統(tǒng)的性能(Simon )，如運(yùn)動員不斷練習(xí)，提高自己的擊中概率或加快速度。 機(jī)器學(xué)習(xí)的定義是，如果學(xué)習(xí)的主題是機(jī)器的話，這種學(xué)習(xí)就稱為“機(jī)器學(xué)習(xí)”。 也就是研究使用計算機(jī)模擬人類學(xué)習(xí)活動的方法的學(xué)科。 機(jī)器學(xué)習(xí)研究的目標(biāo)：人類學(xué)習(xí)過程的認(rèn)知模型人類學(xué)習(xí)機(jī)制的研究。 通用學(xué)習(xí)算法通過研究人的學(xué)習(xí)過程，尋找適合一般應(yīng)用的通用學(xué)習(xí)算法。 建立面向任務(wù)的專業(yè)學(xué)習(xí)體系解決專業(yè)實際問題。 2、機(jī)器學(xué)習(xí)的研究歷史中存在符號邏輯

2、方法和神經(jīng)網(wǎng)絡(luò)兩大流派。 神經(jīng)網(wǎng)絡(luò)方法是通過模仿神經(jīng)系統(tǒng)結(jié)構(gòu)調(diào)整神經(jīng)耦合權(quán)重的方法來實現(xiàn)機(jī)器學(xué)習(xí)。 所謂符號邏輯方法，是以謂語邏輯和規(guī)則等符號表現(xiàn)的知識學(xué)習(xí)為目的。 第一階段從20世紀(jì)50年代中期到60年代末，機(jī)器學(xué)習(xí)的第一個工作是從1957年羅森布拉特提倡的感知器開始，其基本思想是，系統(tǒng)由一系列的組件互連構(gòu)成的網(wǎng)絡(luò)，這些組件與神經(jīng)元相似。 到1969年，明斯基和佩特里奧茨指出，兩層探測器有很大的限制，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。 第二階段從20世紀(jì)70年代到80年代，本階段的研究根據(jù)符號表示建立人的學(xué)習(xí)模式，模擬人的概念學(xué)習(xí)過程。 有代表性的工作有溫斯頓的拱形結(jié)構(gòu)學(xué)習(xí)系統(tǒng)、米切爾的變形空間法等

3、。變形空間、變形空間(Version Space )方法以整個規(guī)則空間為初始的假設(shè)規(guī)則集合h。 根據(jù)訓(xùn)練例的信息，泛化或特化集合h，階段性縮小集合h。 最后使h收斂于只包含要求的規(guī)則。 由于被搜索的空間h逐漸縮小，因此稱為變形空間。變形空間、變形空間方法的初始g集合是最上面的點(最一般的概念)、初始s集合是最下面的直線上的點(訓(xùn)練修正示例)、初始h集合是整個規(guī)則空間。 在搜索過程中，g集分階段向下移動(特化)，s集分階段向上移動(泛化)，h分階段縮小。 最后h收斂于只包含一個要求的概念。 變形空間的缺點，(1)抗干擾性差(2)不能學(xué)習(xí)提取概念，這一階段后期的代表性工作：昆蘭的決策樹學(xué)習(xí)法ID3

4、，及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個時期，機(jī)器學(xué)習(xí)的研究者意識到應(yīng)用知識指導(dǎo)學(xué)習(xí)的重要性，開始將布坎納、費(fèi)爾根鮑姆的元代道爾、莉娜的AM等領(lǐng)域知識納入學(xué)習(xí)系統(tǒng)。 后期昆蘭的決策樹學(xué)習(xí)法ID3，以及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個時期，機(jī)器學(xué)習(xí)的研究者意識到應(yīng)用知識指導(dǎo)學(xué)習(xí)的重要性，開始將布坎納、費(fèi)爾根鮑姆的元代道爾、莉娜的AM等領(lǐng)域知識納入學(xué)習(xí)系統(tǒng)。 Meta-DENDRAL專家系統(tǒng)在對化學(xué)家確定有機(jī)物分子結(jié)構(gòu)時的思考過程進(jìn)行了詳細(xì)研究后，對質(zhì)譜材料進(jìn)行了分析，建立了確定物質(zhì)分子結(jié)構(gòu)的DENDRAL系統(tǒng)。 該系統(tǒng)像化學(xué)

5、家一樣，從分子式和質(zhì)譜導(dǎo)出分子結(jié)構(gòu)的基礎(chǔ)上，開發(fā)元德拉爾系統(tǒng)，不僅將事先已知的規(guī)則應(yīng)用于經(jīng)驗材料，還可以由觀察到的材料構(gòu)成新的規(guī)則。 Meta-DENDRAL系統(tǒng)發(fā)現(xiàn)了化學(xué)家以前不認(rèn)識的一些化合物的質(zhì)譜破壞規(guī)律。 這是自動構(gòu)成理論的一個例子，非常接近人的真正創(chuàng)造活動。數(shù)學(xué)發(fā)現(xiàn)系統(tǒng)AM，發(fā)現(xiàn)學(xué)習(xí)是系統(tǒng)的初期知識和觀察的數(shù)據(jù)，學(xué)習(xí)數(shù)學(xué)、物理和化學(xué)等方面的概念和規(guī)則。 也可以使用歸納推論，但是由于在學(xué)習(xí)過程中初期知識以外的教育者不進(jìn)行指導(dǎo)，所以也是沒有指導(dǎo)的歸納學(xué)習(xí)。 一個發(fā)現(xiàn)系統(tǒng)是數(shù)學(xué)發(fā)現(xiàn)系統(tǒng)，典型的系統(tǒng)是AM。 AM(Lenat，1976 )不是學(xué)習(xí)執(zhí)行任務(wù)的概念，而是學(xué)習(xí)數(shù)學(xué)的概念。 用改進(jìn)的

6、假設(shè)方法探索數(shù)學(xué)的概念空間。 AM開始運(yùn)作時，知識庫中有115個有限集合論的基本概念。 AM在運(yùn)行時，收集概念的例子，創(chuàng)造新的概念，推測概念之間的聯(lián)系。 在一些CPU時間運(yùn)行中，發(fā)現(xiàn)了約200個新概念，其中約一半是有意義的。 例如自然數(shù)的概念。 另一個概念是自然數(shù)具有唯一的素數(shù)因子分解。 第三階段是從20世紀(jì)80年代以后到現(xiàn)在，神經(jīng)網(wǎng)絡(luò)研究新興起來，同時符號學(xué)習(xí)也轉(zhuǎn)向了具有專業(yè)知識的增長型學(xué)習(xí)，因此出現(xiàn)了兩種方法共同發(fā)展的局面。 這個階段的代表性的工作是PAC可學(xué)習(xí)理論和其派生的修正算學(xué)習(xí)理論等。 PAC使得能夠?qū)W習(xí)理論，并且假定x是實例空間，概念是x的子集。 實例若為概念則為正例，否則為負(fù)例

7、。 學(xué)習(xí)模式是概念類的有效可學(xué)習(xí)習(xí)性。 Valiant學(xué)習(xí)理論只是對目標(biāo)概念的良好近似要求極高的概率。 學(xué)習(xí)者能夠生成的概念描述與作為學(xué)習(xí)算法的輸入關(guān)殘奧詞的目標(biāo)概念稍有偏差。 另外，允許學(xué)習(xí)者失敗的概率，這也是輸入殘奧儀表。 兩個概念的差異用實例空間x中的分布概率d來評價： diffD(c1， c2)=D(x )，根據(jù)協(xié)議，只有在一個概念類c是可學(xué)習(xí)的并且有一個算法a的情況下，才能夠利用協(xié)議來將機(jī)器學(xué)習(xí)分成根據(jù)學(xué)習(xí)的特定目的(其代表所有目標(biāo)概念的c*C和所有分布d )的各種特定目的的學(xué)習(xí)有教師的學(xué)習(xí)，另外，3 .可以分為機(jī)器學(xué)習(xí)的分類標(biāo)準(zhǔn)，根據(jù)推論策略，機(jī)器學(xué)習(xí)又稱機(jī)器學(xué)習(xí)，又稱記憶學(xué)習(xí)，是

8、最簡單的學(xué)習(xí)策略。 傳授學(xué)習(xí)，又稱指導(dǎo)學(xué)習(xí)。 演繹學(xué)習(xí)是指根據(jù)系統(tǒng)所給出的知識進(jìn)行推論。 歸納學(xué)習(xí)是指使用歸納推理的方法進(jìn)行學(xué)習(xí)。 類推學(xué)習(xí)是指應(yīng)用以前解決類似問題的方法來解決目前面臨的問題。 在機(jī)器學(xué)習(xí)的過程中，每當(dāng)執(zhí)行機(jī)構(gòu)解決問題，系統(tǒng)就會記住這個問題及其解決方法。 以致動器為函數(shù)f，其輸入為(x1，x2，xn )，其解為(y1，y2，ym )，聯(lián)想對象為： (x1，x2，xn )，()的例如，考慮汽車修理成本估計系統(tǒng)的設(shè)定修正。 輸入的信息包括制造商、發(fā)貨日期、車型、汽車損壞的地方、損壞程度等，是有關(guān)要修理的汽車的說明。輸出是該汽車的修理成本。 為了進(jìn)行報價，系統(tǒng)必須在知識庫中找到同一廠

9、家、同一發(fā)貨日期、同一車型、同一損壞程度的汽車，并將相應(yīng)的數(shù)據(jù)作為修理成本輸出給用戶。 如果找不到，必須重新估計，同時入庫，以便將來檢索和使用。 機(jī)器學(xué)習(xí)系統(tǒng)要考慮的問題是，只有在記憶結(jié)構(gòu)基于知識的檢索時間比重新修正運(yùn)算所需的時間少時，機(jī)器學(xué)習(xí)才有實用價值。 為了快速訪問基于知識的內(nèi)容，需要合理地組織存儲結(jié)構(gòu)。 環(huán)境穩(wěn)定性和保存信息的適用性如果環(huán)境發(fā)生快速變化，保存的知識和信息將無效或無法再利用。隨時監(jiān)視環(huán)境的變化，不斷更新知識庫中保存的信息和知識。 存儲和校正的權(quán)衡利用還是重新校正存儲在知識庫中的信息權(quán)衡比較兩者的成本。 傳授式學(xué)習(xí)在使用傳授式學(xué)習(xí)系統(tǒng)時，外部環(huán)境給系統(tǒng)提供的一般指示和建議，其表現(xiàn)方式與系統(tǒng)內(nèi)部表現(xiàn)方式不完全一致，系統(tǒng)對外部知識進(jìn)行一些推論、翻