機(jī)器學(xué)習(xí)導(dǎo)論第1章

1、機(jī)器學(xué)習(xí)Machine Learning 課程考核方法 平時(shí)分（20分） 點(diǎn)名（10分） 一次不來(lái)扣3分 上機(jī)作業(yè)（30分） 期末考核（40分） 主要參考書(shū)目 機(jī)器學(xué)習(xí) Tom M. Mitchell著 曾華軍 張銀奎等譯 機(jī)器學(xué)習(xí)導(dǎo)論 Ethem Alpaydin著 范明 等譯 學(xué)時(shí)安排及上機(jī) 總學(xué)時(shí)54 （授課36 + 上機(jī) 18） 上機(jī)時(shí)間地點(diǎn)： 信息樓105 輔導(dǎo)答疑 周五3-4節(jié) 揚(yáng)帆樓503本課程主要內(nèi)容 監(jiān)督學(xué)習(xí) 分類(lèi) 回歸 隱馬爾可夫模型 貝葉斯網(wǎng)絡(luò) 決策樹(shù) 人工神經(jīng)網(wǎng)絡(luò) 貝葉斯學(xué)習(xí) 增強(qiáng)學(xué)習(xí)如何學(xué)習(xí)本門(mén)課程 本門(mén)課程注重了解和理解，為將來(lái)進(jìn)一步的深入學(xué)習(xí)打好基礎(chǔ)。 本門(mén)課程的

2、要求 掌握基本概念 了解機(jī)器學(xué)習(xí)方法的思想 掌握少數(shù)經(jīng)典算法，并能夠編程實(shí)現(xiàn) 多動(dòng)腦思考，積極活躍的課堂討論。第一章 緒論 什么是機(jī)器學(xué)習(xí)？ 機(jī)器學(xué)習(xí)的應(yīng)用實(shí)例 相關(guān)資源四個(gè)概念 人工智能（Artificial Intelligence） 智能計(jì)算（Intelligent Computing） 計(jì)算智能（Computational Intelligence） 機(jī)器學(xué)習(xí)（Machine Learning）智能 所以知之在人者，謂之知。知有所合，謂之智。所以能之在人者，謂之能。能有所合，謂之能。 荀況荀子正名智能學(xué)智能學(xué)： 即研究生物智能、人類(lèi)智能以及人造智能的科學(xué)。 21世紀(jì)的科學(xué)技術(shù)，已經(jīng)向我

3、們展示了一個(gè)豐富多彩的智能世界：人類(lèi)智能、生物智能、智能機(jī)器人、生物信息系統(tǒng)；人工智能、計(jì)算智能、機(jī)器學(xué)習(xí)、智能儀器、智能機(jī)器人、機(jī)器翻譯、人機(jī)對(duì)弈、人工生命、人工免疫系統(tǒng)、人造昆蟲(chóng)、機(jī)器人足球賽。計(jì)算 一切思維不過(guò)就是計(jì)算。 霍布斯 作為一般的智能行為，物質(zhì)符號(hào)系統(tǒng)具有的計(jì)算手段，既是必要的也是充分的。人類(lèi)認(rèn)知和智能活動(dòng)，經(jīng)編碼成符號(hào)系列，都可以通過(guò)計(jì)算機(jī)進(jìn)行模擬。 西蒙夢(mèng) 想 機(jī)器具有智能計(jì)算機(jī)科學(xué)家的夢(mèng)想 什么是智能？能感知、能學(xué)習(xí)、能思維、能記憶、能決策、能行動(dòng)，智能的核心是思維。 圖靈測(cè)試 怎樣判斷機(jī)器具有智能圖靈測(cè)試 19501950年年Alan TuringAlan Turing

4、的文章的文章 “Computing Machinery and Computing Machinery and Intelligence.Intelligence.” （MindMind, Vol. 59, No. 236, Vol. 59, No. 236）提出圖靈測(cè)試，檢驗(yàn)一）提出圖靈測(cè)試，檢驗(yàn)一臺(tái)機(jī)器或電腦是否具有如人一樣的思維能力和智能臺(tái)機(jī)器或電腦是否具有如人一樣的思維能力和智能 電腦和人分別封閉在不同的房間，測(cè)試者不知道哪個(gè)房間是人，哪個(gè)房間是電腦，他向雙方提出測(cè)試問(wèn)題，電腦和人給出各自的答案，如果一系列的測(cè)試問(wèn)題之后，測(cè)試者分不出哪些是電腦的答案，哪些是人的答案，則電腦通過(guò)測(cè)試，確

5、實(shí)具有與人一樣的智能。我是誰(shuí)？如實(shí)回答測(cè)試悖論 公平性問(wèn)題 圖靈測(cè)試的出發(fā)點(diǎn)顯然是刁難電腦，要求電腦模仿人回答問(wèn)題，公平嗎？反過(guò)來(lái)要求人模仿電腦回答問(wèn)題，公平嗎？ 標(biāo)準(zhǔn)性問(wèn)題 在怎樣的智能水平下對(duì)電腦進(jìn)行測(cè)試？天才、普通人還是嬰幼兒，或者說(shuō)怎樣認(rèn)定電腦的智力水平？ 全面性問(wèn)題 怎樣全面地測(cè)試電腦的智能，喜、怒、哀、樂(lè)和表情等有關(guān)情感的測(cè)試如何進(jìn)行？測(cè)試邊界怎樣確定？ 欺騙性問(wèn)題 電腦如果有意欺騙測(cè)試者，測(cè)試者能判斷出來(lái)嗎？ 在一定的范圍內(nèi)進(jìn)行測(cè)試還是可行的 困 惑 哲學(xué)問(wèn)題 （1）規(guī)則與規(guī)律：規(guī)則是制定的，規(guī)律是客觀(guān)存在的，從規(guī)則能自動(dòng)發(fā)現(xiàn)規(guī)律嗎？ （2）生命與非生命：智能是高等生命體獨(dú)有的能

6、力，非生命體內(nèi)能產(chǎn)生智能嗎？ （3）物質(zhì)與意識(shí)：唯物主義和唯心主義都承認(rèn)二元論，只是在何者起決定作用上爭(zhēng)論不休，智能能在機(jī)器內(nèi)產(chǎn)生將導(dǎo)致一元論物質(zhì)生成一切？ （4）智能的本質(zhì)：理性與感性、思考與行動(dòng)、社會(huì)性與個(gè)體性 倫理問(wèn)題 （1）電腦與人腦：能否互換？ （2）機(jī)器人與人：機(jī)器能否融入人類(lèi)社會(huì)？ （3）情感與役使：機(jī)器是人制造并使用的工具，一旦機(jī)器人具有了智能和情感，人類(lèi)還能當(dāng)奴隸一樣地役使嗎？ （4）機(jī)器人叛亂：機(jī)器人群體有可能叛亂而反過(guò)來(lái)役使人類(lèi)嗎？現(xiàn)實(shí) 比爾蓋茨預(yù)測(cè)：智能計(jì)算發(fā)展前景乃是機(jī)器最終“能看會(huì)想，能聽(tīng)會(huì)講”。 無(wú)論是人工智能，還是智能人工，只要能夠殊途同歸，造福于人類(lèi)，那么所有

7、的努力便都是有價(jià)值的。 未來(lái)，智能機(jī)器作為真正意義上的工作助手和生活良伴，將使我們的生活完全改觀(guān)。 “聰明機(jī)器”的出現(xiàn)，也決不會(huì)成為人類(lèi)的災(zāi)難，在智慧與創(chuàng)造力方面，永遠(yuǎn)是人類(lèi)最有發(fā)言權(quán)。什么是智能計(jì)算 智能計(jì)算（Computational Intelligence，CI）目前還沒(méi)有一個(gè)統(tǒng)一的的定義，使用較多的是美國(guó)科學(xué)家貝慈德克（J.C.Bezdek）從智能計(jì)算系統(tǒng)角度所給出的定義: 如果一個(gè)系統(tǒng)僅處理低層的數(shù)值數(shù)據(jù)，含有模式識(shí)別部件，沒(méi)有使用人工智能意義上的知識(shí)，且具有計(jì)算適應(yīng)性、計(jì)算容錯(cuò)力、接近人的計(jì)算速度和近似于人的誤差率這4個(gè)特性，則它是智能計(jì)算的。 從學(xué)科范疇看，智能計(jì)算是在神經(jīng)網(wǎng)絡(luò)

8、（Neural Networks,NN）、演化計(jì)算（Evolutionary Computation,EC）及模糊系統(tǒng)（Fuzzy System,FS）這3個(gè)領(lǐng)域發(fā)展相對(duì)成熟的基礎(chǔ)上形成的一個(gè)統(tǒng)一的學(xué)科概念。 智能計(jì)算的產(chǎn)生與發(fā)展1992年，貝慈德克在Approximate Reasoning學(xué)報(bào)上首次 提出了“智能計(jì)算”的概念。1994年6月底到7月初，IEEE在美國(guó)佛羅里達(dá)州的奧蘭多市召開(kāi)了首屆國(guó)際智能計(jì)算大會(huì)(簡(jiǎn)稱(chēng)WCCI94)。會(huì)議第一次將神經(jīng)網(wǎng)絡(luò)、演化計(jì)算和模糊系統(tǒng)這三個(gè)領(lǐng)域合并在一起，形成了“智能計(jì)算”這個(gè)統(tǒng)一的學(xué)科范疇。在此之后，WCCI大會(huì)就成了IEEE的一個(gè)系列性學(xué)術(shù)會(huì)議，每

9、4年舉辦一次。1998年5月，在美國(guó)阿拉斯加州的安克雷奇市又召開(kāi)了第2屆智能計(jì)算國(guó)際會(huì)議WCCI98。2002年5月，在美國(guó)州夏威夷州首府火奴魯魯市又召開(kāi)了第3屆智能計(jì)算國(guó)際會(huì)議WCCI02。此外，IEEE還出版了一些與智能計(jì)算有關(guān)的刊物。目前，智能計(jì)算的發(fā)展得到了國(guó)內(nèi)外眾多的學(xué)術(shù)組織和研究機(jī)構(gòu)的高度重視，并已成為智能科學(xué)技術(shù)一個(gè)重要的研究領(lǐng)域。什么是機(jī)器學(xué)習(xí)？ 計(jì)算機(jī)技術(shù)的發(fā)展 海量數(shù)據(jù)（存儲(chǔ)和處理的能力） 計(jì)算機(jī)網(wǎng)絡(luò)（遠(yuǎn)程訪(fǎng)問(wèn)數(shù)據(jù)的能力） 例如： 連鎖超市遍布全國(guó)各地，商品上千種，顧客數(shù)百萬(wàn)。 銷(xiāo)售終端記錄每筆交易的詳細(xì)資料，包括日期，購(gòu)買(mǎi)商品和數(shù)量、銷(xiāo)售價(jià)格和總額，顧客標(biāo)識(shí)碼等。什么是機(jī)

10、器學(xué)習(xí)？ 我們不能確切的知道哪些人比較傾向于購(gòu)買(mǎi)哪些特定的商品，也不知道應(yīng)該向喜歡看電影的人推薦哪些電影。 我們已經(jīng)掌握的，就是歷史的數(shù)據(jù)（經(jīng)驗(yàn)）。 我們期望從數(shù)據(jù)中提取出這些問(wèn)題或相似問(wèn)題的答案。什么是機(jī)器學(xué)習(xí)？ 已經(jīng)觀(guān)測(cè)到的數(shù)據(jù)產(chǎn)生是隨機(jī)的么？其中是否隱含一些規(guī)律？ 當(dāng)你去超市買(mǎi)面包的時(shí)候，你是不是同時(shí)也會(huì)買(mǎi)點(diǎn)牛奶？ 夏天的時(shí)候你是不是經(jīng)常買(mǎi)雪糕？冬天則很少？ 數(shù)據(jù)中存在一些確定的模式或規(guī)律！什么是機(jī)器學(xué)習(xí)？ 機(jī)器學(xué)習(xí)？ 從歷史數(shù)據(jù)中，發(fā)現(xiàn)某些模式或規(guī)律（描述） 利用發(fā)現(xiàn)的模式和規(guī)律進(jìn)行預(yù)測(cè) 機(jī)器學(xué)習(xí)的定義 基于歷史經(jīng)驗(yàn)的，描述和預(yù)測(cè)的理論、方法和算法。 機(jī)器學(xué)習(xí)可行性的保證 將來(lái)，至少是

11、不遠(yuǎn)的將來(lái)，情況不會(huì)與收集的樣本數(shù)據(jù)時(shí)有很大的不同，因此未來(lái)的預(yù)測(cè)也將有望是正確的。機(jī)器學(xué)習(xí)能做什么？ 機(jī)器學(xué)習(xí)方法在大型數(shù)據(jù)庫(kù)中的應(yīng)用被稱(chēng)為數(shù)據(jù)挖掘（Data Mining）。 大量的金屬氧化物以及原料從礦山開(kāi)采出來(lái)，處理后產(chǎn)生少量的珍貴物質(zhì)。數(shù)據(jù)挖掘中，需要處理大量的數(shù)據(jù)以構(gòu)建簡(jiǎn)單有用的模型，例如高精度的預(yù)測(cè)模型。 應(yīng)用舉例 零售業(yè)，銀行，金融業(yè)，構(gòu)建信用分析、詐騙檢測(cè)、股票市場(chǎng)； 制造業(yè)，優(yōu)化、控制、故障檢測(cè)； 醫(yī)學(xué)領(lǐng)域，醫(yī)療診斷； 電信行業(yè)，通話(huà)模式的分析可用于網(wǎng)絡(luò)優(yōu)化和提高服務(wù)質(zhì)量。 萬(wàn)維網(wǎng)上檢索信息。機(jī)器學(xué)習(xí)能做什么？ 機(jī)器學(xué)習(xí)也是人工智能的組成部分。 授予魚(yú)不如授予漁 為了智能化

12、，處于變化環(huán)境中的系統(tǒng)不需具備學(xué)習(xí)能力。如果系統(tǒng)能夠?qū)W習(xí)并且適應(yīng)這些變化，那么系統(tǒng)設(shè)計(jì)者就不必預(yù)見(jiàn)所有情況，并為它們提供解決方案了。機(jī)器學(xué)習(xí)能做什么？ 機(jī)器學(xué)習(xí)還可以解決視覺(jué)、語(yǔ)音識(shí)別以及機(jī)器人方面的許多問(wèn)題。 模式識(shí)別 圖像和音頻的獲得很容易，機(jī)器如何做到識(shí)別？讓機(jī)器人識(shí)別人臉？辨別聲音？ 一個(gè)圖像并非是像素點(diǎn)的隨機(jī)組合，人臉是有結(jié)構(gòu)、對(duì)稱(chēng)的。人臉上的器官是有組合模式的。 通過(guò)分析一個(gè)人的臉部圖像的多個(gè)樣本，學(xué)習(xí)程序是可以捕獲到那個(gè)人特有的模式。然后進(jìn)行辨認(rèn)。深入理解機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)使用實(shí)例數(shù)據(jù)或過(guò)去的經(jīng)驗(yàn)來(lái)訓(xùn)練計(jì)算機(jī)，以?xún)?yōu)化某種性能指標(biāo)。 例如，依賴(lài)于某種參數(shù)的模型，學(xué)習(xí)過(guò)程就是執(zhí)行計(jì)算

13、機(jī)程序，利用訓(xùn)練數(shù)據(jù)或以往的經(jīng)驗(yàn)來(lái)優(yōu)化該模型的參數(shù)。 學(xué)習(xí)模型可以是預(yù)測(cè)的，用于預(yù)測(cè)未來(lái)?；蛘呤敲枋龅模糜趶臄?shù)據(jù)中獲取知識(shí)。也可以二者兼?zhèn)洹?機(jī)器學(xué)習(xí)在構(gòu)建數(shù)學(xué)模型是利用統(tǒng)計(jì)學(xué)理論，其核心任務(wù)是從樣本中推理。 訓(xùn)練過(guò)程中，面對(duì)海量數(shù)據(jù)，需要高效的算法。 表示和推理的算法也必須是高效的。 因此，時(shí)間復(fù)雜度，空間復(fù)雜度和預(yù)測(cè)精確度三者缺一因此，時(shí)間復(fù)雜度，空間復(fù)雜度和預(yù)測(cè)精確度三者缺一不可。不可。機(jī)器學(xué)習(xí)應(yīng)用舉例 學(xué)習(xí)關(guān)聯(lián)性 分類(lèi) 回歸 非監(jiān)督學(xué)習(xí) 增強(qiáng)學(xué)習(xí)學(xué)習(xí)關(guān)聯(lián)性 在零售業(yè)，例如超市連鎖店，機(jī)器學(xué)習(xí)的一個(gè)應(yīng)用就是購(gòu)物籃分析。它的任務(wù)是發(fā)現(xiàn)顧客所購(gòu)商品之間的關(guān)聯(lián)性：如果顧客購(gòu)買(mǎi)商品X時(shí)通常也購(gòu)

14、買(mǎi)商品Y，而一名顧客購(gòu)買(mǎi)商品X卻沒(méi)有購(gòu)買(mǎi)商品Y，則他是商品Y的潛在顧客，一旦發(fā)現(xiàn)這類(lèi)顧客，可以實(shí)行打包銷(xiāo)售策略。 關(guān)聯(lián)規(guī)則1：條件概率P（Y|X） 例如從以往數(shù)據(jù)中統(tǒng)計(jì)出P（牛奶|面包）=0.8 關(guān)聯(lián)規(guī)則2：估計(jì)P（Y|X， D）其中D是顧客的一組屬性，如性別、年齡、婚姻狀況等，例如網(wǎng)上書(shū)店，將分析的結(jié)果概率比較大的書(shū)Y，推薦給符合某屬性的用戶(hù)。分類(lèi) 信貸是金融機(jī)構(gòu)（例如銀行）借出的一筆錢(qián)，需要連本帶息分期償還。對(duì)于銀行來(lái)說(shuō)，重要的是能夠提前預(yù)測(cè)貸款風(fēng)險(xiǎn)。風(fēng)險(xiǎn)指的是客戶(hù)不履行義務(wù)和不全額還款的可能性。既要保證銀行獲利，又要確保不會(huì)因提供超出客戶(hù)財(cái)力的貸款而給客戶(hù)帶來(lái)不便和銀行的損失。在信用評(píng)分

15、中，銀行要計(jì)算在給定信貸額度和客戶(hù)信息情況下的風(fēng)險(xiǎn)。客戶(hù)信息包括可以獲取的數(shù)據(jù)，以及客戶(hù)財(cái)力相關(guān)的數(shù)據(jù)，即收入、存款、擔(dān)保、職業(yè)、年齡、以往經(jīng)濟(jì)記錄等。通過(guò)這些申請(qǐng)數(shù)據(jù)，我們可以推斷出一般規(guī)則，表示客戶(hù)屬性及風(fēng)險(xiǎn)的相關(guān)性。從而將客戶(hù)分為低風(fēng)險(xiǎn)客戶(hù)和高風(fēng)險(xiǎn)客戶(hù)。新的客戶(hù)申請(qǐng)數(shù)據(jù)作為分類(lèi)器的輸入，分類(lèi)器將該客戶(hù)輸入指派到某一個(gè)類(lèi)中。 得到的規(guī)則：if income x and savings y then low-risk else high-risk分類(lèi)思考1 在某些情況下，我們可能不希望1/0（高風(fēng)險(xiǎn)/低風(fēng)險(xiǎn)）類(lèi)型的判斷，而是希望計(jì)算一個(gè)風(fēng)險(xiǎn)概率值。該如何用概率模型表達(dá)？ 概率值P（Y|X），

16、X是顧客屬性，Y是0或1，表示低風(fēng)險(xiǎn)和高風(fēng)險(xiǎn)。 例如給定客戶(hù)屬性x，P（Y=1|X=x）= 0.8, 表示客戶(hù)高風(fēng)險(xiǎn)的可能性是80%。分類(lèi)-模式識(shí)別（Pattern Recogniition） 光學(xué)字符識(shí)別(Optical character recognition) 圖像字符 文本識(shí)別 Its rainy outside. 人臉識(shí)別（face recognition） 語(yǔ)音識(shí)別 (speech recognition) 醫(yī)學(xué)診斷 (medical diagnosis)回歸（Regression） 假如我們想要一個(gè)能夠預(yù)測(cè)二手車(chē)價(jià)格的系統(tǒng)，輸入為會(huì)影響車(chē)價(jià)格的屬性：品牌，車(chē)齡，發(fā)動(dòng)機(jī)性能，里程

17、以及其他信息，輸出為車(chē)的價(jià)格。 設(shè)x表示車(chē)的屬性，y表示車(chē)的價(jià)格。機(jī)器學(xué)習(xí)采用函數(shù)擬合來(lái)學(xué)習(xí)x的函數(shù)y。(1) y = w1 x * w0 線(xiàn)性回歸(2) y = w2x2+w1 x * w0 非線(xiàn)性回歸回歸（Regression） 思考2： 多屬性如何回歸？思考3 回歸和分類(lèi)的共同點(diǎn)是什么？監(jiān)督學(xué)習(xí)（supervised learning） 回歸和分類(lèi)均為監(jiān)督學(xué)習(xí)問(wèn)題 即，輸入x和輸入y都是給定的，任務(wù)是學(xué)習(xí)從輸出到輸入的映射：y = g （x|）其中是模型參數(shù)。 回歸y 取值是連續(xù)的（數(shù)值），而分類(lèi)是離散的。非監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí)中，輸出的正確值是由指導(dǎo)者提供的。而非監(jiān)督學(xué)習(xí)中，卻沒(méi)有這樣的

18、指導(dǎo)者，只有輸入數(shù)據(jù)。 非監(jiān)督學(xué)習(xí)的目標(biāo)是發(fā)現(xiàn)輸入數(shù)據(jù)中的規(guī)律。 輸入空間存在著某種結(jié)構(gòu)，似的特定的模式比其他模式更常出現(xiàn)，我們希望知道的是哪些經(jīng)常發(fā)生，那些不經(jīng)常發(fā)生。在統(tǒng)計(jì)學(xué)中，這被稱(chēng)為密度估計(jì)（density estimation）。聚類(lèi)（Clustering） 聚類(lèi)是密度估計(jì)的一種方法，其目標(biāo)是發(fā)現(xiàn)輸入數(shù)據(jù)的簇或者分組。 公司的客戶(hù)數(shù)據(jù) 了解客戶(hù)的分布 分組指導(dǎo)公司的決策生物信息學(xué)（Bioinformatics）的應(yīng)用 生物方面 基因, DNA是堿基A C G T 的序列，RNA有DNA轉(zhuǎn)錄而來(lái)，蛋白質(zhì)由RNA轉(zhuǎn)錄而來(lái)。 DNA是堿基序列，蛋白質(zhì)是氨基酸序列。 信息學(xué)方面 比對(duì)（ali

19、gnment） 結(jié)構(gòu)域（motif）蛋白質(zhì)中反復(fù)出現(xiàn)的氨基酸序列，其序列結(jié)構(gòu)表征結(jié)構(gòu)和功能，如單雙眼皮，遺傳病等。 氨基酸是字母，蛋白質(zhì)是句子，那么motif就是單詞。增強(qiáng)學(xué)習(xí)（Reinforcement learning） 在某些應(yīng)用中，系統(tǒng)的輸出是動(dòng)作的序列。在這種情況下，單個(gè)動(dòng)作并不重要，重要的是策略，即到達(dá)目標(biāo)的正確動(dòng)作序列。 機(jī)器學(xué)習(xí)程序應(yīng)當(dāng)能夠評(píng)估策略的好壞程度，從以往好的動(dòng)作序列中學(xué)習(xí)，以便能產(chǎn)生策略。這種學(xué)習(xí)方法稱(chēng)為增強(qiáng)學(xué)習(xí)方法。 人機(jī)對(duì)弈方面：例如棋牌類(lèi)游戲，國(guó)際象棋，圍棋等，每一步的規(guī)則只有少量幾條，如何設(shè)計(jì)步驟的序列才是關(guān)鍵。 機(jī)器人導(dǎo)航方面，例如機(jī)器人足球。總結(jié)機(jī)器學(xué)習(xí)方法的種類(lèi) 監(jiān)督學(xué)習(xí) 非監(jiān)督學(xué)習(xí) 增強(qiáng)學(xué)習(xí)相關(guān)資源期刊：Machine LearningJournal of Machine Learning Research Neural Computation Neural Networks IEEE Transactions on Neural Networks Data