華工機(jī)器學(xué)習(xí)-導(dǎo)論課件

1機(jī)器學(xué)習(xí)概論

AnIntroductiontoMachineLearning金連文張鑫Lianwen.Jin@,

xin.zhangcn@機(jī)器學(xué)習(xí)及應(yīng)用MachineLearning&ItsApplicationWelcomeTo:1機(jī)器學(xué)習(xí)概論

AnIntroductiontoMac2Outline什么是機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的研究內(nèi)容及研究價(jià)值幾個(gè)典型的機(jī)器學(xué)習(xí)示例課程安排（教材，參考書等）相關(guān)國際著名學(xué)術(shù)會(huì)議及期刊、學(xué)術(shù)資源機(jī)器學(xué)習(xí)的發(fā)展簡史2Outline什么是機(jī)器學(xué)習(xí)3

一、什么是機(jī)器學(xué)習(xí)3一、什么是機(jī)器學(xué)習(xí)4學(xué)習(xí)的概念什么是學(xué)習(xí)？通過觀察、閱讀、聽講、研究、實(shí)踐等獲得知識(shí)或技能的過程?！稘h語詞典》“學(xué)”和“習(xí)”“學(xué)”就是聞、見，是獲得知識(shí)、技能?！傲?xí)”是鞏固知識(shí)、技能，一般有三種含義：溫習(xí)、實(shí)習(xí)、練習(xí)，有時(shí)還包括行的含義在內(nèi)?！皩W(xué)”偏重于思想意識(shí)的理論領(lǐng)域，“習(xí)”偏重于行動(dòng)實(shí)習(xí)的實(shí)踐方面。學(xué)習(xí)就是獲得知識(shí)，形成技能，培養(yǎng)聰明才智的過程。實(shí)質(zhì)上就是學(xué)、思、習(xí)、行的總稱。百度知道4學(xué)習(xí)的概念什么是學(xué)習(xí)？5學(xué)習(xí)的概念學(xué)習(xí)是一種既古老而又永恒的現(xiàn)象。不同的學(xué)習(xí)觀：“學(xué)習(xí)是指人和動(dòng)物在生活過程中獲得個(gè)體行為經(jīng)驗(yàn)的過程。”“學(xué)習(xí)是學(xué)習(xí)者吸取信息并輸出信息，通過反饋與評(píng)價(jià)得知正確與否的整體過程?！薄叭说膶W(xué)習(xí)是個(gè)體掌握人類社會(huì)經(jīng)驗(yàn)的過程”“學(xué)習(xí)是通過由經(jīng)驗(yàn)產(chǎn)生的個(gè)體行為的適應(yīng)性變化而表現(xiàn)出來的過程?！弊釉唬骸皩W(xué)而時(shí)習(xí)之,不亦說(yuè)乎?”5學(xué)習(xí)的概念學(xué)習(xí)是一種既古老而又永恒的現(xiàn)象。6學(xué)習(xí)與智能學(xué)習(xí)現(xiàn)象語言、文字的認(rèn)知識(shí)別圖像、場景、自然物體的認(rèn)知識(shí)別規(guī)則（eg下雨天要帶雨傘）復(fù)雜的推理、判斷能力（智能）好人與壞人？好貓與壞貓？數(shù)據(jù)知識(shí)認(rèn)知推理決策識(shí)別學(xué)習(xí)6學(xué)習(xí)與智能學(xué)習(xí)現(xiàn)象數(shù)據(jù)知識(shí)認(rèn)知學(xué)習(xí)7什么是機(jī)器學(xué)習(xí)？使得計(jì)算機(jī)具備和人類一樣的學(xué)習(xí)能力決策推理認(rèn)知識(shí)別……等智能給定數(shù)據(jù)（樣本、實(shí)例）和一定的學(xué)習(xí)規(guī)則，從數(shù)據(jù)中獲取知識(shí)的能力7什么是機(jī)器學(xué)習(xí)？使得計(jì)算機(jī)具備和人類一樣的學(xué)習(xí)能力8機(jī)器學(xué)習(xí)與人工智能自然智慧的偉大與奧妙舉例：嬰兒的認(rèn)知能力（聲音、人臉、汽車…）重要的二個(gè)特點(diǎn)：容錯(cuò)性，推廣能力（舉一反三）機(jī)器智能：希望用機(jī)器實(shí)現(xiàn)部分智能基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題（引自清華張學(xué)工教授講義）根據(jù)已知樣本估計(jì)數(shù)據(jù)之間的依賴關(guān)系，從而對(duì)未知或無法測(cè)量的數(shù)據(jù)進(jìn)行預(yù)測(cè)和判斷關(guān)鍵：推廣能力“Oneyear’sresearchinartificialintelligenesenoughforonetobelieveinGod”citedfrom?8機(jī)器學(xué)習(xí)與人工智能自然智慧的偉大與奧妙9什么是機(jī)器學(xué)習(xí)中科院王玨（jué）研究員給出的定義：令W是給定世界的有限或無限所有觀測(cè)對(duì)象的集合，由于我們的觀測(cè)能力有限，我們只能獲得這個(gè)世界的一個(gè)子集，稱為樣本集。機(jī)器學(xué)習(xí)就是根據(jù)這個(gè)樣本集，推算這個(gè)世界W的模型，使它對(duì)這個(gè)世界（盡可能地）為真。三個(gè)重要的理論問題：一致：W與Q有相同的性質(zhì)。eg.i.i.d劃分：設(shè)樣本定義于d維空間，要尋找在這個(gè)空間上的決策分界面泛化：（推廣能力）：對(duì)未知樣本的判斷能力9什么是機(jī)器學(xué)習(xí)中科院王玨（jué）研究員給出的定義：10What’sistheLearningProblem?Learning=ImprovingwithexperienceatsometaskImproveovertaskTWithrespecttoperformancemeasurementPBasedonexperienceEExample:中國象棋任務(wù)T：下中國象棋性能目標(biāo)P：比賽中擊敗對(duì)手（的百分比）訓(xùn)練經(jīng)驗(yàn)E：和自己進(jìn)行對(duì)弈，或者看棋譜Ref：《機(jī)器學(xué)習(xí)》（曾華軍等譯）10What’sistheLearningProbl11AAAI給的定義Machinelearningreferstoasystemcapableoftheautonomousacquisitionandintegrationofknowledge.Thiscapacitytolearnfromexperience,analyticalobservation,andothermeans,resultsinasystemthatcancontinuouslyself-improveandtherebyofferincreasedefficiencyandeffectiveness.

摘自：/AITopics/pmwiki/pmwiki.php/AITopics/MachineLearning11AAAI給的定義Machinelearningre12MachineLearning引用自CMUDr.EricXing的LectureNotes12MachineLearning引用自CMUDr.E13機(jī)器學(xué)習(xí)（ML）與模式識(shí)別（PR）MLhasoriginsinComputerSciencePRhasoriginsinEngineering某種意義上看：Theyaredifferentfacetsofthesamefield13機(jī)器學(xué)習(xí)（ML）與模式識(shí)別（PR）14機(jī)器學(xué)習(xí)（ML）與人工智能（AI）任何一個(gè)沒有學(xué)習(xí)能力的系統(tǒng)都很難被認(rèn)為是一個(gè)真正的智能系統(tǒng)14機(jī)器學(xué)習(xí)（ML）與人工智能（AI）任何一個(gè)沒有學(xué)習(xí)能力的15二、機(jī)器學(xué)習(xí)的研究意義及主要研究內(nèi)容15二、機(jī)器學(xué)習(xí)的研究意義及主要研究內(nèi)容16機(jī)器學(xué)習(xí)的重要性！《Science》2001年論文：…每個(gè)科學(xué)領(lǐng)域的科學(xué)過程都有它自己的特點(diǎn)，但是，觀察、創(chuàng)立假設(shè)、根據(jù)決定性實(shí)驗(yàn)或觀察的檢驗(yàn)、可理解檢驗(yàn)的模型或理論，是各個(gè)學(xué)科所共有的。對(duì)這個(gè)抽象的科學(xué)過程的每一個(gè)環(huán)節(jié)，機(jī)器學(xué)習(xí)都有相應(yīng)的發(fā)展，我們相信它將導(dǎo)致科學(xué)方法中從假設(shè)生成、模型構(gòu)造到?jīng)Q定性實(shí)驗(yàn)這些所有環(huán)節(jié)的合適的、部分的自動(dòng)化。當(dāng)前機(jī)器學(xué)習(xí)研究在一些基本論題上取得令人印象深刻的進(jìn)展，我們預(yù)期機(jī)器學(xué)習(xí)研究在今后若干年中將有穩(wěn)定的進(jìn)展！”在稍早前，2000年《Science》還發(fā)表了另外3篇ML方面的論文“TheManifoldWayofPerceptron”,“Aglobalgeometricframeworkfornonlineardimensionalityreduction”,”Nonlineardimensionalityreductionbylocally…”Mjolsness,DDeCoste,MachineLearningforScience:StateoftheArtandFutureProspects-Science,2001:2051-2055.

受到令人驚訝的重視！16機(jī)器學(xué)習(xí)的重要性！《Science》2001年論文：Mj17機(jī)器學(xué)習(xí)的重要性摘自南京大學(xué)周志華教授PPT17機(jī)器學(xué)習(xí)的重要性摘自南京大學(xué)周志華教授PPT18研究意義如果我們能發(fā)現(xiàn)有效的機(jī)器學(xué)習(xí)方法，利用它可以將觀察數(shù)據(jù)（現(xiàn)象）轉(zhuǎn)換為模型，這將一勞永逸的解決信息有效利用的難題！網(wǎng)絡(luò)數(shù)據(jù)金融數(shù)據(jù)生物數(shù)據(jù)氣象數(shù)據(jù)地震觀察數(shù)據(jù)自然物體分類識(shí)別數(shù)據(jù)…從而實(shí)現(xiàn)真正意義上的機(jī)器智能（電腦）18研究意義如果我們能發(fā)現(xiàn)有效的機(jī)器學(xué)習(xí)方法，利用它可以將觀19機(jī)器學(xué)習(xí)（ML）的目的Principledwayofbuildinghighperformanceinformationprocessingsystemssearchengines,adaptiveuserinterfaces,personalizedassistants,webbots,andscientificapplicationsfrommedicalrecords:treatmentsmosteffectiveHowtoconstructcomputerprogramsthatautomaticallyimprovewithexperience–houseslearntooptimizeenergycosts–computergamesProgrammingtasksthathumansperformwellbutdifficulttospecifyalgorithmically–LanguageRelatedTechnologies?IR,NLP,DAR,ASRChrisBishop,PatternRecognitionandMachineLearning,2007,Springer19機(jī)器學(xué)習(xí)（ML）的目的Principledwayof20ML的一種描述Definepreciselyaclassofproblemsthatformsinterestingformsoflearning,explorealgorithms/theorytosolvesuchproblems,understandfundamentalstructureoflearningproblemsandprocesses20ML的一種描述21WhyMachineLearningImportantformanyscientificfields21WhyMachineLearningImportan22相關(guān)學(xué)科對(duì)ML的影響人工智能：學(xué)習(xí)的概念符號(hào)表示Bayes方法統(tǒng)計(jì)學(xué)：統(tǒng)計(jì)學(xué)習(xí)理論(SLT)計(jì)算復(fù)雜性理論控制論信息論：最小描述長度哲學(xué)：“Occam’sRazor原則”，“沒有免費(fèi)午餐”心理學(xué)和神經(jīng)生物學(xué)：NeuralNetworks（神經(jīng)網(wǎng)絡(luò)）22相關(guān)學(xué)科對(duì)ML的影響人工智能：23機(jī)器學(xué)習(xí)所要解決的一些典型問題存在什么樣的算法能從特定的訓(xùn)練數(shù)據(jù)學(xué)習(xí)出一般的目標(biāo)函數(shù)（決策規(guī)則）？那種訓(xùn)練數(shù)據(jù)是充足的？如何保證學(xué)習(xí)的泛化（推廣）能力？如何引入先驗(yàn)知識(shí)？怎樣把學(xué)習(xí)任務(wù)簡化為一個(gè)或多個(gè)函數(shù)逼近問題？學(xué)習(xí)過程能自動(dòng)化嗎？學(xué)習(xí)機(jī)能自動(dòng)改變來提高表示和學(xué)習(xí)目標(biāo)函數(shù)的能力？23機(jī)器學(xué)習(xí)所要解決的一些典型問題存在什么樣的算法能從特定的24機(jī)器學(xué)習(xí)目前主要的一些研究領(lǐng)域符號(hào)機(jī)器學(xué)習(xí)Eg.決策樹，ID3，…計(jì)算學(xué)習(xí)理論（統(tǒng)計(jì)學(xué)習(xí)理論）PAC，SVM監(jiān)督學(xué)習(xí)，非監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)集群機(jī)器學(xué)習(xí)EnsembleLearning，Boosting流行（Manifold）學(xué)習(xí)強(qiáng)化學(xué)習(xí)Ranking學(xué)習(xí)聚類學(xué)習(xí)…24機(jī)器學(xué)習(xí)目前主要的一些研究領(lǐng)域符號(hào)機(jī)器學(xué)習(xí)25MachineLearningTopicsfromWiki/wiki/Machine_Learning25MachineLearningTopicsfrom26三、一些典型的機(jī)器學(xué)習(xí)問題舉例26三、一些典型的機(jī)器學(xué)習(xí)問題舉例27例子(1)：網(wǎng)絡(luò)安全摘自南京大學(xué)周志華教授PPT27例子(1)：網(wǎng)絡(luò)安全摘自南京大學(xué)周志華教授PPT28例子(2)：生物信息學(xué)（BioInformatics）摘自南京大學(xué)周志華教授PPT28例子(2)：生物信息學(xué)（BioInformatics）摘29例子(3)：搜索引擎摘自南京大學(xué)周志華教授PPT29例子(3)：搜索引擎摘自南京大學(xué)周志華教授PPT30例子（4）、機(jī)器人自動(dòng)駕駛學(xué)習(xí)30例子（4）、機(jī)器人自動(dòng)駕駛學(xué)習(xí)31Ref：《機(jī)器學(xué)習(xí)》（曾華軍等譯）31Ref：《機(jī)器學(xué)習(xí)》（曾華軍等譯）32例子（5）：手寫字符識(shí)別手寫數(shù)字樣本示例32例子（5）：手寫字符識(shí)別手寫數(shù)字樣本示例333334More例子引用自CMUDr.EricXing的LectureNotes34More例子引用自CMUDr.EricXing的35上述問題的ML解決方案35上述問題的ML解決方案36ML小結(jié)36ML小結(jié)37課程安排四、課程安排37課程安排四、課程安排38教學(xué)隊(duì)伍 主講：金連文博士,教授Email:lianwen.jin@

Web:/lianwen/

張鑫博士，講師Email:eexinzhang@38教學(xué)隊(duì)伍 主講：39課程考核方式小組課堂演講：40%平時(shí)課堂討論：10%期末報(bào)告：50%39課程考核方式課程目標(biāo)及安排課程目標(biāo)對(duì)機(jī)器學(xué)習(xí)的基本概念有較好的了解和理解培養(yǎng)針對(duì)特定問題的學(xué)習(xí)、歸納和總結(jié)的能力鍛煉團(tuán)隊(duì)合作精神和口頭表達(dá)能力課程安排教師主講3次機(jī)器學(xué)習(xí)的基本概念及典型方法學(xué)生分組介紹8-9個(gè)機(jī)器學(xué)習(xí)的基本模型及其應(yīng)用期末提交大作業(yè)（含文檔、程序、論文）40課程目標(biāo)及安排課程目標(biāo)40建議分組題目LinearModelforRegressionandClassification（基于線性模型的擬合及分類）NeuralNetwork（神經(jīng)網(wǎng)絡(luò)）DecisionTree（決策樹）SupportVectorMachine（支持向量機(jī)）Expectation-Maximization(EM)Algorithm（最大期望算法（EM）算法）HiddenMarkovModel（隱馬爾科夫模型）ClusteringAlgorithms(k-means,Fuzzy-c,GaussianMixturemodel)（聚類算法）AdaBoostAlgorithm（提升算法）ConditionalRandomField(CRM)（條件隨機(jī)場）Kernel-basedModel（核函數(shù)）ProbabilityGraphicModel（概率圖模型）41建議分組題目LinearModelforRegress建議演講提綱基本概念以及數(shù)學(xué)定義基本性質(zhì)及其物理意義具體算法應(yīng)用（詳細(xì)舉例講解）該算法與其他類似算法的分析比較可能的發(fā)展方向參考文獻(xiàn)42建議演講提綱基本概念以及數(shù)學(xué)定義4243五、學(xué)術(shù)資源43五、學(xué)術(shù)資源44教材及主要參考書教材：ChrisBishop,《PatternRecognitionandMachineLearning》,Springer2006.美湯姆.米歇爾著，曾華軍等譯《機(jī)器學(xué)習(xí)》，機(jī)械工業(yè)出版社，2003.主要參考書：R.O.Duda,P.E.Hart,D.G.Stork,《模式分類》（第2版），機(jī)械工業(yè)出版社，2007.I.H.Witten,E.Frank,《數(shù)據(jù)挖掘—實(shí)用機(jī)器學(xué)習(xí)技術(shù)》，機(jī)械工業(yè)出版社，2006李航，《統(tǒng)計(jì)學(xué)習(xí)方法》，清華大學(xué)出版社，201244教材及主要參考書教材：45學(xué)術(shù)期刊及國際會(huì)議摘自南京大學(xué)周志華教授PPT45學(xué)術(shù)期刊及國際會(huì)議摘自南京大學(xué)周志華教授PPT46一些網(wǎng)絡(luò)資源(1)

AAAIMachineLearningTopics：/AITopics/html/machine.html-SupportVectorMachines：/index.html

46一些網(wǎng)絡(luò)資源(1)http://machine-lea47一些網(wǎng)絡(luò)資源(2)/~tom/10701_sp11/lectures.shtmlMachineLearning(Spring2011)@CMUTomMitchellVideoLecture&SlidesMachineLearningResources:/~dwaha/research/machine-learning.html

47一些網(wǎng)絡(luò)資源(2)http://www.cs.cmu.e48一些網(wǎng)絡(luò)資源(3)Weka：DataMining(ML)softwareinJava:http://www.cs.waikato.ac.nz/ml/weka/

LibSVM--ALibraryforSupportVectorMachines：.tw/~cjlin/libsvmMLC++:/tech/mlc/:AlibraryofC++classesforsupervisedmachinelearningUCI-MachineLearninginformation,softwareanddatabases:/ml/48一些網(wǎng)絡(luò)資源(3)Weka：DataMining(M49一些網(wǎng)絡(luò)資源(4)KernalMachines://software/:MachineLearningOpenSourceSoftware.sg/home/aswduch/ai-ml.html

數(shù)據(jù)挖掘研究院：/49一些網(wǎng)絡(luò)資源(4)KernalMachines:h50一些網(wǎng)絡(luò)資源(5)/zhouzh/zhouzh.files/ai_resource/url.htm

/zhouzh/zhouzh.files/ai_resource/software.htm

IAPRPatternRecognitionEducationResources:http://homepages.inf.ed.ac.uk/rbf/IAPR//site/search/?q=machine+learning

Eg:/stanfordcs229f08_ng_lec01/50一些網(wǎng)絡(luò)資源(5).cMore網(wǎng)絡(luò)資源…?Youtellme!51More網(wǎng)絡(luò)資源…?Youtellme!5152六、機(jī)器學(xué)習(xí)簡要發(fā)展歷史回顧52六、機(jī)器學(xué)習(xí)簡要發(fā)展歷史回顧53ML的發(fā)展歷史(1)1950s：神經(jīng)科學(xué)的理論基礎(chǔ)James關(guān)于神經(jīng)元是相互連接的發(fā)現(xiàn)McCullon&Pitts的神經(jīng)元模型Hebb學(xué)習(xí)律（相互連接強(qiáng)弱度的變換規(guī)則）1960s：感知器（Perceptron）時(shí)代1957年Rosenblatt首次提出53ML的發(fā)展歷史(1)1950s：神經(jīng)科學(xué)的理論基礎(chǔ)54ML的發(fā)展歷史(2)1969年：《Perceptron》出版，提出著名的XOR問題1970s：符號(hào)主義，邏輯推理1980s：MLP+BP算法成功解決XOR問題，從此進(jìn)入神經(jīng)網(wǎng)絡(luò)時(shí)代（連接主義）1960s-1970s: