南京大學(xué)周志華老師的一個(gè)講普適機(jī)器學(xué)習(xí)的名師優(yōu)質(zhì)課賽課一等獎(jiǎng)市公開課獲獎(jiǎng)?wù)n件

普適機(jī)器學(xué)習(xí)(PervasiveMachineLearning)周志華/people/zhouzh/Email:zhouzh@南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)試驗(yàn)室第1頁機(jī)器學(xué)習(xí)是人工智能關(guān)鍵研究領(lǐng)域之一任何一個(gè)沒有學(xué)習(xí)能力系統(tǒng)都極難被認(rèn)為是一個(gè)真正智能系統(tǒng)經(jīng)典定義：利用經(jīng)驗(yàn)改進(jìn)系統(tǒng)本身性能伴隨該領(lǐng)域發(fā)展，主要做智能數(shù)據(jù)分析并已成為智能數(shù)據(jù)分析技術(shù)源泉之一經(jīng)典任務(wù)：預(yù)測(cè)（比如：天氣預(yù)報(bào)）機(jī)器學(xué)習(xí)第2頁數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)機(jī)器學(xué)習(xí)數(shù)據(jù)分析技術(shù)數(shù)據(jù)管理技術(shù)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘第3頁美國(guó)航空航天局JPL試驗(yàn)室科學(xué)家在《Science》（年9月）上撰文指出：機(jī)器學(xué)習(xí)對(duì)科學(xué)研究整個(gè)過程正起到越來越大支持作用，……，該領(lǐng)域在今后若干年內(nèi)將取得穩(wěn)定而快速發(fā)展生物信息學(xué)計(jì)算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)……工業(yè)過程控制機(jī)器人……遙感信息處理信息安全機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)主要性第4頁美國(guó)航空航天局JPL試驗(yàn)室科學(xué)家在《Science》（年9月）上撰文指出：機(jī)器學(xué)習(xí)對(duì)科學(xué)研究整個(gè)過程正起到越來越大支持作用，……，該領(lǐng)域在今后若干年內(nèi)將取得穩(wěn)定而快速發(fā)展機(jī)器學(xué)習(xí)主要性第5頁入侵檢測(cè)：是否是入侵？是何種入侵？怎樣檢測(cè)？歷史數(shù)據(jù)：以往正常訪問模式及其表現(xiàn)、以往入侵模式及其表現(xiàn)……對(duì)當(dāng)前訪問模式分類這是一個(gè)經(jīng)典機(jī)器學(xué)習(xí)問題慣用技術(shù)：神經(jīng)網(wǎng)絡(luò)決議樹支持向量機(jī)貝葉斯分類器k近鄰序列分析聚類…………例子1：網(wǎng)絡(luò)安全第6頁慣用技術(shù)：神經(jīng)網(wǎng)絡(luò)支持向量機(jī)隱馬爾可夫模型貝葉斯分類器k近鄰決議樹序列分析聚類…………例子2：生物信息學(xué)第7頁例子3：搜索引擎Google成功，使得Internet搜索引擎成為一個(gè)新興產(chǎn)業(yè)不但有眾多專營(yíng)搜索引擎企業(yè)出現(xiàn)（比如專門針對(duì)漢字搜索就有慧聰、baidu等），而且Microsoft等巨頭也開始投入巨款進(jìn)行研發(fā)Google掘到第一桶金，起源于其創(chuàng)始人LarryPage和SergeyBrin提出PageRank算法機(jī)器學(xué)習(xí)技術(shù)正在支撐著各類搜索引擎（尤其是貝葉斯學(xué)習(xí)技術(shù)）第8頁美國(guó)PAL計(jì)劃DARPA年開始開啟PAL（PerceptiveAssistantthatLearns）計(jì)劃5年期，首期（1-1.5年）投資2千9百萬美元以機(jī)器學(xué)習(xí)為關(guān)鍵計(jì)劃（包括到AI其它分支，如知識(shí)表示和推理、自然語言處理等）；包含2個(gè)子計(jì)劃目標(biāo)：“isexpectedtoyieldnewtechnologyofsignificantvaluetothemilitary,business,andacademicsectors”“developsoftwarethatwillhelpdecision-makersmanagetheircomplexworldsofmultiplesimultaneoustasksandunexpectedevents”第9頁RADAR(ReflectiveAgentswithDistributedAdaptiveReasoning)，負(fù)擔(dān)單位為CMU，首期7百萬美元目標(biāo)：“thesystemwillhelpbusymanagerstocopewithtime-consumingtasks”“RADARmustlearnbyinteractingwithitshumanmasterandbyacceptingexplicitadviceandinstruction”美國(guó)PAL計(jì)劃：RADAR子計(jì)劃第10頁CALO(CognitiveAgentthatLearnsandObserves)，負(fù)擔(dān)單位為SRI，首期2千2百萬美元除SRI外，這個(gè)子計(jì)劃參加單位有20家：Boeing,CMU,DejimaInc.,FetchTechInc.,GATech,MIT,OregonHSU,Stanford,SUNY-StonyBrook,UCBerkeley,UMass,UMich,UPenn,Rochester,USC,UTAustin,UW,Yale,…CALO無疑是PAL中更關(guān)鍵部分美國(guó)PAL計(jì)劃：CALO子計(jì)劃(1)第11頁美國(guó)PAL計(jì)劃：CALO子計(jì)劃(2)目標(biāo)：“thenameCALOwasinspiredbytheLatinword‘calonis’,whichmeans‘soldier’sassistant’”

“theCALOsoftware,whichwilllearnbyworkingwithandbeingadvisedbyitsusers,willhandleabroadrangeofinterrelateddecision-makingtasks…Itwillhavethecapabilitytoengageinandcarryoutroutinetasks,andtoassistwhentheunexpectedhappens”從CALO目標(biāo)來看，DARPA已經(jīng)開始把機(jī)器學(xué)習(xí)技術(shù)主要性放到了國(guó)家安全角度來考慮第12頁美國(guó)PAL計(jì)劃：CALO子計(jì)劃(3)第13頁歷史回顧(1)下述事件（大致）標(biāo)志著機(jī)器學(xué)習(xí)正式成為一個(gè)學(xué)科1983年，R.S.Michalski等人撰寫《機(jī)器學(xué)習(xí)：通往人工智能路徑》一書1986年，MachineLearning雜志創(chuàng)刊與人工智能乃至計(jì)算機(jī)科學(xué)中很多其它分支學(xué)科相比，機(jī)器學(xué)習(xí)還非常年輕、很不成熟以TomMitchell經(jīng)典教科書（McGrawHill出版社，1997）為例，極難看到基礎(chǔ)學(xué)科（比如數(shù)學(xué)、物理學(xué)）教科書中那種貫通一直體系，可能會(huì)讓人感到這不過是不一樣方法和技術(shù)堆砌第14頁歷史回顧(2)主要范式發(fā)展：80年代中葉以前：符號(hào)主義，代表：ILP受到傳統(tǒng)人工智能研究深刻影響，以邏輯推理為基礎(chǔ)80年代中葉至90年代初：連接主義，代表：NN對(duì)傳統(tǒng)人工智能批評(píng)：“看上去漂亮，但處理不了實(shí)際問題”對(duì)上述批評(píng)，AI不一樣分支學(xué)科實(shí)際上都做出了自己回應(yīng)，ML回應(yīng)是連接主義受到重視NN并不漂亮（最少在理論體系上遠(yuǎn)遠(yuǎn)沒有ILP那么漂亮），但處理了很多實(shí)際問題第15頁歷史回顧(3)90年代中葉至今：統(tǒng)計(jì)學(xué)習(xí)，代表：SVMNN即使處理了不少問題，但處理問題時(shí)“試錯(cuò)性”引來了“trick”批評(píng)作為回應(yīng)，統(tǒng)計(jì)學(xué)習(xí)開始占據(jù)支配地位。即使SVM依然有“試錯(cuò)性”，但畢竟在理論基礎(chǔ)上比NN漂亮得多（實(shí)際上，統(tǒng)計(jì)學(xué)習(xí)與連接主義一脈相承）現(xiàn)在：？統(tǒng)計(jì)學(xué)習(xí)并不是萬能，有很多問題不能處理（或不能很好地處理），比如結(jié)構(gòu)化數(shù)據(jù)學(xué)習(xí)作為回應(yīng)，以邏輯為基礎(chǔ)符號(hào)主義與統(tǒng)計(jì)學(xué)習(xí)結(jié)合開始受到重視第16頁從主要范式發(fā)展能夠看出，ML實(shí)際上是一個(gè)應(yīng)用驅(qū)動(dòng)學(xué)科，其根本驅(qū)動(dòng)力是“更多、更加好地處理實(shí)際問題”因?yàn)榻w速發(fā)展，機(jī)器學(xué)習(xí)已經(jīng)具備了一定處理實(shí)際問題能力，似乎逐步開始成為一個(gè)基礎(chǔ)性、透明化“支持技術(shù)、服務(wù)技術(shù)”基礎(chǔ)性：在眾多學(xué)科領(lǐng)域都得以應(yīng)用（“無所不在”）透明化：用戶看不見機(jī)器學(xué)習(xí)，看見是防火墻、生物信息、搜索引擎；（“無所不在”）“機(jī)器更加好用了”(正如CALO一些描述：“youwon’tleavehomewithoutit”；”embodiedasasoftwareenvironmentthattranscendsworkstations,PDA’s,cellphones,…”)似乎趨勢(shì)—“普適機(jī)器學(xué)習(xí)”第17頁作為支持和服務(wù)技術(shù)“普適機(jī)器學(xué)習(xí)”帶來了挑戰(zhàn)和機(jī)遇：出現(xiàn)了很多被傳統(tǒng)ML研究忽略、但非常主要且尚無好處理方案問題（下面將以醫(yī)療和金融為代表來舉幾個(gè)例子）ML支持和服務(wù)學(xué)科領(lǐng)域越多，新問題越多ML與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，而交叉領(lǐng)域正是大有可為處挑戰(zhàn)與機(jī)遇第18頁醫(yī)療：以乳腺癌診療為例，“將病人誤診為健康人代價(jià)”與“將健康人誤診為病人代價(jià)”是不一樣金融：以信用卡盜用檢測(cè)為例，“將盜用誤認(rèn)為正常使用代價(jià)”與“將正常使用誤認(rèn)為盜用代價(jià)”是不一樣傳統(tǒng)ML技術(shù)基本上只考慮同一代價(jià)怎樣處理代價(jià)敏感性？在教科書中找不到現(xiàn)成答案，比如：TomMitchell,MachineLearning,McGraw-Hill,1997NilsJ.Nilsson,IntroductiontoMachineLearning,draft1996-例子1：代價(jià)敏感第19頁醫(yī)療：以乳腺癌診療為例，“健康人”樣本遠(yuǎn)遠(yuǎn)多于“病人”樣本金融：以信用卡盜用檢測(cè)為例，“正常使用”樣本遠(yuǎn)遠(yuǎn)多于“被盜用”樣本傳統(tǒng)ML技術(shù)基本上只考慮平衡數(shù)據(jù)怎樣處理數(shù)據(jù)不平衡性？在教科書中找不到現(xiàn)成答案例子2：不平衡數(shù)據(jù)第20頁醫(yī)療：以乳腺癌診療為例，需要向病人解釋“為何做出這么診療”金融：以信用卡盜用檢測(cè)為例，需要向保安部門解釋“為何這是正在被盜用卡”傳統(tǒng)ML技術(shù)基本上只考慮泛化不考慮了解怎樣處理可了解性？在教科書中找不到現(xiàn)成答案例子3：可了解第21頁走向普適機(jī)器學(xué)習(xí)把機(jī)器學(xué)習(xí)真正當(dāng)成一種支持技術(shù)、服務(wù)技術(shù)，考慮不一樣學(xué)科領(lǐng)域?qū)C(jī)器學(xué)習(xí)需求，找出其中具有共性、必須解決問題，并進(jìn)而著手研究一方面可以促進(jìn)和豐富ML本身發(fā)展，其次可以促進(jìn)使用ML技術(shù)學(xué)科領(lǐng)域本身發(fā)展作為“應(yīng)用基礎(chǔ)”，與“ML應(yīng)用”有根本區(qū)別：基礎(chǔ)性：不是直接做應(yīng)用，而是做“更廣泛應(yīng)用”或“更成功應(yīng)用”所需要方法和技術(shù)廣泛性：重點(diǎn)不是去解決單一應(yīng)用所面臨問題，而是要解決眾多應(yīng)用領(lǐng)域所面臨共性問題第22頁致謝應(yīng)明生教授：與基礎(chǔ)科學(xué)教科書比較王玨教授：屢次富有啟發(fā)性討論第23頁請(qǐng)各位教授批評(píng)指正!第24頁SQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnligda8520)*$ZXUSPMKHECzxurpmkhec9641+(%!YWTQOLIGDByvtqoligda8530)*$#XUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!YWTROLJGEBywtqoljgdb8630-*$#XVSPNKIFCAxuspnkhfca742+(&!ZWTROMJGEBywtroljgeb8630-*%#XVSQNKIFCAxvspnkifca742+)&!ZWUROMJGEBzwtromjgeb8631-*%#YVSQNKIFDAxvsqnkifca752+)&$ZWUROMJHEBzwuromjgeb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnlifda8520)*$ZXURPMKHECzxurpmjhec9641+(%!YVTQOLIGDByvtqnligda8530)*$ZXUSPMKHFCzxurpmkhec9741+(%!YWTQOLJGDByvtqoligdb8530)*$#XUSPNKHFCzxuspmkhfc9741+(&!YWTROLJGDBywtqoljgdb8530-*$#XVSPNKHFCAxuspnkhfc9742+(&!ZWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#YVSQNKIFDAxvsqnkifca752+)&$ZWUROMJHEBzwuromjgeb9631-(%#YVSQNLIFDAyvsqnkifda7520)&$ZWURPMJHECzwuromjheb9641-(%#YVTQNLIGDAyvsqnlifda8520)&$ZXURPMKHECzwurpmjhec9641-(%!YVTQOLIGDAyvtqnligda8520)*$ZXUSPMKHECzxurpmkhec9641+(%!YWTQOLIGDByvtqoligda8530)*$#XUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!YWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#XVSQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnhfc9742+(&!ZWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtromjgeb8631-*%#YVSQNKIFDAxvsqnkifca752+)&$ZWUROMJHEBzwuromjgeb9631-(%#YVSQNLIFDAyvsqnkifda7520)&$ZWURPMJHECzwuromjheb9641-(%#YVTQNLIGDAyvsqnlifda8520)&$ZXURPMKHECzwurpmjhec9641-(%!YVTQOLIGDAyvtqnligda8520)*$ZXUSPMKHECzxurpmkhec9641+(%!YWTQOLIGDByvtqoligda8530)*$#XUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!ZWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#XVSQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnlifda8520)*$ZXURPMKHECzxurpmjhec9641+(%!YVTQOLIGDByvtqnligda8530)*$ZXUSPMKHFCzxurpmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!YWTROLJGEBywtqoljgdb820)&$ZXURPMKHECzwurpmjhec9641-(%!YVTQOLIGDAyvtqnligda8520)*$ZXUSPMKHECzxurpmkhec9641+(%!YWTQOLIGDByvtqoligda8530)*$#XUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!ZWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#XVSQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnlifda8520)*$ZXURPMKHECzxurpmjhec9641+(%!YVTQOLIGDByvtqnligda8530)*$ZXUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!YWTROLJGEBywtqoljgdb8630-*$#XVSPNKIFCAxuspnkhfca742+(&!ZWTROMJGEBywtroljgeb8630-*%#XVSQNKIFCAxvspnkifca742+)&!ZWUROMJGEBzwtromjgeb8631-*%#YVSQNKIFDAxvsqnkifca752+)&$ZWUROMJHEBzwuromjgeb530-*$#XUSPNKHFCAxuspnkhfc9742+(&!ZWTROLJGEBywtroljgdb8630-*%#XVSPNKIFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#XVSQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnlifda8520)*$ZXURPMKHECzxurpmjhec9641+(%!YVTQOLIGDByvtqnligda8530)*$#XUSPMKHFCzxuspmkhec9741+(&!YWTQOLJGDBywtqoligdb8530-*$#XUSPNKHFCAxuspmkhfc9742+(&!YWTROLJGEBywtqoljgdb8630-*$#XVSPNKIFCAxuspnkhfca742+(&!ZWTROMJGEBywtroljgeb8630-*%#XVSQNKIFCAxvspnkifca742+)&!ZWUROMJGEBzwtromjgeb8631-*%#YVSQNKIFDAxvsqnkifca752+)&$ZWUROMJHEBzwuromjgeb9631-(%#YVSQNLIFDAyvsqnkifda7520)&$ZWURPMJHECzwuromjheb9641-(%#YVTQNLFCAxvspnkhfca742+)&!ZWTROMJGEBzwtroljgeb8631-*%#XVSQNKIFDAxvspnkifca752+)&!ZWUROMJHEBzwtromjgeb9631-*%#YVSQNLIFDAxvsqnkifda752+)&$ZWURPMJHEBzwuromjheb9631-(%#YVTQNLIFDAyvsqnlifda7520)&$ZXURPMJHECzwurpmjheb9641-(%!YVTQNLIGDAyvtqnlifda8520)*$ZXURPMKHECzxurpmjhec9641+(%!YVTQOLIGDByvtqnligda8530)*$#XUSP