模式識別與機(jī)器學(xué)習(xí) 課件 第1講 引言

模式識別與機(jī)器學(xué)習(xí)

PatternRecognition&MachineLearning第一講引言第一講引言本講學(xué)習(xí)目標(biāo)明確模式識別與機(jī)器學(xué)習(xí)的含義，感受它與人類智慧的聯(lián)系理解四類典型機(jī)器學(xué)習(xí)系統(tǒng)的計(jì)算流程了解部分前沿研究方向，體會(huì)模式識別與機(jī)器學(xué)習(xí)領(lǐng)域的魅力了解全書知識體系的構(gòu)成思路第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言基本概念

第一講引言基本概念投票選舉

班長的選舉、人大代表的選舉

參考好朋友的選擇

近鄰法圖1?1機(jī)器學(xué)習(xí)中的近鄰法示意圖（5-近鄰分類，其中三角形表示的測試點(diǎn)會(huì)判別為與之距離最近的5個(gè)點(diǎn)中得票最高的類別，即五角星所在的類別。）

不了解，想偷懶？何為“好”？

第一講引言基本概念三個(gè)小皮匠勝過諸葛亮

以多勝寡、以弱勝強(qiáng)

集成學(xué)習(xí)方法考慮訓(xùn)練多個(gè)預(yù)測器，并且將它們的預(yù)測結(jié)果進(jìn)行集成的思路。圖1?2小皮匠與諸葛亮的故事

第一講引言基本概念主動(dòng)學(xué)習(xí)圖1?3機(jī)器學(xué)習(xí)中的主動(dòng)學(xué)習(xí)原理示意圖強(qiáng)調(diào)的是對未標(biāo)注樣本的主動(dòng)、選擇性標(biāo)注，通過標(biāo)注少量“重要”的樣本，減少人工標(biāo)注的成本。其中，主動(dòng)識別重要樣本以盡快提升學(xué)習(xí)系統(tǒng)性能的做法，和人類社會(huì)中通過自覺主動(dòng)學(xué)習(xí)盡快增強(qiáng)本領(lǐng)具有類似之處。第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)醫(yī)學(xué)圖像診斷醫(yī)學(xué)圖像，如計(jì)算機(jī)斷層掃描（CT）圖像、磁共振圖像、超聲成像、病理圖像等，是進(jìn)行疾病診斷和治療的重要依據(jù)。病理圖像是將人體組織做成病理切片后在高倍顯微鏡下看到的圖像，通過掃描儀進(jìn)行數(shù)字化后即可進(jìn)行計(jì)算機(jī)輔助分析。（a）正常組織病理圖（b）腫瘤組織病理圖第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)醫(yī)學(xué)圖像診斷運(yùn)用機(jī)器學(xué)習(xí)進(jìn)行病理圖像診斷通常有兩種做法：首先運(yùn)用專家經(jīng)驗(yàn)或某種特征提取算法提取圖像特征（“特征工程”階段），然后基于此特征設(shè)計(jì)分類器進(jìn)行疾病診斷。運(yùn)用“端到端”的方式，直接從原始輸入圖像出發(fā)設(shè)計(jì)分類器，隱式地進(jìn)行特征提取。第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)間序列識別第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)對話系統(tǒng)對話系統(tǒng)領(lǐng)域任務(wù)型對話系統(tǒng)以完成一項(xiàng)具體的領(lǐng)域任務(wù)為目標(biāo)如車載導(dǎo)航機(jī)器人和各公司的智能客服等開放域?qū)υ捪到y(tǒng)目的是滿足用戶的閑聊需求或者常識性問答需求，以產(chǎn)生內(nèi)容豐富且有意義的問答如閑聊型對話機(jī)器人等第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)異常檢測圖1?7某數(shù)據(jù)中心服務(wù)器的CPU使用率的時(shí)間序列數(shù)據(jù)

（圖中黑色圓點(diǎn)表示異常點(diǎn)）第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言前沿研究方向舉例多視圖機(jī)器學(xué)習(xí)當(dāng)前復(fù)雜數(shù)據(jù)中不斷呈現(xiàn)出的多源異質(zhì)或多傳感器感知等多視圖特性，正成為制約人工智能和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用的關(guān)鍵之一。為突破多視圖數(shù)據(jù)處理瓶頸，實(shí)現(xiàn)信息的融合與增強(qiáng)，開展多視圖機(jī)器學(xué)習(xí)的研究至關(guān)重要。（a）視圖一：半月形結(jié)構(gòu)（b）視圖二：直線型結(jié)構(gòu)

圖1?8兩視圖數(shù)據(jù)及學(xué)習(xí)原理示意圖（兩個(gè)視圖分別呈現(xiàn)出半月形和直線型的類別結(jié)構(gòu)，一種可能的多視圖學(xué)習(xí)原理是約束同一樣本兩個(gè)視圖的分類結(jié)果盡可能一致。）第一講引言前沿研究方向舉例強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)對于現(xiàn)實(shí)世界任務(wù)的解決能力正在快速提升，在諸如神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯、物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)異常檢測等問題中逐漸得到成功應(yīng)用。隨著對低樣本需求算法（如基于環(huán)境模型的算法可通過環(huán)境模型產(chǎn)生更多數(shù)據(jù)）和可遷移算法的不斷研究，強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界問題中的應(yīng)用將會(huì)逐漸增多。圖1?9強(qiáng)化學(xué)習(xí)基本原理示意圖第一講引言前沿研究方向舉例可信人工智能機(jī)器學(xué)習(xí)算法所優(yōu)化的目標(biāo)有時(shí)與人類的預(yù)期并不一致算法過分依賴數(shù)據(jù)，使其性能與用于訓(xùn)練的數(shù)據(jù)質(zhì)量密切相關(guān)機(jī)器學(xué)習(xí)算法，尤其是深度學(xué)習(xí)算法，其運(yùn)行過程并不完全透明，有時(shí)就連它們的設(shè)計(jì)者也很難解釋其內(nèi)部工作原理。圖1?10不魯棒的機(jī)器學(xué)習(xí)系統(tǒng)示例（熊貓圖像在加入特定噪聲之后，人類仍然可以正確識別，然而機(jī)器卻識別為長臂猿）第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例課程內(nèi)容安排第一講引言課程安排課程以貝葉斯學(xué)習(xí)的思想為潛在主線，從基礎(chǔ)理論到典型模型與算法再到近似推理，循序漸進(jìn)地呈現(xiàn)模式識別與機(jī)器學(xué)習(xí)的核心知識體系。引言模式識別與機(jī)器學(xué)習(xí)的概念以及部分典型系統(tǒng)和前沿方向，有助于讀者對整個(gè)領(lǐng)域的內(nèi)涵和外沿形成直觀的感受。第2-4講貝葉斯學(xué)習(xí)基礎(chǔ)包括貝葉斯學(xué)習(xí)的基本理念、分類器的相關(guān)概念以及常用的參數(shù)估計(jì)方法等重要內(nèi)容，構(gòu)成了本書大部分章節(jié)的基礎(chǔ)。邏輯回歸章節(jié)包括用于回歸問題的線性回歸和用于分類問題的邏輯回歸等簡單且常用的方法。概率圖模型基礎(chǔ)全面地介紹了有向圖模型和無向圖模型的建模思路和理論支撐，以及和積算法和最大和算法等常用的推理算法。基于以上章節(jié)，分別介紹隱馬爾可夫模型和條件隨機(jī)場這兩類具體的有向圖模型和無向圖模型。第一講引言課程安排第5-8講圍繞監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、回歸、分類、降維這些應(yīng)用場景分別介紹了支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)、聚類、主成分分析與相關(guān)的譜方法等當(dāng)前的主流方法。其中既包括運(yùn)用了貝葉斯學(xué)習(xí)理念的概率模型，也包括思想直觀、易于理解的非概率模型，對它們之間的聯(lián)系我們也適時(shí)地進(jìn)行了介紹。第9講強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)重要分支，它的應(yīng)用場景和學(xué)習(xí)方法與之前章節(jié)介紹的內(nèi)容有很大不同，但是可以用到前面介紹的深度學(xué)習(xí)、蒙特卡洛等方法。第一講引言參考文獻(xiàn)上海市中小學(xué)(幼兒園)課程改革委員會(huì).九年義務(wù)教育課本語文一年級第二學(xué)期[M].上海：上海教育出版社，2015.LiuY,YinM,SunS.Multi-viewLearningandDeepLearningforMicroscopicNeuroblastomaPathologyImageDiagnosis[C]//PRICAI2018:TrendsinArtificialIntelligence.Switzerland:SpringerInternationalPublishing,2018:545-558.NascimentoJC,FigueiredoMA,MarquesJS.TrajectoryClassificationUsingSwitchedDynamicalHiddenMarkovModels[J].IEEETransactionsonImageProcessing,2009,19(5):1338-1348.LavinA,AhmadS.EvaluatingReal-TimeAnomalyDetectionAlgorithms--TheNumentaAnomalyBenchmark[C]//Proceedingsofthe14thIEEEInternationalConferenceonMachineLearningandApplications.NewYork:IEEE,2015:38-44.ChaoG,SunS.ConsensusandComplementarityBasedMaximumEntropyDiscriminationforMulti-viewClassification[J].InformationSciences,2016,367-368(11):296-310.GoodfellowI,ShlensJ,