模式識別與機器學習 課件 第2講 貝葉斯學習基礎

模式識別與機器學習

PatternRecognition&MachineLearning第二講貝葉斯學習基礎本節(jié)學習目標掌握貝葉斯公式在機器學習中的應用思路能夠熟練運用貝葉斯決策方法明確分類器相關的基本概念掌握基于高斯分布的貝葉斯分類器理解樸素貝葉斯分類器能夠熟練運用各種參數(shù)估計方法第二講貝葉斯學習基礎第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎例：假設某個動物園里的雌性和雄性熊貓的比例是4：6，雌性熊貓中90%的熊貓是干凈整潔的，雄性熊貓中20%是干凈整潔的。1.求解“正向概率”：在動物園中看到一只干凈整潔的雄性熊貓的概率是多少？2.求解“逆向概率”：如果看到一只熊貓是干凈整潔的，它是雄性的概率是多少？

貝葉斯公式貝葉斯公式第二講貝葉斯學習基礎貝葉斯公式

第二講貝葉斯學習基礎

貝葉斯公式

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎貝葉斯決策貝葉斯決策貝葉斯決策（Bayesiandecision）是概率框架下實施決策的基本方法，它通過綜合考慮決策的后驗分布和錯誤決策的損失來做出決策。其中，貝葉斯公式被用于計算后驗分布。貝葉斯決策的前提是假設：第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎最小錯誤率貝葉斯決策

貝葉斯決策第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎最小風險貝葉斯決策

貝葉斯決策第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策最小風險貝葉斯決策&最小錯誤率貝葉斯決策

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎二類分類問題：要機器來判斷一張圖像是大熊貓還是小熊貓多類分類問題：區(qū)分一張圖片是大熊貓、小熊貓還是棕熊分類器的相關概念（a）大熊貓（b）小熊貓（c）棕熊分類器是一個計算系統(tǒng)，它通過計算出一系列判別函數(shù)的值做出分類決策，實現(xiàn)對輸入數(shù)據(jù)進行分類的目的。判別函數(shù)是一個從輸入特征映射到?jīng)Q策的函數(shù)，其結(jié)果可以直接用于做出分類決策。分類問題中，分類器會把輸入空間劃分成多個決策區(qū)域，這些決策區(qū)域之間的邊界稱作決策面或決策邊界。第二講貝葉斯學習基礎

分類器的相關概念第二講貝葉斯學習基礎分類器的構建方法有很多種，常用的方法大致可以分為三大類，這里按照復雜度依次降低的順序羅列。其中生成式模型和判別式模型都是基于概率框架，生成式模型構建所有觀測的聯(lián)合分布，而判別式模型只關心給定輸入數(shù)據(jù)時輸出數(shù)據(jù)的條件分布。分類器的相關概念第二講貝葉斯學習基礎

分類器的相關概念第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎高斯密度函數(shù)/正態(tài)密度函數(shù)

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎基于高斯分布的貝葉斯決策

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器圖2-3（圖中展示了當類別先驗概率相等，兩個類條件概率分布均為高斯分布且具有相等的非對角協(xié)方差矩陣時的貝葉斯決策的決策面，圖中橢圓形的環(huán)表示類條件概率密度等高線。）

第二講貝葉斯學習基礎基于高斯分布的貝葉斯決策的錯誤率

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎樸素貝葉斯分類器

樸素貝葉斯分類器第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎最大似然估計（maximumlikelihoodestimation）

參數(shù)估計第二講貝葉斯學習基礎

參數(shù)估計第二講貝葉斯學習基礎最大后驗估計

參數(shù)估計第二講貝葉斯學習基礎期望最大化算法（expectationmaximization，EM）

參數(shù)估計第二講參數(shù)估計第二講貝葉斯學習基礎貝葉斯參數(shù)估計

參數(shù)估計第二講貝葉斯學習基礎DengJ,DongW,SocherR,etal.Imagenet:ALarge-ScaleHierarchicalImageDatabase[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.NewYork:IEEE,2009:248-255.LoweDG.ObjectRecognitionfromLocalScale-InvariantFeatures[C]//Proceedingsofthe17thIEEEInternationalConferenceonComputerVision.NewYork:IEEE,1999:1150-1157.SunS.Multi-viewLaplacianSupportVectorMachines[C]//AdvancedDataMiningandApplications.Berlin:Springer,2011:209-222.SunS,Shawe-TaylorJ,MaoL.PAC-BayesAnalysisofMulti-viewLearning[J].InformationFusion,2017,35(5):117-131.張學工.模式識別[M].第三版.北京：清華大學出版社,2009.DempsterAP,LairdNM,Rubi