模式識別第二章貝葉斯決策理論

模式識別第二章貝葉斯決策理論在傳送帶上用光學傳感器件對魚按品種分類

鱸魚(Seabass)

品種

鮭魚(Salmon)設計一個自動分類系統(tǒng)對兩種魚進行自動分類第2頁,共27頁，星期六，2024年，5月數(shù)據(jù)獲取：架設一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù)預處理：去噪聲，采用圖象分割技術(shù)，用一個分割操作把魚和魚之間以及魚和背景之間分開，得到單個物理對象的圖像。第3頁,共27頁，星期六，2024年，5月特征提取和選擇：對單個魚的信息進行特征選擇，從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器第4頁,共27頁，星期六，2024年，5月第5頁,共27頁，星期六，2024年，5月根據(jù)長度進行分類Salman一般較短，seabass一般較長第6頁,共27頁，星期六，2024年，5月根據(jù)亮度進行分類Salman一般較暗，seabass一般較亮第7頁,共27頁，星期六，2024年，5月特征向量=（長度，亮度）x=(x1,x2)樣本:(x,y),x：該樣本對應的特征向量y:該樣本的類別，y=+1(salman)或y=-1(seabass)第8頁,共27頁，星期六，2024年，5月第9頁,共27頁，星期六，2024年，5月第10頁,共27頁，星期六，2024年，5月使用一個特征亮度對這兩種魚進行表示。新來了一條魚特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚ω1還是鮭魚ω2？已知數(shù)據(jù)：鱸魚類標號ω1，鮭魚類標號ω2。鱸魚總數(shù)量占所有魚總數(shù)量的比率為P(ω1)，鮭魚總數(shù)量占所有魚總數(shù)量的比率為P(ω2)。假設這條魚的亮度x在分類為鱸魚時出現(xiàn)的概率為p(x|ω1),這條魚的亮度x在分類為鮭魚時出現(xiàn)的概率為p(x|ω2)。如何求解？可以求出x屬于鱸魚ω1的概率P(ω1|x)和x屬于鮭魚ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就認為x是鱸魚。現(xiàn)在的問題是如何求P(ω1|x)和P(ω2|x)。第11頁,共27頁，星期六，2024年，5月基本假設：給定模式空間S，由m個互不相交的模式類集合

組成，即

，假定類的先驗概率為

，特征向量x的類條件概率密度函數(shù)

，表示當樣本時，特征向量

的概率密度函數(shù)；特征向量的后驗概率

，表示在特征向量

出現(xiàn)的條件下，樣本來自類

的概率，即類

出現(xiàn)的概率第12頁,共27頁，星期六，2024年，5月把樣本歸入后驗概率最大的類別中。最大后驗概率判決準則使平均錯誤概率達到最小。如果p(ω1|x)>p(ω2|x)，則判決x屬于ω1；如果p(ω1|x)<p(ω2|x)，則判決x屬于ω2；如果p(ω1|x)=p(ω2|x)，則判決x屬于ω1或?qū)儆讦?；如何求P(ω1|x)和P(ω2|x)？第13頁,共27頁，星期六，2024年，5月有一個概率公式：從而推出：換一種寫法：把樣本歸入后驗概率最大的類別中。最大后驗概率判決準則使平均錯誤概率達到最小。如果p(ω1|x)>p(ω2|x)，則判決x屬于ω1；如果p(ω1|x)<p(ω2|x)，則判決x屬于ω2；如果p(ω1|x)=p(ω2|x)，則判決x屬于ω1或?qū)儆讦?；如何求P(ω1|x)和P(ω2|x)？第14頁,共27頁，星期六，2024年，5月這就是著名的貝葉斯公式。其中P(ωj)叫做先驗概率，就是類別出現(xiàn)的可能性；p(x|ωj)叫條件概率，就是在ωj時x出現(xiàn)的可能性；p(ωj|x)叫后驗概率；p(x)是該樣例出現(xiàn)的可能性。因此：第15頁,共27頁，星期六，2024年，5月1.若，則x屬于ωj，如果p(ω1|x)>p(ω2|x)，那么就認為x屬于ω1，同理于：2.若,則x屬于ωj

3.若,則x屬于ωj，其中，L(x)稱為似然比，稱為對數(shù)似然比第16頁,共27頁，星期六，2024年，5月對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類代表正常人。已知先驗概率： 以一個化驗結(jié)果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結(jié)果為陽性的概率分別為：

現(xiàn)有一人化驗結(jié)果為陽性，問此人是否患癌癥？第17頁,共27頁，星期六，2024年，5月問題的提出：最大后驗概率判決準則使分類的平均錯誤概率最小化，但沒有考慮到不同的錯誤判斷帶來的后果是不相同的。考慮各種錯誤分類造成的損失不同，人們提出了最小風險貝葉斯判決準則?；舅悸罚航o每一種決策規(guī)定一個損失值，將其作為因錯誤決策而導致的損失的度量。有c個類別ω1,ω2,...,

ωc,將ωi類的樣本判別為ωj類的代價為λij。第18頁,共27頁，星期六，2024年，5月最小平均風險準則貝葉斯分類器并不是簡單地將x歸于具有最大p(ωj|x)值的那個類別ωj。因為要考慮損失：定義進行第i個行動(比如將樣例歸于第i個類別)這種行為表示為：αi。在一個樣例的真正類別為ωj時，進行第i個行動造成的損失是：λ(αi|ωj)。那么進行第i個行動的總損失：那么每個行動的總損失都可以求出來，采取其中總損失最小的行動。比如行動k最小，對應的行動是將樣例歸于第k個類別。第19頁,共27頁，星期六，2024年，5月定義

是在一個樣例的真正類別為ωj時，進行第i個行動造成的損失。采取第1個行動時的總損失：采取第2個行動時的總損失：第20頁,共27頁，星期六，2024年，5月那么當時，采取第1個行動。即：第21頁,共27頁，星期六，2024年，5月樸素貝葉斯分類器(naiveBayesclassifiers,簡記為NB)假定：在給定類標記時，屬性值之間是相互條件獨立的，也就是說，在給定實例類標記的情況下,觀察到的聯(lián)合概率正好是每個單獨屬性值概率的乘積。舉例：根據(jù)天氣狀況來判斷某天是否適合于打網(wǎng)球，給定如表所示的14個訓練實例,其中每一天由屬性outlook，Temprature，Humidity和wind來描述,類屬性為PlayTennis第22頁,共27頁，星期六，2024年，5月現(xiàn)有一測試實例問這一天是否適合于打網(wǎng)球？第23頁,共27頁，星期六，2024年，5月第24頁,共27頁，星期六，2024年，5月可見,樸素貝葉斯分類器將此實例分類為no,將上述概率歸一化,可得到樸素貝葉斯分類器分類此實例為no的概率是0.0192/(0.0069+0.0191)=0.7346思考：根據(jù)顧客的基本情況來判斷其是否會買電腦給定如表所示的14個訓練實例,其中每一個顧客屬性age，income，student和credit-rating來描述,類屬性為buys-computer。第25頁,共27頁，星期六，2024年，5月現(xiàn)有一測試實例，