模式識別導(dǎo)論四

模式識別導(dǎo)論四第1頁，共57頁，2023年，2月20日，星期五對x再觀察：有細胞光密度特征,有類條件概率密度:P(x/ω?)?=1,2,…。如圖所示利用貝葉斯公式：通過對細胞的再觀察，就可以把先驗概率轉(zhuǎn)化為后驗概率，利用后驗概率可對未知細胞x進行識別。第四章貝葉斯決策理論§4-1Bayes分類器—最優(yōu)分類器、最佳分類器一、兩類問題例如：細胞識別問題ω1正常細胞，ω2異常細胞某地區(qū)，經(jīng)大量統(tǒng)計獲先驗概率P(ω1),P(ω2)。若取該地區(qū)某人細胞x屬何種細胞

，只能由先驗概率決定。第2頁，共57頁，2023年，2月20日，星期五設(shè)N個樣本分為兩類ω1，ω2。每個樣本抽出n個特征，

x=（x1，

x2，

x3，…，

xn）T通過對細胞的再觀察，就可以把先驗概率轉(zhuǎn)化為后驗概率，利用后驗概率可對未知細胞x進行識別。1、判別函數(shù)：若已知先驗概率P(ω1),P(ω2)，類條件概率密度P(x/ω1)，

P(x/ω2)。則可得貝葉斯判別函數(shù)四種形式

：第3頁，共57頁，2023年，2月20日，星期五2、決策規(guī)則：第4頁，共57頁，2023年，2月20日，星期五

3、決策面方程：

x為一維時，決策面為一點，x為二維時決策面為曲線，x為三維時，決策面為曲面，x大于三維時決策面為超曲面。例：某地區(qū)細胞識別；P(ω1)=0.9，P(ω2)=0.1未知細胞x，先從類條件概率密度分布曲線上查到：解：該細胞屬于正常細胞還是異常細胞，先計算后驗概率：P(x/ω1)=0.2，

P(x/ω2)=0.4第5頁，共57頁，2023年，2月20日，星期五g(x)閾值單元4、分類器設(shè)計：第6頁，共57頁，2023年，2月20日，星期五二、多類情況：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)

1.判別函數(shù)：M類有M個判別函數(shù)g1(x),g2(x),…,gm(x).每個判別函數(shù)有上面的四種形式。2.決策規(guī)則：另一種形式：3、決策面方程：4、分類器設(shè)計：g1(x)Maxg(x)g2(x)gn(x)第7頁，共57頁，2023年，2月20日，星期五§4-2正態(tài)分布決策理論

一、正態(tài)分布判別函數(shù)

1、為什么采用正態(tài)分布：

a、正態(tài)分布在物理上是合理的、廣泛的。

b、正態(tài)分布數(shù)學(xué)上簡單，N(μ,σ2)只有均值和方差兩個參數(shù)。2、單變量正態(tài)分布：第8頁，共57頁，2023年，2月20日，星期五3、（多變量）多維正態(tài)分布（1）函數(shù)形式：第9頁，共57頁，2023年，2月20日，星期五(2)、性質(zhì)：

①、μ與∑對分布起決定作用P(χ)=N(μ,∑),μ由n個分量組成，∑由n(n+1)/2元素組成?！喽嗑S正態(tài)分布由n+n(n+1)/2個參數(shù)組成。

②、等密度點的軌跡是一個超橢球面。區(qū)域中心由μ決定，區(qū)域形狀由∑決定。③、不相關(guān)性等價于獨立性。若xi與xj互不相關(guān),則xi與xj一定獨立。④、線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。⑤、線性組合的正態(tài)性。第10頁，共57頁，2023年，2月20日，星期五判別函數(shù)：類條件概率密度用正態(tài)來表示：二、最小錯誤率(Bayes)分類器：從最小錯誤率這個角度來分析Bayes分類器

1.第一種情況：各個特征統(tǒng)計獨立，且同方差情況。(最簡單情況)決策面方程：第11頁，共57頁，2023年，2月20日，星期五

判別函數(shù)：最小距離分類器：未知x與μi相減，找最近的μi把x歸類如果M類先驗概率相等：第12頁，共57頁，2023年，2月20日，星期五第13頁，共57頁，2023年，2月20日，星期五討論：第14頁，共57頁，2023年，2月20日，星期五未知x，把x與各類均值相減，把x歸于最近一類。最小距離分類器。2、第二種情況：Σi＝

Σ相等，即各類協(xié)方差相等。第15頁，共57頁，2023年，2月20日，星期五第16頁，共57頁，2023年，2月20日，星期五討論：針對ω1，ω2二類情況，如圖：第17頁，共57頁，2023年，2月20日，星期五3、第三種情況(一般情況)：Σ?為任意，各類協(xié)方差矩陣不等，二次項xT

Σ?x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。第18頁，共57頁，2023年，2月20日，星期五第19頁，共57頁，2023年，2月20日，星期五§4-3關(guān)于分類器的錯誤率分析

1、一般錯誤率分析：第20頁，共57頁，2023年，2月20日，星期五2、正態(tài)分布最小錯誤率(在正態(tài)分布情況下求最小錯誤率)第21頁，共57頁，2023年，2月20日，星期五第22頁，共57頁，2023年，2月20日，星期五§4-4最小風(fēng)險Bayes分類器假定要判斷某人是正常(ω1)還是肺病患者(ω2),于是在判斷中可能出現(xiàn)以下情況：第一類，判對(正?！?λ11

；第二類，判錯(正?！尾?λ21

；第三類，判對(肺病→肺病)λ22；第四類，判錯(肺病→正常)λ12

。在判斷時，除了能做出“是”ωi類或“不是”ωi類的動作以外，還可以做出“拒識”的動作。為了更好地研究最小風(fēng)險分類器，我們先說明幾個概念：第23頁，共57頁，2023年，2月20日，星期五在整個特征空間中定義期望風(fēng)險,期望風(fēng)險：行動αi：表示把模式x判決為ωi類的一次動作。損耗函數(shù)λii=λ(αi/ωi)表示模式X本來屬于ωi類而錯判為ωi所受損失。因為這是正確判決，故損失最小。損耗函數(shù)λij=λ(αi/ωj)表示模式X本來屬于ωj類錯判為ωi所受損失。因為這是錯誤判決，故損失最大。風(fēng)險R（期望損失）：對未知x采取一個判決行動α(x)所付出的代價（損耗）條件風(fēng)險（也叫條件期望損失）：第24頁，共57頁，2023年，2月20日，星期五條件風(fēng)險只反映對某x取值的決策行動αi所帶來的風(fēng)險。期望風(fēng)險則反映在整個特征空間不同的x取值的決策行動所帶來的平均風(fēng)險。最小風(fēng)險Bayes決策規(guī)則：第25頁，共57頁，2023年，2月20日，星期五二類問題：把x歸于ω1時風(fēng)險：把x歸于ω2時風(fēng)險：第26頁，共57頁，2023年，2月20日，星期五第27頁，共57頁，2023年，2月20日，星期五§4-5Bayes分類的算法（假定各類樣本服從正態(tài)分布）1.輸入類數(shù)M；特征數(shù)n，待分樣本數(shù)m.2.輸入訓(xùn)練樣本數(shù)N和訓(xùn)練集資料矩陣X(N×n)。并計算有關(guān)參數(shù)。3.計算矩陣y中各類的后驗概率。4.若按最小錯誤率原則分類，則可根據(jù)3的結(jié)果判定y中各類樣本的類別。5.若按最小風(fēng)險原則分類，則輸入各值，并計算y中各樣本屬于各類時的風(fēng)險并判定各樣本類別。第28頁，共57頁，2023年，2月20日，星期五例1、有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=5、N2=4、n=2、M=2，試問，X=(0,0)T應(yīng)屬于哪一類？解1、假定二類協(xié)方差矩陣不等（∑1≠∑2）則均值:訓(xùn)練樣本號k123451234特征x1特征x2110-1-1

010-1

01110-1-2-2-2類別ω1

ω

2第29頁，共57頁，2023年，2月20日，星期五第30頁，共57頁，2023年，2月20日，星期五第31頁，共57頁，2023年，2月20日，星期五解2、假定兩類協(xié)方差矩陣相等∑=∑1+∑2第32頁，共57頁，2023年，2月20日，星期五訓(xùn)練樣本號k123123123特征x1012-2-1-201-1特征x210-110-1-1-2-2類別ω1ω2ω3解1、假定三類協(xié)方差不等；例2：有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=N2=3、n=2、M=3，試問，未知樣本X=(0,0)T應(yīng)屬于哪一類？第33頁，共57頁，2023年，2月20日，星期五第34頁，共57頁，2023年，2月20日，星期五可得三類分界線如圖所示：第35頁，共57頁，2023年，2月20日，星期五解2、設(shè)三類協(xié)方差矩陣相等第36頁，共57頁，2023年，2月20日，星期五可得三類分界線如圖所示：第37頁，共57頁，2023年，2月20日，星期五作業(yè)：①在下列條件下，求待定樣本x=(2,0)T的類別，畫出分界線，編程上機。1、二類協(xié)方差相等，2、二類協(xié)方差不等。訓(xùn)練樣本號k123123特征x1112-1-1-2特征x210-110-1類別ω1ω2第38頁，共57頁，2023年，2月20日，星期五作業(yè)：②有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=N2=N3=3、n=2、M=3，試問，X=(-2,2)T應(yīng)屬于哪一類？要求：用兩種解法a、三類協(xié)方差不等；b、三類協(xié)方差相等。編程上機，畫出三類的分界線。訓(xùn)練樣本號k123123123特征x1021-1-2-2001特征x201010-1-2-1-2類別ω1ω2ω3第39頁，共57頁，2023年，2月20日，星期五§4-6在一類錯誤率固定使另一類錯誤率最小的判別準(zhǔn)則（聶曼-皮爾遜判決neyman-pearson）第40頁，共57頁，2023年，2月20日，星期五第41頁，共57頁，2023年，2月20日，星期五例：兩類的模式分布為二維正態(tài)協(xié)方差矩陣為單位矩陣∑1=∑2=I，設(shè)ε2＝0.09求聶曼皮爾遜準(zhǔn)則T.解：第42頁，共57頁，2023年，2月20日，星期五第43頁，共57頁，2023年，2月20日，星期五所以此時聶曼——皮爾遜分類器的分界線為：由圖可知為保證ε2足夠小，邊界應(yīng)向ω1一側(cè)靠，則ε1↑T與ε2的關(guān)系表如右：T421??ε20.040.090.160.250.38第44頁，共57頁，2023年，2月20日，星期五§4-7最大最小判別準(zhǔn)則：前邊的討論都是假定先驗概率不變，現(xiàn)在討論在P(ωi)變化時如何使最大可能風(fēng)險最小，先驗概率P(ω1)與風(fēng)險R間的變化關(guān)系如下：第45頁，共57頁，2023年，2月20日，星期五第46頁，共57頁，2023年，2月20日，星期五這樣，就得出最小風(fēng)險與先驗概率的關(guān)系曲線，如圖所示：討論：第47頁，共57頁，2023年，2月20日，星期五上式證明，所選的判別邊界，使兩類的概率相等：這時可使最大可能的風(fēng)險為最小，這時先驗概率變化，其風(fēng)險不變第48頁，共57頁，2023年，2月20日，星期五§4-8決策樹—多峰情況Bayes分類器只能適用于樣本分布呈單峰情況，對多峰情況則不行。若用決策樹，可進行如下步驟分類整個分類過程可用右圖的樹表示:1、基本概念（1）決策樹：二叉樹。每個節(jié)點都是兩類分類器。例如；節(jié)點a上的決策規(guī)則為：（2）代價（損失）矩陣定義節(jié)點L的代價為：第49頁，共57頁，2023年，2月20日，星期五2、決策樹的構(gòu)造在構(gòu)造決策樹時，需要考慮以下問題：1）、如何判斷一節(jié)點是否為葉子。如右圖表示，假定A、B、C、D、E、F各包含50個樣本，并有以下的代價矩陣對于節(jié)點a，可以作出以下兩個決策之一：決策1，a不再分割決策2，a分為兩類決策1的代價為A1（a）=Ca─節(jié)點a的代價決策2的代價為A2（a）=α（Cb+Cc）─節(jié)點b,c的代價和其中，α為一經(jīng)驗因子，用以防止無限分割下去第50頁，共57頁，2023年，2月20日，星期五只要經(jīng)驗因子α≤2.25，便有A2(a)≤A1(a)，因此取決策2的代價較小，故應(yīng)把α分為兩類。一般地決策代價為：2）、選擇節(jié)點的分割方式：

a、根據(jù)經(jīng)驗確定。例如，全部樣本分為三類，其代價矩陣為第51頁，共57頁，2023年，2月20日，星期五b、根據(jù)對樣本分布的了解試探確定。如右圖所示，將a劃分為b，c的方式有兩種c、根據(jù)聚類結(jié)果來劃分。3)、如何確定各節(jié)點分類器。原則：①、分