貝葉斯決策理論課件

第二章貝葉斯決策理論2.1引言2.2幾種常用的決策規(guī)則2.3正態(tài)分布時的統(tǒng)計決策2.4關(guān)于分類器的錯誤率問題2.1引言模式識別的分類問題是根據(jù)識別對象特征的觀察值將其分到某個類別中去。例：醫(yī)生要根據(jù)病人血液中白細胞的濃度來判斷病人是否患血液病。兩類的識別問題。2.1引言根據(jù)醫(yī)學知識和以往的經(jīng)驗醫(yī)生知道：患病的人，白細胞的濃度服從均值2000，方差1000的正態(tài)分布；未患病的人，白細胞的濃度服從均值7000，方差3000的正態(tài)分布；一般人群中，患病的人數(shù)比例為0.5%。

一個人的白細胞濃度是3100，醫(yī)生應該做出怎樣的判斷？貝葉斯決策理論貝葉斯決策理論方法的假設：各類別總體的概率分布是已知的；要決策分類的類別數(shù)是一定的。在連續(xù)情況下，假設要識別的對象有d種特征量x1，x2，…，xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間，稱

x

=[x1，x2，…，xd]T

為d維特征向量。2.1引言假設說明假設要研究的分類問題有c個類別ωi，i=l，2，…，c；對應于各個類別ωi出現(xiàn)的先驗概率P(ωi)及類條件概率密度函數(shù)p(x/ωi)是已知的。如果在特征空間已觀察到某一向量x，x

=[x1，x2，…，xd]T那么應該把x分到哪一類去才是最合理呢？這就是本章所要研究的主要問題。2.1引言2.2幾種常用的決策規(guī)則

基于最小錯誤率的貝葉斯決策基于最小風險的貝葉斯決策在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策極小化極大決策序貫分類方法2.2.1基于最小錯誤率的貝葉斯決策利用概率論中的貝葉斯公式，得出使錯誤率為最小的分類規(guī)則，稱之為基于最小錯誤率的貝葉斯決策。2.2幾種常用的決策規(guī)則

舉例說明以魚分類為例說明解決問題的過程。假設已抽取出d個表示魚的特征，成為一個d維空間的向量x，目的是要將x分類為鱸魚或者鮭魚。如果用ω表示狀態(tài)，就是將x歸類于兩種可能的自然狀態(tài)之一，則ω=ω1

表示鱸魚ω=ω2

表示鮭魚2.2.1基于最小錯誤率的貝葉斯決策只以先驗概率決策存在問題假設已知出現(xiàn)鱸魚的先驗概率為P(ω1)和出現(xiàn)鮭魚的先驗概率為P(ω2)。在兩類別問題中存在P(ω1)+

P(ω2)=12.2.1基于最小錯誤率的貝葉斯決策只以先驗概率決策存在問題若P(ω1)>P(ω2)，ω=ω1；P(ω1)<P(ω2)，ω=ω2。如果P(ω1)=0.9，P(ω2)=0.1，

P(ω1)>P(ω2)，出現(xiàn)的魚歸為鱸魚。如果僅做一次判別，這種分類可能是合理的；如果多次判別，則根本未達到要把鱸魚與鮭魚區(qū)分開的目的。2.2.1基于最小錯誤率的貝葉斯決策解決方法利用對魚觀察到的光澤度提高分類器的性能。不同的魚產(chǎn)生不同的光澤度，將其表示為概率形式的變量，設x是連續(xù)的隨機變量，其分布取決于類別狀態(tài)，表示為p(x|ω)，即類條件概率分布(class-conditionalprobabilitydensity)函數(shù)，則p(x|ω1)與p(x|ω2)之間的區(qū)別就表示為鱸魚與鮭魚間光澤度的區(qū)別，如圖2.1所示：2.2.1基于最小錯誤率的貝葉斯決策圖2.1類條件概率密度函數(shù)圖概率函數(shù)已經(jīng)歸一化，每條曲線下的面積為12.2.1基于最小錯誤率的貝葉斯決策已知：狀態(tài)先驗概率P(ωi)，i=1，2。類條件概率密度p(x|ωi)，i=1，2，利用貝葉斯公式2.2.1基于最小錯誤率的貝葉斯決策條件概率P(ωi|x)稱為狀態(tài)的后驗概率貝葉斯公式實質(zhì)上是通過觀察x把狀態(tài)的先驗概率P(ωi)轉(zhuǎn)化為狀態(tài)的后驗概率P(ωi|x)，如圖2.2所示。2.2.1基于最小錯誤率的貝葉斯決策圖2.2P(ω1)=2/3和P(ω2)=1/3及圖2.1下的后驗概率圖基于最小錯誤率的貝葉斯決策規(guī)則為：如果P(ω1|x)>

P(ω2|x)，則把x歸類于鱸魚ω1；反之P(ω1|x)<

P(ω2|x)，則把x歸類于鮭魚ω2。2.2.1基于最小錯誤率的貝葉斯決策上面的規(guī)則可簡寫為：⑴如果P(ωi|x)=P(ωj|x)，則x∈ωi利用貝葉斯公式(1)還可以得到幾種最小錯誤率貝葉斯決策規(guī)則的等價形式：⑵如果

p(x|ωi)

P(ωi)=p(x|ωj)

P(ωj)，則x∈ωi2.2.1基于最小錯誤率的貝葉斯決策⑷對上式的l(x)取自然對數(shù)的負值，可寫為ω1⑶若，則x∈<ω2若h(x)=－ln[l(x)]=－lnp(x|ω1)+lnp(x|ω2)<lnω1ω2

>則x∈舉例假設在某個局部地區(qū)細胞識別中正常(ω1)和異常(ω2)兩類先驗概率分別為正常狀態(tài)：P(ω1)=0.9；異常狀態(tài)：P(ω2)=0.1?，F(xiàn)有一待識的細胞，其觀察值為x，從類條件概率密度分布曲線上查得p(x|ω1)=0.2，p(x|ω2)=0.4。試對該細胞x進行分類。2.2.1基于最小錯誤率的貝葉斯決策解：利用貝葉斯公式，分別計算出ω1及ω2的后驗概率。P(ω2|x)=1－P(ω1|x)=1－0.818=0.182根據(jù)貝葉斯決策規(guī)則(2)，有P(ω1|x)=0.818>

P(ω2|x)=0.182所以合理的決策是把x

歸類于正常狀態(tài)。2.2.1基于最小錯誤率的貝葉斯決策從這個例子可見，決策結(jié)果取決于實際觀察到的類條件概率密度p(x|ωi)和先驗概率P(ωi)兩者。在這個例子中由于狀態(tài)ω1的先驗概率比ω2的先驗概率大好幾倍，使先驗概率在做出決策中起了主導作用。2.2.1基于最小錯誤率的貝葉斯決策最小錯誤率貝葉斯決策規(guī)則證明錯誤率－平均錯誤率，以P(e)來表示，其定義為2.2.1基于最小錯誤率的貝葉斯決策2.2.1基于最小錯誤率的貝葉斯決策多類別決策在多類決策的最小錯誤率貝葉斯決策規(guī)則。如果P(ωi|x)=P(ωj|x)，則x∈ωi

p(x|ωi)P(ωi)=p(x|ωj)P(ωj)，則x∈ωi

2.2.1基于最小錯誤率的貝葉斯決策多類別決策多類別決策過程中，要把特征空間分割成R1，R2，…，Rc個區(qū)域，可能錯分的情況很多，平均錯誤概率P(e)將由c(c－1)項組成。2.2.1基于最小錯誤率的貝葉斯決策P(e)=[P(x∈R2|ω1)+P(x∈R3|ω1)+…P(x∈Rc|ω1)]P(ω1)c行+[P(x∈R1|ω2)+P(x∈R3|ω2)+…P(x∈Rc|ω2)]P(ω2)+……+[P(x∈R1|ωc)+P(x∈R2|ωc)+…P(x∈Rc-1|ωc)]P(ωc)每行c－1項2.2.1基于最小錯誤率的貝葉斯決策即：直接求P(e)的計算量較大。如果代之計算平均正確分類概率P(c)，則P(e)=1－P(c)c項2.2.1基于最小錯誤率的貝葉斯決策BayesDecisionTheory(General)GeneralizeBayesDecisionTheoryby允許使用多于一個的特征(allowingtousemultifeatures)允許多于兩種類別狀態(tài)(allowingtousemorethattwostates)允許有其他行為而不僅僅是判定類別(allowingactionsratherthanchoosingstates)引入損失函數(shù)代替誤差概率(introducingalossfunctionratherthanprobabilityoferror)2.2.1基于最小錯誤率的貝葉斯決策2.2.2基于最小風險的貝葉斯決策

x:featurevector(d×1)x

=[x1，x2，…，xd]T

狀態(tài)空間states(classes)

Ω由c個自然狀態(tài)(c類)組成。Ω={ω1，ω2，…ωc}actions(allowspossibilityofrejection)A

={，，…}lossfortakingactioniforstatej2.2幾種常用的決策規(guī)則

2.2.2基于最小風險的貝葉斯決策

根據(jù)貝葉斯公式，后驗概率為其中2.2.2基于最小風險的貝葉斯決策

對于給定的x如果采取決策，從決策表可見，對應于決策，可以在c個，j=1，…，c值中任取一個，其相應概率為P(ωj|x)。因此在采取決策情況下的條件期望損失R(|x)為i=1，2，…，a

2.2.2基于最小風險的貝葉斯決策

定義期望風險R為期望風險R反映對整個特征空間上所有x的取值采取相應的決策所帶來的平均風險；只是反映了對某一x的取值采取決策所帶來的風險。如果在采取每一個決策或行動時，都使其條件風險最小，則對所有的x做出決策時，其期望風險也必然最小。最小風險貝葉斯決策2.2.2基于最小風險的貝葉斯決策

最小風險貝葉斯決策規(guī)則為如果則最小風險貝葉斯決策的實現(xiàn)步驟：2.2.2基于最小風險的貝葉斯決策

⑴在已知P(ωj)，p(x|ωj)，j=1，2…，c及給出待識別的x的情況下，根據(jù)貝葉斯公式計算出后驗概率：j=1，2，…，c2.2.2基于最小風險的貝葉斯決策

⑵利用計算出的后驗概率及決策表，按(2-15)計算出采取，i=1，2，…，a的條件風險R(|x)i=1，2，…，a2.2.2基于最小風險的貝葉斯決策

⑶對⑵中得到的a個條件風險值R(|x)，i=1，2，…，a

進行比較，找出使條件風險最小的決策，即即就是最小風險貝葉斯決策。2.2.2基于最小風險的貝葉斯決策

舉例例2.2假設在某個局部地區(qū)細胞識別中正常(ω1)和異常(ω2)兩類先驗概率分別為正常狀態(tài)：P(ω1)=0.9；異常狀態(tài)：P(ω2)=0.1。現(xiàn)有一待識的細胞，其觀察值為x，從類條件概率密度分布曲線上查得p(x|ω1)=0.2，p(x|ω2)=0.4。損失函數(shù)分別為，，，。試對該細胞x按最小風險貝葉斯決策進行分類。2.2.2基于最小風險的貝葉斯決策

——當x∈ω1時決策為x∈ω1的損失，——當x∈ω1時決策為x∈ω2的損失，——當x∈ω2時決策為x∈ω2的損失，——當x∈ω2時決策為x∈ω1的損失。2.2.2基于最小風險的貝葉斯決策

舉例解：已知條件為P(ω1)=0.9，P(ω2)=0.1，p(x|ω1)=0.2，p(x|ω2)=0.4，c=2，，，，。根據(jù)例2.1的計算結(jié)果可知后驗概率為P(ω1|x)=0.818，

P(ω2|x)=0.1822.2.2基于最小風險的貝葉斯決策

再按下式計算出條件風險由于2.2.2基于最小風險的貝葉斯決策

x∈ω2最小錯誤率和最小風險貝葉斯決策規(guī)則的關(guān)系。設損失函數(shù)為0－1損失函數(shù)i，j=1，2，…，c

2.2.2基于最小風險的貝葉斯決策

條件風險為表示對x采取決策ωi的條件錯誤概率2.2.2基于最小風險的貝葉斯決策

的最小風險貝葉斯決策就等價于的最小錯誤率貝葉斯決策。由此可見，最小錯誤率貝葉斯決策就是在0－1損失函數(shù)條件下的最小風險貝葉斯決策。前者是后者的特例。在0—1損失函數(shù)時，使2.2.2基于最小風險的貝葉斯決策

有大量的方式來表述最小風險決策規(guī)則，每種都有自己的優(yōu)點。用后驗概率的形式表述為，如果那么判決為ω1。2.2.2基于最小風險的貝葉斯決策

兩類分類問題的最小風險貝葉斯決策通常，一次錯誤判決所造成的損失比正確判決要大，且因子λ21-λ11和λ12-λ22都是正的。實踐中，盡管必須通過損失函數(shù)的差別對后驗概率作調(diào)整，但是判決通常是依據(jù)最可能的類別狀態(tài)來決定的。利用貝葉斯公式，也可用先驗概率和條件密度來表示后驗概率，這種等價規(guī)則為：

如果那么判決為ω1。2.2.2基于最小風險的貝葉斯決策

兩類分類問題的最小風險貝葉斯決策另一種表示方法是，在合理假設λ21>λ11的條件下，如果下式成立，則判決為ω1。這種判決規(guī)則的形式主要依賴于x的概率密度。2.2.2基于最小風險的貝葉斯決策

兩類分類問題的最小風險貝葉斯決策2.2.2基于最小風險的貝葉斯決策

2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策在兩類別決策問題中，有犯兩種錯誤分類的可能性：(1)在采取決策ω1時其實際自然狀態(tài)為ω2；(2)在采取決策ω2時其實際自然狀態(tài)為ω1，這兩種錯誤的概率分別是P(ω2)·P2(e)和P(ω1)·P1(e)。最小錯誤率貝葉斯決策是使這兩種錯誤率之和P(e)為最小。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策由于先驗概率P(ω1)和P(ω2)對具體問題來說往往是確定的，所以一般稱P1(e)，P2(e)為兩類錯誤率。實際中，有時要求限制其中某一類錯誤率不得大于某個常數(shù)而使另一類錯誤率盡可能地小。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策例如在癌細胞識別中，把異常誤判為正常的損失更為嚴重，所以常希望這種誤判的錯誤率P2(e)很小，即P2(e)=ε0，ε0是一個很小的常數(shù)，在這種條件下再要求P1(e)盡可能地小。這樣的決策可看成是在P2(e)=ε0條件下，求P1(e)極小值的條件極值問題。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策可以用求條件極值的拉格朗日(Lagrange)乘子法解決。拉格朗日乘子法是一種在等式約束條件下的優(yōu)化算法?；舅枷胧菍⒌仁降募s束問題轉(zhuǎn)化為無約束問題。拉格朗日乘子法為：

2.2幾種常用的決策規(guī)則

=02.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策按Lagrange乘子法建立數(shù)學模型為2.2幾種常用的決策規(guī)則

目的是求γ的極小值已知根據(jù)類條件概率密度的性質(zhì)，有2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策則2.2幾種常用的決策規(guī)則

對x和求導得2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

滿足左式的最佳及滿足右式的邊界面就能使極小。此時其決策規(guī)則可以寫為如果

，則x∈ω2>ω1或如果

，則<ω2x∈ω12.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策與最小錯誤率貝葉斯決策規(guī)則對比2.2幾種常用的決策規(guī)則

這種在限定一類錯誤率為常數(shù)而使另一類錯誤率最小的決策規(guī)則也稱Neyman-Pearson決策規(guī)則。則x∈<ω1ω22.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

可以看出Neyman-Pearson決策規(guī)則與最小錯誤率貝葉斯決策規(guī)則都是以似然比為基礎的，所不同的只是最小錯誤率決策用的閾值是先驗概率之比P(ω2)/P(ω1)，而Neyman-Pearson決策用的閾值則是Lagrange乘子，類似地，最小風險貝葉斯決策規(guī)則可以寫成似然比形式：即<2.2.3在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

但在高維時，求解邊界面是不容易的，這時可利用似然比密度函數(shù)來確定。似然比為l(x)=p(x|ω1)/p(x|ω2)，似然比密度函數(shù)為p(l|ω2)，求解的顯式解不容易求出。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

從最小錯誤率或最小風險貝葉斯決策中可以看出其決策都是與先驗概率P(ωi)有關(guān)的。如果對給定的x，其P(ωi)不變，按照貝葉斯決策規(guī)則，可以使錯誤率或風險最小。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

但如果P(ωi)是可變的，或事先對先驗概率毫無所知，若再按某個固定的P(ωi)條件下的決策規(guī)則來進行決策就往往得不到最小錯誤率或最小風險。極小化極大決策就是在考慮P(ωi)變化的情況下，如何使最大可能的風險為最小，也就是在最差的條件下爭取最好的結(jié)果。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

通常做出錯誤決策總是比做出正確決策所帶來的損失要大，即及

再假定決策域R1和R2已確定，則風險R可按式得出2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

則2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

目的是要分析風險R與先驗概率P(ω1)之間的關(guān)系。兩類情況下P(ω1)與P(ω2)應滿足下式P(ω1)+P(ω2)=1目的是要分析風險R與先驗概率P(ω1)之間的關(guān)系。兩類情況下P(ω1)與P(ω2)應滿足下式2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

一旦R1和R2被確定，風險R就是先驗概率P(ω1)的線性函數(shù)，即R=a+bP(ω1)2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

其中

=Rmm，極小化極大風險=0，對于極小化極大求解2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在已知類概率密度函數(shù)，損失函數(shù)及某個確定的先驗概率P(ω1)時，可以按最小風險貝葉斯決策找出兩類的分類決策面，把特征空間分割成兩部分R1和R2，使其風險為最小。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，對先驗概率P(ω1)取若干個不同的值，分別按最小風險貝葉斯決策確定其相應的決策域，從而計算出其相應的最小風險R，這樣就得出最小貝葉斯風險R與先驗概率P(ω1)的關(guān)系曲線，如圖2.4的曲線部分所示。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，對應直線方程：R=a+bP(ω1)，風險值在(a，a+b)的范圍變化，其最大風險為a+b。R*a2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，那么風險R就為如果在某個P(ω1)情況下，能找出其決策域使P(ω1)的系數(shù)b=0，即2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，紅線表明不管P(ω1)作什么變化，其風險都不再變化，其最大風險也等于a，這時就使最大風險最小。R*b2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

結(jié)論：在作最小風險貝葉斯決策時，若考慮P(ω1)有可能改變或?qū)ο闰灨怕屎翢o所知的情況，則應選擇使最小貝葉斯風險R*為最大值時的P*(ω1)來設計分類器，即對應于圖2.4(b)中的B點，其風險Rb*相對于其他的P(ω1)為最大，而能保證在不管P(ω1)如何變化時，使最大風險將為最小，將這樣的決策稱為極小化極大決策。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

因此，極小化極大決策的任務就是尋找使貝葉斯風險為最大時的決策域R1和R2，它對應于積分方程的解。用極小化極大決策進行分類是偏于保守的分類方法。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

前面所講方法中都認為d個特征都同時給出且不考慮獲取特征所花的代價。有些實際問題(如醫(yī)療診斷)中特征的獲取要花一定代價，這樣除了錯分會造成損失外還應考慮獲取特征所花的代價?？赡軙羞@樣的情況，獲取了k個特征(k<d)后就做判決分類更為合理。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

這是因為其余d-k個特征的加入使分類錯誤降低而造成的代價減少補償不了獲取這些特征所花費的代價。解決上述問題的方法可用序貫分類方法，就是先用一部分特征來分類，逐步加入特征以減少分類損失。而每步都要衡量加入新特征所花代價與所降低分類損失的大小，以便決定是繼續(xù)再加新特征還是停止。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

為此可以分別計算停止損失ρs

和繼續(xù)損失ρc

并加以比較。設觀測了k個特征得到取值分別為，，…，停止損失是：2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

假設觀測第k+1個特征所需要的代價是g(k+l)而在條件，，…，下第k+1步的最小代價的期望值是：則在第k步的繼續(xù)損失是2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

這里第k步的最小代價由下式定義：由此可得

2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

顯然，為了計算必須計算第k+1步的最小損失，依此類推，直到首先應求出

才能得到第k步的最小損失。當停止損失等于最小損失時就做出分類決策。2.2.6分類器、判別函數(shù)及判定面㈠多類情況⒈判別函數(shù)有很多方式表述分類器，其中用的最多的是一組判別函數(shù)gi(x)，i=1,2，…，c。用于表示多類決策規(guī)則：如果使gi(x)>gj(x)對一切j≠i成立，則將x歸于ωi類。2.2幾種常用的決策規(guī)則

㈠多類情況貝葉斯分類器可以簡單自然地表示成這種形式：在最小錯誤率的情況下，gi(x)可定義為：⑴

gi(x)=

P(ωi|x)⑵gi(x)=

p(x|ωi)P(ωi)⑶

gi(x)=lnp(x|ωi)+lnP(ωi)2.2.6分類器、判別函數(shù)及判定面㈠多類情況⒉決策面方程

各決策域Ri被決策面所分割，這些決策面是特征空間中的超曲面，相鄰的兩個決策域在決策面上其判別函數(shù)值是相等的，如圖2-5所示。如果Ri和Rj是相鄰的，則分割它們的決策面方程應滿足

gi(x)=

gj(x)2.2.6分類器、判別函數(shù)及判定面㈠多類情況圖2.5(a)一維情況決策面為分界點p(x|ω1)P(ω1)p(x|ω2)P(ω2)p(x|ω3)P(ω3)xR1R3R2R3決策邊界2.2.6分類器、判別函數(shù)及判定面⒉決策面方程

㈠多類情況2.2.6分類器、判別函數(shù)及判定面⒉決策面方程

㈠多類情況圖2-6在這個二維的兩類問題的分類器中，概率密度為高斯分布，判決邊界由兩個雙曲線構(gòu)成，因此判決區(qū)域R2并非是簡單的連通的。橢圓輪廓線標記出1/e乘以概率密度的峰值⒊分類器設計分類器可看成是由硬件或軟件組成的一個“機器”。它的功能是先計算出c個判別函數(shù)gi，再從中選出對應于判別函數(shù)為最大值的類作為決策結(jié)果，下圖用框圖形式表示了這種分類器。很多由軟件組成的分類器已經(jīng)模塊化。2.2.6分類器、判別函數(shù)及判定面㈠多類情況2.2.6分類器、判別函數(shù)及判定面⒊分類器設計㈠多類情況分類器的網(wǎng)絡結(jié)構(gòu)㈡兩類問題

⒈判別函數(shù)在兩類情況下。僅定義一個判別函數(shù)g(x)=g1(x)－g2(x)并將決策規(guī)則表示為如果

g(x)>0，則決策ω1；g(x)<0，則決策ω2。顯然，可定義出如下的判別函數(shù)：⑴

g(x)=P(ω1|x)－P(ω2|x)⑵

g(x)=p(x|ω1

)P(ω1)－p(x|ω2)P(ω2)⑶2.2.6分類器、判別函數(shù)及判定面㈡兩類問題⒉決策面方程決策面方程

g(x)=0相應于前面(2)的決策面方程為p(x|ω1)P(ω1)－p(x|ω2

)P(ω2)=0其它可類似得出。2.2.6分類器、判別函數(shù)及判定面㈡兩類問題

⒊分類器設計兩類分類器可看作只是計算判別函數(shù)g(x)的一個"機器"。它根據(jù)計算結(jié)果的符號將x分類，其結(jié)構(gòu)框圖如2.7所示。判別計算閾值單元gx1x2xd+1ω1－1ω2決策圖2.7+1-12.2.6分類器、判別函數(shù)及判定面㈡兩類問題

例2.3對例2.1，2.2分別寫出其判別函數(shù)和決策面方程。解:⑴對例2.1利用前面式中的(2)g(x)=p(x|ω1

)P(ω1)－p(x|ω2)P(ω2)其對應的判別函數(shù)為g(x)=0.9p(x|ω1

)－0.1p(x|ω2

)決策面方程為g(x)=0即9p(x|ω1)－p(x|ω2)=02.2.6分類器、判別函數(shù)及判定面⑵對例2.2，判別函數(shù)可定義為故其判別函數(shù)為而

g(x)=0.9p(x|ω1)－0.6p(x|ω2

)決策面方程為g(x)=0即9p(x|ω1)－6p(x|ω2

)=02.2.6分類器、判別函數(shù)及判定面練習題⒈在兩類問題中，遵循貝葉斯規(guī)則的條件誤差率由式(7)

P(error|x)=min[P(ω1|x)，P(ω2|x)]給出，盡管后驗概率是連續(xù)的，當用式(5)2.2.1基于最小錯誤率的貝葉斯決策計算總誤差時，這種形式的條件誤差率實際將導致一個不連續(xù)的被積函數(shù)。(a)證明對任意密度，可將(7)式替換成P(error|x)=2P(ω1|x)P(ω2|x)的積分，且可獲得總誤差率的上界。(b)證明如果對任給α<2，使用P(error|x)=αP(ω1|x)P(ω2|x)，那么將不能保證此積分給出一個誤差率的上界。(c)類似地，證明可以用P(error|x)=P(ω1|x)P(ω2|x)獲得總誤差率的下界。(d)證明如果用對任給β>1，使用P(error|x)=βP(ω1|x)P(ω2|x)，那么將不能保證此積分可以得到一個誤差率的下界。2.2.1基于最小錯誤率的貝葉斯決策解：(a)假設沒有一般的損失，對于給定的x，P(ω2|x)≥P(ω1|x)，則P(error|x)=P(ω1|x)，因為P(ω1|x)＝1－P(ω2|x)，意味著P(ω2|x)≥1/2或2P(ω2|x)≥1，2P(ω2|x)P(ω1|x)>P(ω1|x)=P(error|x)則對于任意x，遵從積分2.2.1基于最小錯誤率的貝葉斯決策所以2P(ω1|x)P(ω2|x)為P(error|x)提供了上界。解：(b)從(a)知P(ω2|x)>1/2，對于α<2，P(ω2|x)不大于1/α。如α＝4/3、P(ω1|x)＝0.4和P(ω2|x)=0.6。此時P(error|x)＝P(ω1|x)＝0.4。則αP(ω