正態(tài)分布情況下的bayesian分類器與決策面(bayesianclassifier

1、正態(tài)分布情況下的bayesian分類器與決策面(bayesianclassifier 止態(tài)分布情況下的bayesian分類器與決策面(bayesian classifier and decision surfaces for normal distributions)若一元變量x在(j的類條件概率密度p (x/ (j)服從正態(tài)分布n(j, embed equation. 3),即embed equation. 3記為 embed equation. 3。對二元變量x=(xl, x2)t,若(j的類均值向量為(j=(jl, (j2)t,類 協(xié)方差陣為 embed equation. 3,記為 e

2、mbedequation. 3。一般地，有(12二(21,即 embed equation. 3為對稱陣，它的逆矩陣為embed equation. 3這時，x屬于(j的類條件概率密度為embed equation. 3一般地，若x(rni為ni維隨機變量，則x屬于(j的類條件概率密度為embed equation. 3(2-36)或(2-37)成立的前提條件是 embed equation. 3,或者說 embed equation. 3 可逆。我們知道，當依據(jù)后驗概率進行決策時，兩個類別(j與(k的分界面由 embed equation. 3embed equation. 3所決定，即em

3、bed equation.3結(jié)合(2-37),我們有embed equation. 3 或embed equation. 3 于是，超維決策面方程為embed equation. 3這里，分類閾值 embed equation. 3 以下分幾種情況對(2-40)進行討論。(j與(k的類協(xié)方差陣相等且為對角陣，即embed equation. 3,這時， embed equation. 3, (2-40)化為embed equation. 3這是一個超維平面，由此產(chǎn)生的分類器被稱為線性分類器。一般將 (2-41)寫成embed equation. 3這里，w=(k-(j 常被稱為權(quán)值，embed

4、 equation. 3embedequation. 3 被稱為閾值。顯然，超維平面(kj的法矢量為 w= (k-(j,即(kj 與(k- (j 垂直。特別地，當(j、(k兩個類別的先驗概率相等時，embedequation. 3,冃平面(kj 經(jīng)過點 embed equation. 3,如圖2-3所示。(j與(k的類協(xié)方差陣相等，embed equation. 3,且 embedequation. 3embed equation. 3, (2-40)化為embed equation. 3 這顯然也是超維平面。(j與(k的類協(xié)方差陣不相等，即embed equation. 3, (2-40)化

5、為embed equation. 3這是一般二次超維曲面，可能是超維球、超維橢球、超維拋物面或超 維雙曲面。注意z處： 正態(tài)分布情況下，的bayes分類器與決策面存在的前提條件是，類協(xié)方差陣均可逆。同類別的樣本僅分布在一個凸區(qū)域。例2. 1.設(shè)仃與(2兩個類別的樣木分布在二維空間，先驗概率p (1)二 p(2),類條件概率密度函數(shù)服從正態(tài)分布，兩個類均值分別為 (1-(0. 0, 0. 0)t, (2-(1. 0, 0. 0)t,類協(xié)方差陣分別為 試求決策方程，并畫出其大致形狀。解：由于先驗概率p(1)=p(2),決策面方程由類條件概率密度函數(shù) 所決定，即embed equation.3或em

6、bed equation. 3今已知embed equation. 3embed equation. 3embed equation. 3embed equation. 3代入上式并整理得決策面方程：embed equation. 3這是一個中心在(t, 0),水平半軸長1. 5、垂直半軸長2. 05的橢圓, 如例圖2. 1所示。練習(xí)題設(shè)(1與(2兩個類別的樣木分布在二維空間，先驗概率p(1)=p(2), 類條件概率密度函數(shù)服從正態(tài)分布，其類均值分別為(1=(0. 0,0. 0)t, (2-(1. 0, 0. 0)t,類協(xié)方差陣分別為embed equation. 3embed equatio

7、n. 3試求基于最小錯誤概率的bayes決策面方程，并畫出其大致形狀。設(shè)一個2維兩類別問題。其中，類條件概率密度函數(shù)服從正態(tài)分布， 類均值向量分別為 embed equation. 3, embedequation. 3,類協(xié)方差陣分別為 embed equation. 3,embed equation. 3,先驗概率 embed equation. 3,試求基于最小錯誤概率的bayes決策面方程，并畫出其大致形狀。設(shè)一個ni維兩類別問題。其中，類條件概率密度函數(shù)服從止態(tài)分布， 均值向量分別為 embed equation. 3 和 embedequation. 3,類協(xié)方差陣分別為 embed equation. 3 和embed equation. 3,先驗概率 embed equation. 3,今欲使基于最小錯誤概率的bayes決策面方程為一個超維球，試確定應(yīng)滿 足的條件。pagepage 37例圖2.1決策面的大致形狀1.02.0-2.0-1.0(xi2xil(圖2-3當p(j)=p(k)且(j二(k二(21時的決策分界面(kj示意圖0embed equation.