正態(tài)分布中的Bayes決策

2.3正態(tài)分布時的統(tǒng)計決策Bayes決策的三個前提：類別數(shù)確定各類的先驗概率P(ωi)已知各類的條件概率密度函數(shù)p(x|ωi)已知Bayes決策中，類條件概率密度的選擇要求：模型合理性計算可行性最常用概率密度模型：正態(tài)分布觀測值通常是很多種因素共同作用的結果，根據中心極限定理，它們（近似）服從正態(tài)分布。計算、分析最為簡單的模型。

一、正態(tài)分布判別函數(shù)

1、為什么采用正態(tài)分布：

a、正態(tài)分布在物理上是合理的、廣泛的。

b、正態(tài)分布數(shù)學上簡單，N(μ,σ2)只有均值和方差兩個參數(shù)?！?-3.1正態(tài)分布決策理論正態(tài)分布中的Bayes決策2、單變量正態(tài)分布：正態(tài)分布中的Bayes決策從p(x)的圖形上可以看出，只要有兩個參數(shù)m和s2,就可以完全確定其曲線。

若服從正態(tài)分布的總體中隨機抽取樣本x，約有95％的樣本落在(m-2s,m+2s)中。樣本的分散程度可以用s來表示

,s越大分散程度越大。

正態(tài)分布中的Bayes決策

正態(tài)分布是指一個隨機實數(shù)度量值在整個實數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類，不是我們所討論的先驗概率P(ωi)，也不是后驗概率P(ωi|X)，而是p(x|ωi)。正態(tài)分布中的Bayes決策3、（多變量）多維正態(tài)分布為d維均值向量也就是:（1）函數(shù)形式：x=(x1,x2,…,xd)T為d維隨機向量S是d×d維協(xié)方差矩陣，S-1是S的逆矩陣，|S|為S的行列式。協(xié)方差矩陣S是對稱的，其中有d×(d+1)/2個獨立元素。

正態(tài)分布中的Bayes決策

由于r(x)可由m和S完全確定，所以實際上r(x)可由d×(d+1)/2+d個獨立元素來確定。m、S分別是向量x和矩陣(x-m)(x-m)T的期望。

多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同，但有很多相似之處，實際上單變量正態(tài)分布只是維數(shù)為1的多元分布。正態(tài)分布中的Bayes決策

當d=1時，Σ只是一個1×1的矩陣，也就是只有1個元素的矩陣，退化成一個數(shù)，|Σ|1/2也就是標準差σ,Σ-1也就是σ-2，而(X－μ)T(X－μ)也變成(X-μ)2，

多元正態(tài)分布的概率密度函數(shù)中的元就是我們前面說得特征向量的分量數(shù)，也就是維數(shù)。

正態(tài)分布中的Bayes決策具體說：若xi是x的第i個分量，mi是m的第i個分量，sij2是S的第i、j個元素。其中r(xi)為邊緣分布，

正態(tài)分布中的Bayes決策協(xié)方差矩陣：

是一個對稱矩陣，只考慮S為正定矩陣的情況，也就是:|S|所有的子式都大于0正態(tài)分布中的Bayes決策

同單變量正態(tài)分布一樣，多元正態(tài)分布r(x)可以由m和S完全確定，常記為N(m,S)。正態(tài)分布中的Bayes決策(2)多元正態(tài)分布的性質參數(shù)μ和Σ完全決定分布等概率密度軌跡為超橢球面不相關性等價于獨立性邊緣分布和條件分布的正態(tài)性線性變換的正態(tài)性線性組合的正態(tài)性正態(tài)分布中的Bayes決策①.參數(shù)m和S對分布的決定性

對于d維隨機向量x，它的均值向量m也是d維的，協(xié)方差矩陣是對稱的，其中有d×(d+1)/2個獨立元素。

r(x)可由m和S完全確定，實際上r(x)可由d×(d+1)/2+d個獨立元素決定。常記為：

r(x)～N(m,S)正態(tài)分布中的Bayes決策②.等密度點的軌跡為一超橢球面

由r(x)的定義公式可知，右邊指數(shù)項為常數(shù)時，密度r(x)的值不變，所以等密度點滿足：

二維情況下，上式的解是一個橢圓軌跡，其長短軸方向由Σ協(xié)方差矩陣的特征向量決定，三維時是一個橢球面，超過三維則是超橢球面，主軸方向由協(xié)方差矩陣S的特征向量決定，各主軸的長度則與相應的特征值成正比。正態(tài)分布中的Bayes決策

從下圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由m

和S所確定的一個區(qū)域里，這個區(qū)域的中心由均值向量m決定，區(qū)域的大小由協(xié)方差矩陣決定。正態(tài)分布中的Bayes決策在數(shù)理統(tǒng)計中，令：式中g稱為x到m的馬氏距離（Mahalanobis）距離。

所以等密度點軌跡是x到m的馬氏距離g為常數(shù)的超橢球面。

正態(tài)分布中的Bayes決策③.不相關性等價于獨立性

概率論中，一般來說，兩個隨機變量xi和xj之間不相關，并不意味著它們一定獨立。

如果xi和xj之間不相關，則xixj的數(shù)學期望有：如果xi和xj相互獨立，則有：正態(tài)分布中的Bayes決策

如果xi和xj相互獨立，則它們之間一定不相關，反之則不成立。

但是對服從正態(tài)分布的兩個分量xi和xj，若xi和xj互不相關，則它們之間一定獨立。證明：見書P27

根據獨立性的定義：正態(tài)分布隨機向量的各分量間互不相關性與相互獨立等價。

獨立性是比不相關更強的條件。不相關反映了xi和xj的總體性質。正態(tài)分布中的Bayes決策④.邊緣分布與條件分布的正態(tài)性從(3)證明得出的結論r(x)表達式，如果x用xj表示，有：也就是說，邊緣分布r(x1)服從均值為m，方差為s112的正態(tài)分布：同理，正態(tài)分布中的Bayes決策二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為下面以二元正態(tài)分布為例進行證明正態(tài)分布中的Bayes決策根據邊緣分布定義正態(tài)分布中的Bayes決策=1

另外，條件分布，給定x1的條件下x2的分布：證明條件分布仍然是正態(tài)分布（作業(yè)題）正態(tài)分布中的Bayes決策⑤.線性變換的正態(tài)性

對于多元隨機向量的線性變換，仍為多元正態(tài)分布的隨機向量。

就是：x服從正態(tài)分布r(x)～N(m,S)，對x作線性變換y=Ax，其中A為線性變換矩陣，且|A|≠0，則y服從正態(tài)分布：r(x)～N(Am,ASAT)證明：x經過變換為y，設變換矩陣A為非奇異矩陣，y=Ax即x=A-1y正態(tài)分布中的Bayes決策即Ex=m,Ey=n根據雅克比行列式的定義，有|J|=|A|x的均值向量為m，y的均值向量為n所以y的概密函數(shù)與x的概密函數(shù)之間的關系為：所以：n

=Am

即m

=A-1n正態(tài)分布中的Bayes決策由于：|A|=|AT|=|AA|1/2（對稱正定）由上面的結論可以得到：正態(tài)分布中的Bayes決策即：

性質5說明了用非奇異陣A對x作線性變換后，原來的正態(tài)分布正好變成另一個參數(shù)不同的正態(tài)分布。

由于∑是對稱陣，根據高等代數(shù)知識總可以找到某個A，使得變換后y的協(xié)方差矩陣A∑AT為對稱陣，

這就意味著y的各個分量之間是相互獨立的，也就是總可以找到一組坐標系，使各隨機變量在新的坐標系下是獨立的。正態(tài)分布中的Bayes決策⑥.線性組合的正態(tài)性

若x為多元正態(tài)隨機向量，則線性組合y=aTx是一維的正態(tài)隨機變量：其中，a與x同維。證明利用性質(5)做線性變換y=ATx,得正態(tài)分布中的Bayes決策

由性質(5)，y是服從均值向量ATm，協(xié)方差陣AT∑A的多元統(tǒng)計分布,

由性質(4)，

y的邊緣分布的正態(tài)性，可以得出y=aTx服從正態(tài)分布，其概率密度函數(shù)為：其中A=[a,A1]為非奇異陣，A1為d×(d-1)為矩陣，y=[y,Y1]T正態(tài)分布中的Bayes決策2.3.2正態(tài)分布中的Bayes分類方法

前面，我們已經把基于Bayes公式的幾種分類判決規(guī)則抽象為相應的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯誤率判決規(guī)則是一種最基本的方法。

如果取0－1損失函數(shù)，最小風險判決規(guī)則和最大似然比判決規(guī)則均與最小錯誤判決規(guī)則等價。正態(tài)分布中的Bayes決策

下面以最小錯誤判決規(guī)則為例來研究Bayes分類方法在正態(tài)分布中的應用。

由最小錯誤率判決規(guī)則抽象出來的判決函數(shù)如下：

如果類概率密度是正態(tài)分布的，正態(tài)分布中的Bayes決策則r(x|wi)～N(mi,Si)。

取對數(shù)，得判別函數(shù)為正態(tài)分布中的Bayes決策下面對幾種特殊情況進行討論。情況一：

該情況下，每類的協(xié)方差矩陣相等，而且類的各特征間相互獨立（由上節(jié)的性質③得知），具有相等的方差s2。正態(tài)分布中的Bayes決策因此：(1)先驗概率P(wi)與P(wj)不相等正態(tài)分布中的Bayes決策其中：將上兩式代入gi(x)：為x到類wi的均值向量mi的“歐氏距離”的平方。與類別無關，可以忽略，因此gi(x)可簡化為：正態(tài)分布中的Bayes決策進一步簡化得。xTx與i無關，可以忽略：正態(tài)分布中的Bayes決策是一個線性函數(shù)。因此可以進一步寫成正態(tài)分布中的Bayes決策(2)P(wi)=P，所有各類概率相等決策規(guī)則：對某個x計算

為線性函數(shù)，其決策面由線性方程決策面是一個超平面。正態(tài)分布中的Bayes決策滿足的x的軌跡是wi

與wj

類間的決策面當P(wi)=P(wj)時，超平面通過mi

與mj連線中點并與連線正交正態(tài)分布中的Bayes決策兩個同心圓是兩類概率分布等密度點軌跡，兩個圓心就是兩類的均值點。兩類的區(qū)分線l與m1-m2垂直，其交點為x0

若P(w1)≠P(w2)時，x0向先驗概率較小的那個類型的均值點偏移。x0一般不是m1-m2的中點，但當P(w1)=P(w2)時，x0為m1-m2的中點。正態(tài)分布中的Bayes決策情況二：Σi＝

Σ相等，即各類協(xié)方差相等

從幾何上看，相當于各類樣本集中于以該類均值點為中心的同樣大小和形狀的超橢球面內。正態(tài)分布中的Bayes決策

對于未知的x，如果把x與各類均值相減，即相當于Mahalanobis距離的平方。這時把x歸于最近一類。稱為最小距離分類器。與類別無關，可以忽略，正態(tài)分布中的Bayes決策gi（x）為線性函數(shù)，故決策面是一個超平面。正態(tài)分布中的Bayes決策如果決策域R1和R2相鄰，則決策面方程應滿：如果各類的先驗概率相等，則正態(tài)分布中的Bayes決策下面針對ω1，ω2二類情況進行討論正態(tài)分布中的Bayes決策情況三：Σ?為任意，各類協(xié)方差矩陣不等這時判別函數(shù)為x的二次型。正態(tài)分布中的Bayes決策如果決策域，R1和R2相鄰，則決策面方程應滿足正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策2.4關于分類器的錯誤率問題

在分類過程中，任何一種決策規(guī)則都有其相應的錯誤率，當采用指定的決策規(guī)則來對類條件概率密度及先驗概率均為已知的問題進行分類時，它的錯誤率是固定的。錯誤率反映了分類問題固有的復雜性的程度。對同一種問題設計出的多種不同的分類方案，通常總是以錯誤率大小作為比較方案好壞的標準。因此，在本書中錯誤率是非常重要的參數(shù)。正態(tài)分布中的Bayes決策2.4.0兩類決策的錯誤率為下式

從上式可以看出當x為多維向量的時候，進行積分運算的工作量比較大。

因此對于實際問題，對錯誤率的研究一般從下面三點出發(fā)：1、按理論公式研究。2、計算錯誤率上界3、實驗估計正態(tài)分布中的Bayes決策2.4.1在一些特殊情況下錯誤率的理論計算第一種情況---正態(tài)分布且等協(xié)方差矩陣S1=S2=S3下面回顧一下最小錯誤率貝葉斯決策的負對數(shù)似然比函數(shù)很顯然，h(x)為隨機變量，記它的分布函數(shù)為P(h|wi)正態(tài)分布中的Bayes決策這樣貝葉斯決策的最小錯誤率形式

在實際情況下，我們只考慮正態(tài)分布，因此h(x)可以寫成如下形式：正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策

上式表