第3章-正態(tài)分布時(shí)的統(tǒng)計(jì)決策16頁(yè)

1、第3章 正態(tài)分布時(shí)的統(tǒng)計(jì)決策在統(tǒng)計(jì)決策理論中，涉及到類(lèi)條件概率密度函數(shù)。對(duì)許多實(shí)際的數(shù)據(jù)集，正態(tài)分布通常是合理的近似。如果在特征空間中的某一類(lèi)樣本，較多地分布在這一類(lèi)均值附近，遠(yuǎn)離均值點(diǎn)的樣本比較少，此時(shí)用正態(tài)分布作為這一類(lèi)的概率模型是合理的。另外，正態(tài)分布概率模型有許多好的性質(zhì)，有利于作數(shù)學(xué)分析。概括起來(lái)就是：（1） 物理上的合理性（2） 數(shù)學(xué)上的簡(jiǎn)單性下面重點(diǎn)討論正態(tài)分布分布及其性質(zhì)，以及正態(tài)分布下的Bayes決策理論。3.1 正態(tài)分布概率密度函數(shù)的定義及性質(zhì)1單變量正態(tài)分布定義： （3.1-1）其中：為隨機(jī)變量x的期望，也就是平均值； 為x的方差，為均方差，又稱(chēng)為標(biāo)準(zhǔn)差。 （3.1-2）

2、 （3.1-3）概率密度函數(shù)的一般圖形如下：具有一下性質(zhì)： （3.1-4）從的圖形上可以看出，只要有兩個(gè)參數(shù)就可以完全確定其曲線(xiàn)。為了簡(jiǎn)單，常記為。若從服從正態(tài)分布的總體中隨機(jī)抽取樣本x，約有95的樣本落在中。樣本的分散程度可以用來(lái)表示，越大分散程度越大。2多元正態(tài)分布定義： （3.1-5）其中：為d維隨機(jī)向量，對(duì)于d維隨機(jī)向量x，它的均值向量是d維的。也就是： 為d維均值向量。是維協(xié)方差矩陣，是的逆矩陣，為的行列式。協(xié)方差矩陣是對(duì)稱(chēng)的，其中有個(gè)獨(dú)立元素。由于可由和完全確定，所以實(shí)際上可由個(gè)獨(dú)立元素來(lái)確定。是的轉(zhuǎn)置，且：、分別是向量x和矩陣的期望。具體說(shuō)：若是的第i個(gè)分量，是的第i個(gè)分量，是的

3、第i、j個(gè)元素。 （3.1-6）其中為邊緣分布，“對(duì)于二維隨機(jī)變量X和Y作為一個(gè)整體，其分布函數(shù)F（x，y），而X和Y都是隨機(jī)變量，各別也有分布函數(shù)FX(x)、FY(y)，分別稱(chēng)為二維隨機(jī)變量（X，Y）關(guān)于X和Y的邊緣分布函數(shù)。有：和。對(duì)于離散隨機(jī)變量有：從中得到X的分布律為：同樣，Y的分布律為。對(duì)于連續(xù)型隨機(jī)變量（X，Y），假定它的概率密度為，由：知道，X的概率密度為：同樣也可以求出Y的概率密度函數(shù)?！倍?（3.1-7）協(xié)方差矩陣： （3.1-8）是一個(gè)對(duì)稱(chēng)矩陣，只考慮為正定矩陣的情況，也就是所有的子式都大于0。即，同單變量正態(tài)分布一樣，多元正態(tài)分布可以由和完全確定，常記為。3多元正態(tài)分布

4、的性質(zhì)（1）參數(shù)對(duì)分布的決定性對(duì)于d維隨機(jī)向量x，它的均值向量也是d維的，協(xié)方差矩陣是對(duì)稱(chēng)的，其中有個(gè)獨(dú)立元素?？捎赏耆_定，實(shí)際上可由個(gè)獨(dú)立元素決定。常記為：。（2）等密度點(diǎn)的軌跡為一超橢球面由的定義公式（3.1-5）可知，當(dāng)右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度的值不變，所以等密度點(diǎn)滿(mǎn)足：可以證明，上式的解是一個(gè)超橢球面，其主軸方向取決于的本征向量（特征向量），主軸的長(zhǎng)度與相應(yīng)的本征值成正比。如下圖所示：從上圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由和所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的中心由均值向量決定，區(qū)域的大小由協(xié)方差矩陣決定。在數(shù)理統(tǒng)計(jì)中，令：式中稱(chēng)為x到的馬氏距離（Mahalanobis）距

5、離。所以，等密度點(diǎn)軌跡是x到的馬氏距離為常數(shù)的超橢球面。該超橢球面構(gòu)成的球體的大小是樣本對(duì)于均值向量的“離散度度量”。體積：d為奇數(shù)d為偶數(shù)如果d確定了，則不變，v與有關(guān)。也就是對(duì)于給定的維數(shù)d，樣本離散度隨而變。（3）不相關(guān)性等價(jià)于獨(dú)立性概率論中，兩個(gè)隨機(jī)變量和之間不相關(guān)，并不意味著它們一定獨(dú)立。如果和之間不相關(guān)，則的數(shù)學(xué)期望有：如果和相互獨(dú)立，則有：獨(dú)立性是比不相關(guān)更強(qiáng)的條件。不相關(guān)反映了和的總體性質(zhì)。如果和相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立。但是對(duì)服從正態(tài)分布的兩個(gè)分量和，若與互不相關(guān)，則它們之間一定獨(dú)立。證明：根據(jù)定義，和的協(xié)方差又根據(jù)不相關(guān)定義有：又：，所以：有協(xié)方差矩陣成

6、為對(duì)角陣?？梢杂?jì)算出：，因此，根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間互不相關(guān)性與相互獨(dú)立等價(jià)。（4）邊緣分布與條件分布的等價(jià)性不難證明正態(tài)隨機(jī)向量的邊緣分布與條件分布仍服從正態(tài)分布。從（3）證明得出的結(jié)論表達(dá)式，如果x用表示，有：也就是說(shuō)，邊緣分布服從均值為，方差為的正態(tài)分布：同理，另外，條件分布，給定的條件下的分布：代入上式，服從正態(tài)分布，同理也服從正態(tài)分布。（5）線(xiàn)性變換的正態(tài)性對(duì)于多元隨機(jī)向量的線(xiàn)性變換，仍為多元正態(tài)分布的隨機(jī)向量。就是：x服從正態(tài)分布，對(duì)x作線(xiàn)性變換，其中A為線(xiàn)性變換矩陣，且，則y服從正態(tài)分布：（6）線(xiàn)性組合的正態(tài)性若x為多元正態(tài)隨機(jī)向量，則線(xiàn)性組合是一維的正態(tài)隨

7、機(jī)變量：其中，a與x同維。3.2 正態(tài)分布中的Bayes分類(lèi)方法在上一章，我們已經(jīng)把基于Bayes公式的幾種分類(lèi)判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。如果取01損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。為了方便，我們以最小錯(cuò)誤判決規(guī)則為例來(lái)研究Bayes分類(lèi)方法在正態(tài)分布中的應(yīng)用。由最小錯(cuò)誤率判決規(guī)則抽象出來(lái)的判決函數(shù)如下：如果類(lèi)概率密度是正態(tài)分布的，則。由于對(duì)數(shù)函數(shù)是一個(gè)單調(diào)變化的函數(shù)，上式右邊取對(duì)數(shù)后作為判決函數(shù)使用不會(huì)改變類(lèi)型區(qū)域的劃分。因此：其中，與類(lèi)型無(wú)關(guān)，所有函數(shù)皆加上此項(xiàng)后，并不影響區(qū)域

8、的劃分，可以去掉。下面對(duì)幾種特殊情況進(jìn)行討論。1情況一：，該情況下，每類(lèi)的協(xié)方差矩陣相等，而且類(lèi)的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)得知），具有相等的方差。因此： 將上兩式代入：上式中的第2、3項(xiàng)與類(lèi)別無(wú)關(guān)，可以忽略，因此可以簡(jiǎn)化為：其中：，為x到類(lèi)的均值向量的“歐氏距離”的平方。討論一個(gè)特殊情況，所有各類(lèi)概率相等。則：此時(shí)，對(duì)x的歸類(lèi)表示為：計(jì)算x到各類(lèi)均值的歐氏距離的平方，然后把x歸于具有的類(lèi)。這種分類(lèi)器叫最小距離分類(lèi)器。接著對(duì)進(jìn)一步化簡(jiǎn)： 式中：與i無(wú)關(guān)，可以忽略：式中：是一個(gè)線(xiàn)性函數(shù)。決策規(guī)則：對(duì)某個(gè)x計(jì)算，若，則決策。由于為線(xiàn)性函數(shù)，其決策面由線(xiàn)性方程構(gòu)成，決策面是一個(gè)超平面。上述結(jié)果表

9、示在二維特征空間里，如下圖所示：兩個(gè)同心圓是兩類(lèi)概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類(lèi)的均值點(diǎn)。兩類(lèi)的區(qū)分線(xiàn)與垂直，其交點(diǎn)為。一般不是的中點(diǎn)，但當(dāng)時(shí)，為的中點(diǎn)。若時(shí)，向先驗(yàn)概率較小的那個(gè)類(lèi)型的均值點(diǎn)偏移?？梢酝茝V到多類(lèi)的情況，注意這種分類(lèi)方法沒(méi)有不確定的區(qū)域。2. 情況二：各類(lèi)的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類(lèi)樣本集中在以該類(lèi)均值為中心的同樣大小和形狀的超橢球內(nèi)。不變，與i無(wú)關(guān)：一個(gè)特例，當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中：為x到均值點(diǎn)的“馬氏距離”的平方（Mahalanobis）。進(jìn)一步簡(jiǎn)化： 對(duì)于樣本x 只要計(jì)算出，把x歸于最小的類(lèi)別。接著對(duì)化簡(jiǎn)：去掉與無(wú)關(guān)的項(xiàng)： 其中：，也是一個(gè)線(xiàn)性函數(shù)

10、，對(duì)應(yīng)的決策面也是一個(gè)超平面。對(duì)于和相鄰，決策面方程：其中：與第一種情況不同，此時(shí)決策面通過(guò)，但不與正交（垂直）。二維情況：當(dāng)各類(lèi)先驗(yàn)概率相等時(shí)位于的中點(diǎn)上。當(dāng)各類(lèi)先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。3第三種情況各類(lèi)協(xié)方差矩陣不等：，由于：去掉與無(wú)關(guān)的項(xiàng)，得：表示為：其中：維向量此時(shí)表示為的二次型。對(duì)于和相鄰，決策面應(yīng)為：該曲線(xiàn)為超二次曲面。隨、的不同，超二次曲面為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。假設(shè)特征空間是二維的，模式樣本的兩個(gè)分量之間是相互獨(dú)立的，所以協(xié)方差矩陣是2X2維的對(duì)角矩陣。令各類(lèi)的先驗(yàn)概率相等，那么不同類(lèi)型區(qū)域的劃分取決于各類(lèi)的均值

11、向量和兩個(gè)方差項(xiàng)的差異，而決策面的形狀主要取決于兩個(gè)方差項(xiàng)的差異。，（1）若，且，則兩類(lèi)的概率分布等密度線(xiàn)分別是以各自均值點(diǎn)為圓心的同心圓，圓的大小與相應(yīng)的方差相一致。由于，所以來(lái)自類(lèi)型的樣本更密集于它的均值點(diǎn)附近；同時(shí)，由于園的對(duì)稱(chēng)性，決策面為包圍均值點(diǎn)的一個(gè)圓。（2）若在上圖的(a)的基礎(chǔ)上增大分量x2的方差和，使和，這樣圖(a)中的圓在x2方向上伸展，而變成橢圓，如圖(b)所示，決策面也變成了橢圓。（3）若，在這種情況下，分量x2大的樣本x很可能來(lái)自類(lèi)型，使決策面變成一條拋物線(xiàn)，如圖(c)所示。（4）若在(c)的基礎(chǔ)上增大，使，在這種情況下，決策面變成雙曲線(xiàn)，如圖(d)所示。（5）在一非常特殊的對(duì)稱(chēng)條件下，使(d)中的雙曲線(xiàn)向一對(duì)互相垂直的直線(xiàn)退化，如圖(e)所示。在這種情況下，兩種類(lèi)型是線(xiàn)性可分的。清華模式識(shí)別書(shū)上P34中間用圖討論了幾種決策面的變化。例1：設(shè)在三維特征空間里，兩類(lèi)的類(lèi)概率密度是正態(tài)分布的，分別在兩個(gè)類(lèi)型中獲得4個(gè)樣本，位于一個(gè)單位立方體的頂點(diǎn)上，如下圖。兩類(lèi)的先驗(yàn)概率相等，試確定兩類(lèi)之間的決策面及相應(yīng)的類(lèi)型區(qū)域和。