判別分析貝葉斯判別演示文稿

判別分析貝葉斯判別演示文稿當前第1頁\共有28頁\編于星期三\20點（優(yōu)選）判別分析貝葉斯判別.當前第2頁\共有28頁\編于星期三\20點判別分析是多元統(tǒng)計中用于判別樣品所屬類型的一種統(tǒng)計分析方法。是一種在一些已知研究對象用某種方法已經(jīng)分成若干類的情況下，確定新的樣品的觀測數(shù)據(jù)屬于那一類的統(tǒng)計分析方法。當前第3頁\共有28頁\編于星期三\20點

判別準則：用于衡量新樣品與各已知組別接近程度的思路原則。

判別函數(shù)：基于一定的判別準則計算出的用于衡量新樣品與各已知組別接近程度的描述指標。按照判別準則來分有距離判別、費希爾判別與貝葉斯判別。當前第4頁\共有28頁\編于星期三\20點距離判別法判別準則：對于任給一次觀測值，若它與第類的重心距離最近，就認為它來自于第類。馬氏距離當前第5頁\共有28頁\編于星期三\20點1、協(xié)方差相等兩總體的距離判別先考慮兩個總體的情況，設有兩個協(xié)差陣相同的p維正態(tài)總體和，對給定的樣本Y，判別一個樣本Y到底是來自哪一個總體，一個最直觀的想法是計算Y到兩個總體的距離。我們用馬氏距離來指定判別規(guī)則，有：當前第6頁\共有28頁\編于星期三\20點因此有

判別函數(shù)：當前第7頁\共有28頁\編于星期三\20點

2、當總體的協(xié)方差已知，但不相等當前第8頁\共有28頁\編于星期三\20點

3、當總體的協(xié)方差未知時，用樣本的離差陣代替，步驟如下：（1）分別計算各組的離差矩陣和；

（2）計算（3）計算類的均值（4）計算（5）計算

（6）生成判別函數(shù)，將檢驗樣本代入，判類。當前第9頁\共有28頁\編于星期三\20點多總體的距離判別法則設有個元總體，分別有均值向量

和協(xié)方差陣，對任給的元樣品，判斷它來自哪個總體計算到個總體的馬氏距離，比較后，把判歸給距離最小的那個總體，若當前第10頁\共有28頁\編于星期三\20點錯判概率

由上面的分析可以看出，馬氏距離判別法是合理的，但是這并不意謂著不會發(fā)生誤判。

設兩總體，分別服從其線性判別函數(shù)為：

不妨設，則當時，當前第11頁\共有28頁\編于星期三\20點當前第12頁\共有28頁\編于星期三\20點當兩總體靠得比較近時，即兩總體的均值差異較小時，無論用何種判別方法，判錯的概率都比較大，這時的判別分析也是沒有意義的，因此只有當兩總體的均值有明顯差異時，進行判別分析才有意義，為此，要對兩總體的均值差異性進行檢驗.練習：P211:5-1當前第13頁\共有28頁\編于星期三\20點辦公室新來了一個雇員小王，小王是好人還是壞人大家都在猜測。按人們主觀意識，一個人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。貝葉斯判別法一、標準的Bayes判別當前第14頁\共有28頁\編于星期三\20點當前第15頁\共有28頁\編于星期三\20點一個好的判別方法，既要考慮到各個總體出現(xiàn)的先驗概率，又要考慮到錯判造成的損失，貝葉斯(Bayes)判別就具有這些優(yōu)點，其判別效果更加理想，應用也更廣泛。貝葉斯公式是一個我們熟知的公式

距離判別簡單直觀，很實用，但是距離判別的方法把總體等同看待，沒有考慮到總體會以不同的概率(先驗概率)出現(xiàn)，也沒有考慮誤判之后所造成的損失的差異。當前第16頁\共有28頁\編于星期三\20點則判給，在正態(tài)的假定下，為正態(tài)分布的密度函數(shù)。設有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為。即當樣本發(fā)生時，求屬于某類的概率。由貝葉斯公式計算后驗概率，有：判別規(guī)則當前第17頁\共有28頁\編于星期三\20點則判給。上式兩邊取對數(shù)下面討論總體服從正態(tài)分布的情形當前第18頁\共有28頁\編于星期三\20點問題轉(zhuǎn)化為若，則判。當協(xié)方差陣相等時

去掉與i無關的項，等價的判別函數(shù)為：

判別函數(shù)退化為當前第19頁\共有28頁\編于星期三\20點令

問題轉(zhuǎn)化為若，則判。令

當前第20頁\共有28頁\編于星期三\20點

完全成為距離判別法。令有問題轉(zhuǎn)化為若，則判。當先驗概率相等，即時當前第21頁\共有28頁\編于星期三\20點二、考慮錯判損失的Bayes判別分析設有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為，

。D1，D2，…，Dk是R(p)的一個分劃，判別法則為：關鍵的問題是尋找D1，D2，…，Dk分劃，這個分劃應該使平均錯判率最小。

當樣品X落入Di時，判

當前第22頁\共有28頁\編于星期三\20點【定義】（平均錯判損失）

C(j/i)表示相應錯判所造成的損失。則平均錯判損失為：

使ECM最小的分劃，是Bayes判別分析的解。

用

表示將來自總體Gi的樣品錯判到總體Gj的條件概率。

當前第23頁\共有28頁\編于星期三\20點【定理】且相應的密度函數(shù)為，損失為時，劃分的貝葉斯解為若總體G1，G2，，Gk的先驗概率為其中當前第24頁\共有28頁\編于星期三\20點含義是：當抽取了一個未知總體的樣品值x，要判別它屬于哪個總體，只要先計算出k個按先驗概率加權的誤判平均損失然后比較其大小，選取其中最小的，則判定樣品屬于該總體。下面在k=2的情形下，計算作為例子，我們討論。當前第25頁\共有28頁\編于星期三\20點