Bayes判別--精選文檔

1、 §5.2Bayes判別1. Bayes判別的基本思想假設已知對象的先驗概率和“先驗條件概率”, 而后得到后驗概率, 由后驗概率作出判別.2. 兩個總體的Bayes判別(1) 基本推導設概率密度為和的維總體出現(xiàn)的先驗概率為()先驗概率的取法: (i) , (ii) ,一個判別法 = 一個劃分=距離判別中判別下的誤判情況討論,或代價分別記為,在得新后, 后驗概率為(i) 當時, 最優(yōu)劃分是兩個總體的Bayes的判別準則此時, 有最小的誤判概率.因為只有取時, 才有最小.(ii) 當時對的誤判平均損失: ,對的誤判平均損失:,對整個誤判的平均損失:可證使最小的最優(yōu)劃分是或當時, 有當,

2、且時, 有相當于經典統(tǒng)計學中的似然比準則判別.(2) 兩個正態(tài)總體的Bayes判別1) 的判別其中,及 實用中, 用樣本均值和樣本協(xié)方差陣代.替.當時, 與距離判別等價.如用后驗概率來判別(或其估計), 則有.1) 的判別與距離判別的區(qū)別為廣義平方距離函數,推導過程略.當 “三同”時, 與距離判別一樣.(3) 誤判概率的計算在下, 作簡要討論.用廣義距離可導出劃分(_)其中, ,兩個總體與的馬氏平方距離可記為經導, 對(_)的劃分, 其誤判率為隨大而小.實用中, 用代.當時, 有當按容量比例選取時, 即有誤判率的回代估計.例5.3 預報春旱. 兩個預報因子的觀察值,假設誤報損失相同, 先驗概率

3、按比例. 由下表數據進行兩總體的Bayes判別.解 , .調用proc discrim得廣義平方距離為()后驗概率為,().回代判別結果如下略,誤判率=0;若用交叉確認法, 則應按下式計算逐個剔除, 交叉判別.有一錯(10號被判錯), 交叉確認估計3. 多個總體的Bayes判別(1) 一般討論設概率密度為的維總體出現(xiàn)的先驗概率為, ()先驗概率的取法: (i) , 或(ii) ,一個判別法 = 一個劃分=判別準則判別下的誤判情況討論,代價記為一個損失矩陣(約定)常取.來自判為其他總體的概率是誤判的概率使其最小, 得最優(yōu)劃分.當不全相等時, 將來自判為其他總體的平均損失率誤判的平均損失率應使其最

4、小的劃分.進一步的討論1) 當時, 因, 故從而有當時,是使最小的最優(yōu)劃分.又由Bayes公式, 當出現(xiàn)樣品時, 總體的后驗概率故最優(yōu)劃分為, ()當有多個時, 任選一個.2) 當不全相等時,取劃分為可使達到最小.若記(當出現(xiàn)后,被判為來自后驗平均損失, 則有若有多個, 則任判一個.(2) 多個正態(tài)總體的Bayes判別1) 對的情況(i) 當時,設線性判別函數為,其中廣義平方函數,后驗概率這時最優(yōu)劃分()實用中, 用樣本均值和樣本協(xié)方差陣代替.(ii) 不全相等時, 設則有后驗概率,這時最優(yōu)劃分()實用中, 用,代替.2) 一般損失情況計算及最優(yōu)劃分為例5.4 某學院招生時, 有兩個參考指標:

5、 平均學分指數; 管理能力考試成績;申請者分為3類: 錄取; 不錄取; 待定.近期有85位記錄. (部分資料)假定1) 各總體正態(tài)分布;2) 先驗概率按比例;3) 誤判損失相同討論在(i) 協(xié)方差陣相同; (ii) 協(xié)方差不全相同時;Bayes判別分析, 并給出誤判率的回判法和交叉確認法估計值.若有一新申請者的資料和, 在兩種情況下各被判入哪類?解 (i) 調用proc discrim過程, 得(部分)和關于新樣本的后驗概率, ,故應該待定.(ii) 協(xié)方差不全相等時, 有和關于新樣本的后驗概率, ,當屬類(錄取).總結前述內容均利用了所給定的全部p個指標變量, 但并非指標變量越多, 判別效果就越好, 相反, 有時可能影響判別分析效果因此，如回歸分析一樣，在判別分析中仍存在指