判別分析課件

1、1第五章第五章 判別分析判別分析目目 錄錄 5.1 5.1 距離判別距離判別5.2 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法及判別法及 廣義平方距離判別法廣義平方距離判別法5.3 5.3 Fisher(Fisher(費(fèi)歇費(fèi)歇) )判別判別5.4 5.4 判別效果的檢驗(yàn)及判別效果的檢驗(yàn)及 各變量判別能力的檢驗(yàn)各變量判別能力的檢驗(yàn)5.5 5.5 逐步判別逐步判別2第五章第五章 判別分析判別分析什么是判別分析什么是判別分析 判別分析是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分判別分析是用于判斷樣品所屬類型的一種統(tǒng)計(jì)分析方法析方法. 在生產(chǎn)、科研和日常生活中經(jīng)常遇到如何根據(jù)觀在生產(chǎn)、科研和日常

2、生活中經(jīng)常遇到如何根據(jù)觀測(cè)到的數(shù)據(jù)資料對(duì)所研究的對(duì)象進(jìn)行判別歸類的問題測(cè)到的數(shù)據(jù)資料對(duì)所研究的對(duì)象進(jìn)行判別歸類的問題. 例如例如:在醫(yī)學(xué)診斷中在醫(yī)學(xué)診斷中,一個(gè)病人肺部有陰影一個(gè)病人肺部有陰影,醫(yī)生要判醫(yī)生要判斷他是肺結(jié)核、肺部良性腫瘤還是肺癌斷他是肺結(jié)核、肺部良性腫瘤還是肺癌.這里肺結(jié)核病這里肺結(jié)核病人、良性瘤病人、肺癌病人組成三個(gè)總體人、良性瘤病人、肺癌病人組成三個(gè)總體,病人來源于病人來源于這三個(gè)總體之一這三個(gè)總體之一,判別分析的目的是通過測(cè)得病人的指判別分析的目的是通過測(cè)得病人的指標(biāo)標(biāo)(陰影的大小陰影的大小,邊緣是否光滑邊緣是否光滑,體溫多少體溫多少)來判斷他來判斷他應(yīng)該屬哪個(gè)總體應(yīng)該屬

3、哪個(gè)總體(即判斷他生什么病即判斷他生什么病).3第五章第五章 判別分析判別分析什么是判別分析什么是判別分析 在氣象學(xué)中在氣象學(xué)中,由由氣象資料氣象資料判斷明天是陰天還是晴天判斷明天是陰天還是晴天, 是有雨還是無雨是有雨還是無雨. 在市場(chǎng)預(yù)測(cè)中在市場(chǎng)預(yù)測(cè)中,由由調(diào)查資料調(diào)查資料判斷下季度判斷下季度(或下個(gè)月或下個(gè)月)產(chǎn)品是暢銷、平?；驕N產(chǎn)品是暢銷、平?；驕N. 股票持有者股票持有者根據(jù)某種股票近期的變化情況判斷此根據(jù)某種股票近期的變化情況判斷此種股票價(jià)格下一周是上升還是下跌種股票價(jià)格下一周是上升還是下跌. 在環(huán)境科學(xué)中在環(huán)境科學(xué)中,由由氣象條件氣象條件, ,污染濃度等污染濃度等判斷該地判斷該地

4、區(qū)是屬嚴(yán)重污染區(qū)是屬嚴(yán)重污染,一般污染還是無污染一般污染還是無污染. 在地質(zhì)勘探中在地質(zhì)勘探中,由由巖石標(biāo)本的多種特征巖石標(biāo)本的多種特征判斷地層的判斷地層的地質(zhì)年代地質(zhì)年代,是有礦還是無礦是有礦還是無礦,是富礦還是貧礦是富礦還是貧礦. 在體育運(yùn)動(dòng)中在體育運(yùn)動(dòng)中,由由運(yùn)動(dòng)員的多項(xiàng)運(yùn)動(dòng)指標(biāo)來運(yùn)動(dòng)員的多項(xiàng)運(yùn)動(dòng)指標(biāo)來判定游判定游泳運(yùn)動(dòng)員的泳運(yùn)動(dòng)員的苗子苗子是適合練蛙泳是適合練蛙泳,仰泳還是自由泳等仰泳還是自由泳等4第五章第五章 判別分析判別分析什么是判別分析什么是判別分析 判別分析是應(yīng)用性很強(qiáng)的一種多元統(tǒng)計(jì)方法判別分析是應(yīng)用性很強(qiáng)的一種多元統(tǒng)計(jì)方法,已滲透到各個(gè)領(lǐng)域已滲透到各個(gè)領(lǐng)域.但不管是哪個(gè)領(lǐng)域但

5、不管是哪個(gè)領(lǐng)域,判別分析問題判別分析問題都可以這樣描述都可以這樣描述: 設(shè)有設(shè)有k個(gè)個(gè)m維總體維總體G1,G2,Gk,其分布特征已知其分布特征已知(如已如已知分布函數(shù)分別為知分布函數(shù)分別為F1(x),F2(x),Fk(x)，或知道來自各或知道來自各個(gè)總體的訓(xùn)練樣本個(gè)總體的訓(xùn)練樣本).對(duì)給定的一個(gè)新樣品對(duì)給定的一個(gè)新樣品X,我們要判我們要判斷它來自哪個(gè)總體斷它來自哪個(gè)總體. 在進(jìn)行判別歸類時(shí)在進(jìn)行判別歸類時(shí),由假設(shè)的前提由假設(shè)的前提,判別的依據(jù)及處判別的依據(jù)及處理的手法不同理的手法不同,可得出不同判別方法可得出不同判別方法.如距離判別如距離判別,Bayes判別判別,Fisher判別或典型判別判別

6、或典型判別,逐步判別逐步判別,序貫判別等序貫判別等. 本章介紹幾個(gè)常用的判別方法本章介紹幾個(gè)常用的判別方法.第一節(jié)第一節(jié) 信用證的基本知識(shí)信用證的基本知識(shí) 4一、信用證的基本概念一、信用證的基本概念（一）信用證的含義（一）信用證的含義 信用證是一種銀行開立的有條件的承諾付款的書面文件。即開證行根據(jù)進(jìn)口商（開證申請(qǐng)人）的請(qǐng)求和指示向出口商（受益人）開立的一定金額的，并在一定的期限內(nèi)憑規(guī)定的單據(jù)承諾付款的書面文件。 1由銀行開出；2應(yīng)客戶的申請(qǐng)開出（或開證行因自身的需要而開出）；3在符合信用證的條款和條件前提下，憑規(guī)定的單據(jù)向受益人付款； （二）信用證的性質(zhì)與特點(diǎn)（二）信用證的性質(zhì)與特點(diǎn) 41單據(jù)

7、買賣 42獨(dú)立文件 43銀行信用 二、信用證的類型及主要內(nèi)容二、信用證的類型及主要內(nèi)容信用證的類型：信用證的類型：*按照開立形式劃分：按照開立形式劃分： 1/ 信開信用證；信開信用證； 2/ 電開信用證電開信用證 （1）普通電傳開證）普通電傳開證 （2 2）SWIFTSWIFT信用證信用證1/ 1/ 可撤銷和不可撤銷信用證可撤銷和不可撤銷信用證 2/2/ 即期和遠(yuǎn)期信用證或假遠(yuǎn)期信用證即期和遠(yuǎn)期信用證或假遠(yuǎn)期信用證 3/ 3/ 跟單和光票信用證跟單和光票信用證 4/ / 保兌和不保兌信用證保兌和不保兌信用證5/ 5/ 可轉(zhuǎn)讓和不可轉(zhuǎn)讓信用證可轉(zhuǎn)讓和不可轉(zhuǎn)讓信用證 6/ 6/ 議付和不可議付信用

8、證議付和不可議付信用證 *按照其他標(biāo)準(zhǔn)劃分按照其他標(biāo)準(zhǔn)劃分7/ 7/ 循環(huán)信用證循環(huán)信用證 8/8/ 即期和遠(yuǎn)期信用證或假遠(yuǎn)期信用證即期和遠(yuǎn)期信用證或假遠(yuǎn)期信用證 9/ 9/ 軟條款信用證軟條款信用證 10/ / 背對(duì)背信用證背對(duì)背信用證 11/ 11/ 對(duì)開信用證對(duì)開信用證 12/ 12/ 預(yù)支信用證等預(yù)支信用證等 信用證的主要內(nèi)容信用證的主要內(nèi)容 一一.信用證開證行（信用證開證行（Issuing Bank）二二.信用證開證日期（信用證開證日期（Issuing Date）三三.信用證有效期限（信用證有效期限（Expiry Date）和）和 有效地點(diǎn)（有效地點(diǎn)（Expiry Place）四四.

9、信用證申請(qǐng)人（信用證申請(qǐng)人（Applicant）五五.信用證受益人（信用證受益人（Beneficiary)六六.信用證號(hào)碼（信用證號(hào)碼（Documentary Credit Number） 七七.信用證幣別和金額（信用證幣別和金額（Currency Code Amount）八八.信用證貨物描述（信用證貨物描述（Description of goods and/or services）九九.信用證單據(jù)條款（信用證單據(jù)條款（Documents Requied Clause）十十.信用證價(jià)格條款信用證價(jià)格條款(Price Terms)十一十一.信用證裝運(yùn)期限（信用證裝運(yùn)期限（Shipment Dat

10、e）十二十二.信用證交單期限（信用證交單期限（Period for Presentation of Documents） 十三十三.信用證償付行信用證償付行(Reimbursing Bank)十四十四.信用證償付條款（信用證償付條款（Reimbursement Clause）十五十五.信用證銀行費(fèi)用條款（信用證銀行費(fèi)用條款（Banking Charges Clause）十六十六.信用證生效性條款（信用證生效性條款（Valid Conditions Clause）十七十七.信用證特別條款（信用證特別條款（Special Conditions） 三、信用證項(xiàng)下單證的流轉(zhuǎn)程序三、信用證項(xiàng)下單證的流轉(zhuǎn)

11、程序 4 買賣雙方簽訂貿(mào)易合同，在合同中規(guī)定使用信用證方式支付貨款。4 買方向當(dāng)?shù)劂y行提出申請(qǐng)，根據(jù)所簽的貿(mào)易合同填寫開證申請(qǐng)書，落實(shí)開證保證金，或提供其它保證，請(qǐng)銀行（開證行）開證。4開證行根據(jù)開證申請(qǐng)書的內(nèi)容，向賣方（受益人）開出信用證，并發(fā)往（寄交）賣方所在地銀行或代理行（統(tǒng)稱通知行）。 4 通知行核對(duì)密押或印鑒無誤后，將信用證通知（交與）受益人。 4 受益人審核信用證與合同相符后，按信用證規(guī)定裝運(yùn)貨物，并備齊各種貨運(yùn)單據(jù)，開出匯票。4 在信用證有效期和交單期內(nèi)，交給銀行（通常為當(dāng)?shù)劂y行，即議付行）議付。議付行按信用證條款審核單據(jù)無誤后，按照匯票金額扣除利息，把貨款墊付給受益人。4寄單索

12、匯。議付行將匯票和貨運(yùn)單據(jù)按照信用證的要求寄給開證行（或其指定的付款行）索償。 4開證行（或其指定的付款行）核對(duì)單據(jù)無誤后，付款給議付行。 4開證行向買方（開證申請(qǐng)人）提示單據(jù)，買方付款贖單。4開證申請(qǐng)人取得單據(jù)后向承運(yùn)人提貨。 4議付行收到貨款后，為企業(yè)結(jié)匯入賬，并收回墊款。 第二節(jié)第二節(jié) 信用證的審核與修改信用證的審核與修改 一、信用證的審核要求一、信用證的審核要求 （一）審核信用證的真實(shí)性、安全可靠性（一）審核信用證的真實(shí)性、安全可靠性（二）（二）審核信用證與合同條款是否一致，信用審核信用證與合同條款是否一致，信用證條款是否合理，有無前后矛盾現(xiàn)象證條款是否合理，有無前后矛盾現(xiàn)象 （三）（

13、三）審核信用證是否包括軟條款審核信用證是否包括軟條款 二、信用證的修改要求二、信用證的修改要求 （一）接受修改信用證和接受信用證修改（一）接受修改信用證和接受信用證修改的權(quán)利的權(quán)利 （二）修改信用證應(yīng)注意以下問題（二）修改信用證應(yīng)注意以下問題: : （三）對(duì)信用證修改內(nèi)容的接受或拒絕有（三）對(duì)信用證修改內(nèi)容的接受或拒絕有兩種表示形式兩種表示形式: :（四）收到信用證修改后（四）收到信用證修改后, ,應(yīng)及時(shí)檢查修改應(yīng)及時(shí)檢查修改內(nèi)容是否符合要求內(nèi)容是否符合要求, ,并分別情況表示接受并分別情況表示接受或重新提出修改或重新提出修改 （五）對(duì)于修改內(nèi)容要么全部接受（五）對(duì)于修改內(nèi)容要么全部接受, ,

14、要么全要么全部拒絕；部分接受修改中的內(nèi)容是無效的；部拒絕；部分接受修改中的內(nèi)容是無效的；（六）有關(guān)信用證修改必須通過原信用證通（六）有關(guān)信用證修改必須通過原信用證通知行通知才算真實(shí)、有效；通過客戶直接知行通知才算真實(shí)、有效；通過客戶直接寄送的信用證修改申請(qǐng)書或修改書復(fù)印件寄送的信用證修改申請(qǐng)書或修改書復(fù)印件不是有效的修改不是有效的修改（七）明確修改費(fèi)用由誰(shuí)承擔(dān)，一般按照責(zé)（七）明確修改費(fèi)用由誰(shuí)承擔(dān)，一般按照責(zé)任歸屬來確定修改費(fèi)用由誰(shuí)承擔(dān)任歸屬來確定修改費(fèi)用由誰(shuí)承擔(dān) 第三節(jié)第三節(jié) 其它支付方式其它支付方式一、匯付一、匯付 （一）匯付的含義（一）匯付的含義 匯付（Remittance）,又稱匯款，

15、指賣方按照合同約定的條件和時(shí)間將貨物發(fā)給買方后，自己將有關(guān)貨運(yùn)單據(jù)寄給買方；而買方則通過銀行主動(dòng)將貨款付給收款人。這是一種最簡(jiǎn)單的國(guó)際貿(mào)易結(jié)算方式。 （二）匯付的當(dāng)事人（二）匯付的當(dāng)事人 1匯款人(remitter) 2收款人（payee; beneficiary ） 3匯出行（remitting bank ） 4匯入行（receiving bank ）又稱 解付行（paying bank ）（三）匯付的種類和業(yè)務(wù)流程（三）匯付的種類和業(yè)務(wù)流程 1信匯（Mail Transfer, 簡(jiǎn)稱M/T） 2電匯（Telegraphic Transfer,簡(jiǎn)稱T/T） 3票匯（Remittance by

16、 Bankers Demand Draft, 簡(jiǎn)稱D/D） （四）匯付的特點(diǎn)及其使用（四）匯付的特點(diǎn)及其使用 1順匯 2商業(yè)信用 3風(fēng)險(xiǎn)大 4手續(xù)簡(jiǎn)單，費(fèi)用少 電電/ /信匯業(yè)務(wù)流程圖信匯業(yè)務(wù)流程圖 票匯業(yè)務(wù)流程圖票匯業(yè)務(wù)流程圖 4二、托收 （一）托收的含義 （二）托收方式的基本當(dāng)事人 （三）跟單托收的種類及業(yè)務(wù)流程 1付款交單 2. 承兌交單 即期付款交單業(yè)務(wù)流程圖即期付款交單業(yè)務(wù)流程圖 遠(yuǎn)期付款交單業(yè)務(wù)流程圖遠(yuǎn)期付款交單業(yè)務(wù)流程圖 承兌交單業(yè)務(wù)流程圖承兌交單業(yè)務(wù)流程圖（四）信用證與匯付、托收的比較（四）信用證與匯付、托收的比較 三、國(guó)際保理三、國(guó)際保理 （一）國(guó)際保理的含義 （二）保理機(jī)構(gòu)

17、 （三）國(guó)際保理業(yè)務(wù)的特點(diǎn) （四）保理業(yè)務(wù)的主要內(nèi)容 （五）國(guó)際保理業(yè)務(wù)的當(dāng)事人及業(yè)務(wù)程序 （六）國(guó)際保理業(yè)務(wù)的作用及優(yōu)缺點(diǎn) （七）國(guó)際保理的發(fā)展現(xiàn)狀及前景 國(guó)際保理業(yè)務(wù)流程圖國(guó)際保理業(yè)務(wù)流程圖 本章小結(jié)本章小結(jié) 本章介紹了國(guó)際貿(mào)易中常見的幾種支付方式，如信用證、托收、匯付及國(guó)際保付代理業(yè)務(wù)，其中重點(diǎn)介紹了信用證業(yè)務(wù)。通過本章的學(xué)習(xí)，同學(xué)們可以了解各種支付方式的涵義、操作程序、特點(diǎn)及區(qū)別；還應(yīng)掌握信用證業(yè)務(wù)的性質(zhì)、主要內(nèi)容、信用證審核、修改的基本要求，為下一步的單證繕制工作做好準(zhǔn)備。 34第五章第五章 5.1 距離判別法距離判別法 距離判別的基本思想是距離判別的基本思想是: 樣品和哪個(gè)總體距離

18、最近樣品和哪個(gè)總體距離最近,就判它就判它屬哪個(gè)總體屬哪個(gè)總體. 距離判別也稱為直觀判別法距離判別也稱為直觀判別法. 我們?cè)诰唧w討論距離判別法之前我們?cè)诰唧w討論距離判別法之前,應(yīng)給應(yīng)給出合理的距離的定義出合理的距離的定義.35第五章第五章 5.1 距離判別法距離判別法 馬氏距離馬氏距離 已知有兩個(gè)類已知有兩個(gè)類G1和和G2，比如比如G1是設(shè)備是設(shè)備A生產(chǎn)的產(chǎn)生產(chǎn)的產(chǎn)品品，G2是設(shè)備是設(shè)備B生產(chǎn)的同類產(chǎn)品生產(chǎn)的同類產(chǎn)品.設(shè)備設(shè)備A的產(chǎn)品質(zhì)量高的產(chǎn)品質(zhì)量高(如考察指標(biāo)為耐磨度如考察指標(biāo)為耐磨度X)，其平均耐磨度其平均耐磨度1=80,反映反映設(shè)備精度的方差設(shè)備精度的方差2(1)=0.25;設(shè)備設(shè)備B的

19、產(chǎn)品質(zhì)量稍差，的產(chǎn)品質(zhì)量稍差，其平均耐磨度其平均耐磨度2=75,反映設(shè)備精度的方差反映設(shè)備精度的方差2(2)=4.今今有一產(chǎn)品有一產(chǎn)品X0，測(cè)得耐磨度測(cè)得耐磨度x0=78，試判斷該產(chǎn)品是哪試判斷該產(chǎn)品是哪一臺(tái)設(shè)備生產(chǎn)的一臺(tái)設(shè)備生產(chǎn)的? 直觀地看，直觀地看， x0 與與1(設(shè)備設(shè)備A)的絕對(duì)距離近些，按距的絕對(duì)距離近些，按距離最近的原則是否應(yīng)把該產(chǎn)品離最近的原則是否應(yīng)把該產(chǎn)品X0 判斷為設(shè)備判斷為設(shè)備A生產(chǎn)生產(chǎn)的的?36第五章第五章 5.1 距離判別法距離判別法 馬氏距離馬氏距離 考慮一種相對(duì)于分散性的距離考慮一種相對(duì)于分散性的距離.記記X0與與G1,G2的相對(duì)平方距離為的相對(duì)平方距離為d21(

20、x0)或或d22(x0)，則：則： d21(x0)= = = 16=42 d22(x0)= = =2.25=1.52 因?yàn)橐驗(yàn)閐2(x0)=1.54= d1(x0) ,按這種距離準(zhǔn)則應(yīng)判按這種距離準(zhǔn)則應(yīng)判X0為設(shè)備為設(shè)備B生產(chǎn)的生產(chǎn)的.(x0 -1)22(1)(78 - 80)20.25(x0 -2)22(2)(78 - 75)2437第五章第五章 5.1 距離判別法距離判別法 馬氏距離馬氏距離 設(shè)備設(shè)備B生產(chǎn)的產(chǎn)品質(zhì)量較分散，出現(xiàn)生產(chǎn)的產(chǎn)品質(zhì)量較分散，出現(xiàn)x0為為78的可能性仍較大；的可能性仍較大； 而設(shè)備而設(shè)備A生產(chǎn)的產(chǎn)品質(zhì)量較集中，出生產(chǎn)的產(chǎn)品質(zhì)量較集中，出現(xiàn)現(xiàn)x0為為78的可能性較小的

21、可能性較小. 判判X0為設(shè)備為設(shè)備B的產(chǎn)品更合理的產(chǎn)品更合理. 這種相對(duì)于分散性的距離就是本節(jié)介這種相對(duì)于分散性的距離就是本節(jié)介紹的馬氏距離紹的馬氏距離.38第五章第五章 5.1 距離判別法距離判別法馬氏距離馬氏距離2)2(1)1(222)2(212)1()()(xxxx.)()(*def21)2(1)1(2)1(2)2(1xxx 一般地一般地,我們假設(shè)我們假設(shè)G1的分布為的分布為N(1),21),G2的分布為的分布為 N(2),22),則利用相對(duì)距離的定義則利用相對(duì)距離的定義,可以找出分界點(diǎn)可以找出分界點(diǎn)*(不妨設(shè)不妨設(shè) (2)(1),當(dāng)當(dāng)(2)x(1)時(shí)時(shí),令令而按這種距離最近的判別準(zhǔn)則為

22、：而按這種距離最近的判別準(zhǔn)則為：.,*2*1xGxxGx當(dāng)判當(dāng)判39第五章第五章 5.1 距離判別法距離判別法利用馬氏距離對(duì)兩個(gè)一維正態(tài)總體判別歸類示意圖利用馬氏距離對(duì)兩個(gè)一維正態(tài)總體判別歸類示意圖 利用馬氏距離對(duì)兩個(gè)一維正態(tài)總體判別歸類利用馬氏距離對(duì)兩個(gè)一維正態(tài)總體判別歸類令令: :(* =79為到兩總體相為到兩總體相對(duì)距離相等的分界點(diǎn)對(duì)距離相等的分界點(diǎn))x0=78*=79 判判x0G2.40第五章第五章 5.1 距離判別法距離判別法 馬氏距離馬氏距離 定義定義5.1.1(5.1.1(馬氏距離馬氏距離) ) 設(shè)總體設(shè)總體G為為m維總體維總體( (考察考察m個(gè)指標(biāo)個(gè)指標(biāo)) )，均值向量為，均值

23、向量為=(=(1 1, ,2 2 , , , ,m)，協(xié)方差陣為協(xié)方差陣為=(=(ij) )，則樣品則樣品X=(=(x1,x2,xm)與總體與總體G的馬氏距離定義為的馬氏距離定義為222212)()()(),(,1)()(),(xxxGxdmXXGXd時(shí)當(dāng)41第五章第五章 5.1 距離判別法距離判別法 多總體樣本特征量多總體樣本特征量 設(shè)有設(shè)有k個(gè)總體個(gè)總體Gi(i=1,k),已知來自已知來自Gi (i=1,.,k) 的訓(xùn)練樣本為的訓(xùn)練樣本為:其中其中ni是取自是取自Gi的樣品個(gè)數(shù)的樣品個(gè)數(shù), ,則均值向量則均值向量i的估的估計(jì)量為計(jì)量為),.,2 , 1;, 1(,)()(2)(1)()(i

24、itmitititntkixxxX42第五章第五章 5.1 距離判別法距離判別法 多總體樣本特征量多總體樣本特征量,11)(mmiljiiisAnS), 2 , 1,()(111)()()()()(mjlxxxxnsintijitjilitliilj 總體總體Gi的協(xié)方差陣的協(xié)方差陣i的估計(jì)的估計(jì)Si為為并稱并稱St為組內(nèi)協(xié)差陣為組內(nèi)協(xié)差陣.intiitiitiXXXXA1)()()()()()()(其中稱為組內(nèi)離差陣稱為組內(nèi)離差陣,43第五章第五章 5.1 距離判別法距離判別法多總體樣本特征量多總體樣本特征量 ,11mmljkiisAknS 當(dāng)假定當(dāng)假定1 1= = =k=時(shí)時(shí), ,反映分散

25、性的協(xié)方反映分散性的協(xié)方差陣差陣的估計(jì)的估計(jì)S為為并稱并稱S為合并樣本協(xié)差陣為合并樣本協(xié)差陣; 問題是對(duì)任給定的問題是對(duì)任給定的m維樣品維樣品X=(x1,x2 ,xm ),要判斷它來自哪個(gè)總體要判斷它來自哪個(gè)總體.),2, 1,()(111)()()()(mjlxxxxknskintijitjilitllji 其中其中44第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:1=2 時(shí)的判別方法時(shí)的判別方法 最直觀的想法是分別計(jì)算樣品最直觀的想法是分別計(jì)算樣品X到兩個(gè)總體的到兩個(gè)總體的距離距離d21(X)和和d22(X) (或記為或記為d2(X,G1)和和d2(X,G2) )，并按

26、距離最近準(zhǔn)則判別歸類并按距離最近準(zhǔn)則判別歸類,即判別準(zhǔn)則為：即判別準(zhǔn)則為： 判判X G1 , 當(dāng)當(dāng)d2(X,G1) d2(X,G2)時(shí)時(shí), 待判待判, 當(dāng)當(dāng)d2(X,G1) = d2(X,G2)時(shí)時(shí). 這里的距離指馬氏距離這里的距離指馬氏距離.利用馬氏距離的利用馬氏距離的定義及兩總體協(xié)差陣相等的假設(shè)，可以簡(jiǎn)化定義及兩總體協(xié)差陣相等的假設(shè)，可以簡(jiǎn)化馬氏距離的計(jì)算公式馬氏距離的計(jì)算公式.45第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法 對(duì)給定樣品對(duì)給定樣品X，為比較為比較X X到各總體的馬氏距離，到各總體的馬氏距離，只須計(jì)算只須計(jì)算Yi(X

27、) : :46第五章第五章 5.1 距離判別法距離判別法兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法 Ci 因?yàn)楹瘮?shù)因?yàn)楹瘮?shù)Yi(X)是是X的線性函數(shù)的線性函數(shù)( (i=1,2),=1,2),故故47第五章第五章 5.1 距離判別法距離判別法兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法若考察這兩個(gè)馬氏距離之差若考察這兩個(gè)馬氏距離之差, ,經(jīng)計(jì)算可得經(jīng)計(jì)算可得: : )(2)()( 2)(2)(2)()(2111212122XWXYXYXYXSXXYXSXXdXd)(21)(21)()(21)(21)()(21)(21)()()2()1(1)2()2()1(1)1(1)2

28、()1()1(1)2()2(1)2()2(1)2(1)1()1(1)1()1(1XXSXXXSXXSXXXSXXSXXXSXSXXSXXXSXW48第五章第五章 5.1 距離判別法距離判別法兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法即即 )(21)(21)2()1(1)2()1()2()1(1)2()1()2()1(1XXSXXXXXSXXXXSX49第五章第五章 5.1 距離判別法距離判別法兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法 則判別準(zhǔn)則還可以寫為：則判別準(zhǔn)則還可以寫為： 判判XG1, 當(dāng)當(dāng)W(X)0時(shí)時(shí), 判判XG2, 當(dāng)當(dāng)W(X) 2 2 , ,則則a為

29、正數(shù)為正數(shù)，W(x)的符號(hào)取決于的符號(hào)取決于x或或x.53第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法(m=1時(shí)的時(shí)的錯(cuò)判率錯(cuò)判率) ) 用這種判別法會(huì)發(fā)生錯(cuò)判用這種判別法會(huì)發(fā)生錯(cuò)判, ,如如X X來自來自G1 1, ,但卻落入但卻落入D2 2, ,被判為屬被判為屬G2 2 . .錯(cuò)判的概率為下圖中陰影左半部分錯(cuò)判的概率為下圖中陰影左半部分的面積的面積, ,并記為并記為P(2P(2|1).1).類似有類似有P(1P(1|2).2).分界點(diǎn)分界點(diǎn)=77.554第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 1=2 時(shí)的判

30、別方法時(shí)的判別方法(m=1時(shí)的時(shí)的錯(cuò)判率錯(cuò)判率) ) 上例中上例中,當(dāng)當(dāng)1=80,2 =75,=2時(shí)時(shí)分界點(diǎn)分界點(diǎn) =(80+75)/2=77.5,故錯(cuò)判概率為故錯(cuò)判概率為 P(2|1)= PX77.5|55第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 1=2 時(shí)的判別方法時(shí)的判別方法(m=1時(shí)的時(shí)的錯(cuò)判率錯(cuò)判率) )一般地一般地, ,經(jīng)計(jì)算可得經(jīng)計(jì)算可得: : 由錯(cuò)判概率的公式及上圖可見由錯(cuò)判概率的公式及上圖可見, , 當(dāng)兩總體均當(dāng)兩總體均值靠得很近值靠得很近( (即即| 1 1 - - 2 2 |很小很小) )時(shí)時(shí), ,則錯(cuò)判概則錯(cuò)判概率很大率很大, ,這時(shí)作判別分析

31、是沒有意義的這時(shí)作判別分析是沒有意義的. .因此只因此只有當(dāng)兩總體的均值有顯著性差異時(shí)有當(dāng)兩總體的均值有顯著性差異時(shí), ,作判別分作判別分析才有意義析才有意義. .56第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1 簡(jiǎn)例簡(jiǎn)例1 1 :記二維正態(tài)總體記二維正態(tài)總體N2( (i), )為為Gi(i=1,2)(兩總體兩總體協(xié)差陣相同協(xié)差陣相同),已知來自已知來自Gi(i=1,2)的樣本數(shù)據(jù)陣為的樣本數(shù)據(jù)陣為 (1) 試求兩總體的樣本組內(nèi)離差陣試求兩總體的樣本組內(nèi)離差陣A1, A2和合和合并樣本協(xié)差陣并樣本協(xié)差陣S. (2) 今有樣品今有樣品x0 =(2,8),試問按

32、馬氏距離準(zhǔn)則樣試問按馬氏距離準(zhǔn)則樣品品x0應(yīng)判歸哪一類應(yīng)判歸哪一類. 3, 42, 2.549375,1038310412221)2(23)1(24nnmkXX57第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1 (1) (1)解解: : 8222)(,2021018222)(,00200121)2()2(2)2(23)1()1(1)1(24XXAXXAXX.74,103)2()1(XX58第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1,411154164445121,16444822282222121AnnSAAAA故為樣本合

33、并組內(nèi)離差陣11141251114544825,25483251641115412SS而且而且59第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 14167. 512135171, 21251211141251, 2)()()()2(01)2(0022XxSXxxd(2)(2)解一解一: :計(jì)算馬氏距離計(jì)算馬氏距離5362, 11252111141252, 1)()()() 1 (01) 1 (0021XxSXxxd.),()(10022021Gxxdxd故判因60第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1,112312574

34、1114125,13221251031114125)2(12)1(11XSaXSa(2)(2)解二解二: :計(jì)算線性判別函數(shù)計(jì)算線性判別函數(shù)Yi( (X)()(i=1,2)=1,2). )2 , 1(21)()(1)()(1iXSXXXSXYiiii.2083.3524169511237, 41252121,8333.406245132210, 312521212)2(21)1(1aXCaXC61第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1.2083.35)1123(125)(,8333.40)1322(125)(212211XXXYXXXY線性判別函數(shù)為.

35、),()(.6250.20)(,8333.20)(,8210020102010GxxYxYxYxYx故判因時(shí)當(dāng)62第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別:簡(jiǎn)例簡(jiǎn)例1 1因而其中,21125311114125)(5 . 85 . 37410321)(21)2()1(1)2()1(*XXSaXXX).5 .132(12521)5 . 8, 5 . 3(125)(2121XXXXXW(2)(2)解三解三: :計(jì)算線性判別函數(shù)計(jì)算線性判別函數(shù)W( (X) )aXXXYXYXdXdXW)()()()()(21)(*212122., 0245)5 .13822(125)(100G

36、xxW故判由于63第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 12 時(shí)的判別方法時(shí)的判別方法 當(dāng)兩總體協(xié)差陣不等時(shí)，按距離判別準(zhǔn)則先分別計(jì)當(dāng)兩總體協(xié)差陣不等時(shí)，按距離判別準(zhǔn)則先分別計(jì)算算X到兩個(gè)總體的距離到兩個(gè)總體的距離d2(X,G1)和和d2(X,G2)，然后按距然后按距離最近準(zhǔn)則判別歸類離最近準(zhǔn)則判別歸類.或者類似地計(jì)算判別函數(shù)或者類似地計(jì)算判別函數(shù)W(X)，并用于判別歸類并用于判別歸類.令令 W(X)=d2(X,G2) - d2(X,G1)=Z(X)-Z0,其中其中Z(X)為為X的二次函數(shù)的二次函數(shù)(因因12 )，Z0是一常數(shù)是一常數(shù)(具體表達(dá)式省略了具體表達(dá)式省

37、略了).判別準(zhǔn)則仍可以寫為：判別準(zhǔn)則仍可以寫為： 判判XG1, 當(dāng)當(dāng)W(X)0時(shí)時(shí), 或者或者 判判XG2, 當(dāng)當(dāng)W(X)0時(shí)時(shí), 待判待判, 當(dāng)當(dāng)W(X)=0時(shí)時(shí). 判判XG2, 當(dāng)當(dāng)W(X)0時(shí)時(shí).64第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 12 時(shí)的判別方法時(shí)的判別方法 當(dāng)當(dāng)m=1,兩總體為正態(tài)總體時(shí)，記兩總體為正態(tài)總體時(shí)，記Gi的均值為的均值為i，方差方差為為2i (i=1,2),這時(shí)馬氏距離的平方根為這時(shí)馬氏距離的平方根為 65第五章第五章 5.1 距離判別法距離判別法 兩總體判別兩總體判別: 12 時(shí)的判別方法時(shí)的判別方法分界點(diǎn)分界點(diǎn)* *把區(qū)間把區(qū)間(

38、2,1)分為兩部分分為兩部分: D1=1 x *和和 D2=2 x*時(shí)時(shí), 判判XG2, 當(dāng)當(dāng)1 x*時(shí)時(shí), 66第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子應(yīng)用例子 例例.1( (鹽泉含鉀性判別鹽泉含鉀性判別) 某地區(qū)經(jīng)某地區(qū)經(jīng)勘探證明勘探證明A A盆地是一個(gè)鉀鹽礦區(qū)盆地是一個(gè)鉀鹽礦區(qū), ,B B盆地是盆地是一個(gè)鈉鹽礦區(qū)一個(gè)鈉鹽礦區(qū), ,其他鹽盆地是否含鉀鹽有其他鹽盆地是否含鉀鹽有待作出判斷待作出判斷. .今從今從A,BA,B兩盆地各抽取兩盆地各抽取5 5個(gè)鹽個(gè)鹽泉樣品泉樣品; ;從其他盆地抽得從其他盆地抽得8 8個(gè)鹽泉樣品個(gè)鹽泉樣品, 18, 18個(gè)鹽泉的特征數(shù)值見

39、表個(gè)鹽泉的特征數(shù)值見表.試對(duì)后試對(duì)后8 8個(gè)待個(gè)待判鹽泉進(jìn)行含鉀性判別判鹽泉進(jìn)行含鉀性判別. .67第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子應(yīng)用例子 68第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子應(yīng)用例子 解一解一 A A盆地和盆地和B B盆地看作兩個(gè)不同的總盆地看作兩個(gè)不同的總體，并假定兩總體協(xié)差陣相等體，并假定兩總體協(xié)差陣相等. .本例中變本例中變量個(gè)數(shù)量個(gè)數(shù)m=4, =4, 兩類總體各有兩類總體各有5 5個(gè)訓(xùn)練樣品個(gè)訓(xùn)練樣品( (n1 1= = n2 2=5),=5),另有另有8 8個(gè)待判樣品個(gè)待判樣品. . 用用SAS/STATSAS/STAT軟件中

40、的軟件中的DISCRIMDISCRIM過程進(jìn)行過程進(jìn)行判別歸類判別歸類. . (1) (1)首先首先用用DATA步生成步生成SAS數(shù)據(jù)集數(shù)據(jù)集D511. SASSAS程序如下：程序如下：69第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子的應(yīng)用例子的sassas程序程序 data d511; input x1-x4 group $;x1-x4 group $; cards; 13.85 2.79 7.80 49.60 A 13.85 2.79 7.80 49.60 A 2.18 1.06 1.22 20.60 B 2.18 1.06 1.22 20.60 B 8.85 3.38 5.17

41、26.10 . 8.85 3.38 5.17 26.10 . 15.00 2.70 5.02 64.00 . 15.00 2.70 5.02 64.00 . ; proc print ; run;70第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子的應(yīng)用例子的sassas程序程序 (2) (2) 調(diào)用調(diào)用DISCRIMDISCRIM過程對(duì)含鉀和不含鉀的過程對(duì)含鉀和不含鉀的A A、B B兩類盆地的兩類盆地的1010個(gè)樣品特征測(cè)量值用距離判別的方個(gè)樣品特征測(cè)量值用距離判別的方法，建立線性判別函數(shù)，并對(duì)已知類別的樣品和法，建立線性判別函數(shù)，并對(duì)已知類別的樣品和待判樣品進(jìn)行判別歸類待判樣品進(jìn)行判別

42、歸類. . proc discrim data=d511 simlpe pcov wsscp psscp distance list; class group; var x1-x4; run;71第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子中應(yīng)用例子中sassas程序的選項(xiàng)程序的選項(xiàng) 選項(xiàng)選項(xiàng)SIMPLESIMPLE要求輸出各類的簡(jiǎn)單描述統(tǒng)計(jì)量要求輸出各類的簡(jiǎn)單描述統(tǒng)計(jì)量 ( (如兩類各變量的均值、標(biāo)準(zhǔn)差等如兩類各變量的均值、標(biāo)準(zhǔn)差等) )； 選項(xiàng)選項(xiàng)WSSCPWSSCP要求輸出各類的組內(nèi)離差陣；要求輸出各類的組內(nèi)離差陣； 選項(xiàng)選項(xiàng)WCOVWCOV要求輸出各類樣本協(xié)差陣；要求輸出各類樣

43、本協(xié)差陣； 選項(xiàng)選項(xiàng)PCOVPCOV要求輸出合并樣本協(xié)差陣；要求輸出合并樣本協(xié)差陣； 選項(xiàng)選項(xiàng)PSSCPPSSCP要求輸出合并的樣本組內(nèi)離差陣；要求輸出合并的樣本組內(nèi)離差陣； 選項(xiàng)選項(xiàng)DISTANCEDISTANCE要求輸出各組間的距離等統(tǒng)計(jì)量要求輸出各組間的距離等統(tǒng)計(jì)量 ( (平方距離平方距離, ,F統(tǒng)計(jì)量值統(tǒng)計(jì)量值, , p值等值等) ) ； 選項(xiàng)選項(xiàng)LISTLIST要求輸出按距離準(zhǔn)則的判別結(jié)果要求輸出按距離準(zhǔn)則的判別結(jié)果. .72第五章第五章 5.1 距離判別法距離判別法 應(yīng)用例子的結(jié)果分析應(yīng)用例子的結(jié)果分析 選項(xiàng)選項(xiàng)WSSCP產(chǎn)生的結(jié)果產(chǎn)生的結(jié)果兩總體的樣本離差陣兩總體的樣本離差陣A1

44、和和A273第五章第五章 5.1 距離判別法距離判別法應(yīng)用例子的結(jié)果分析應(yīng)用例子的結(jié)果分析 選項(xiàng)選項(xiàng)PSSCP產(chǎn)生的結(jié)果產(chǎn)生的結(jié)果選項(xiàng)選項(xiàng)PCOV產(chǎn)生的結(jié)果產(chǎn)生的結(jié)果合并的樣本組內(nèi)離差陣合并的樣本組內(nèi)離差陣 A=A1+A2合并樣本協(xié)差陣合并樣本協(xié)差陣S=A/(n1+n2-2)74第五章第五章 5.1 距離判別法距離判別法應(yīng)用例子的結(jié)果分析應(yīng)用例子的結(jié)果分析 組間組間馬氏距離馬氏距離d d2 2(1,2)=37.03(1,2)=37.03檢驗(yàn)檢驗(yàn)H0: (1) = (2)的的F統(tǒng)計(jì)量統(tǒng)計(jì)量F=14.46p=0.005975第五章第五章 5.1 距離判別法距離判別法應(yīng)用例子的結(jié)果分析應(yīng)用例子的結(jié)果

45、分析 線性判別函數(shù)線性判別函數(shù)Y1(X)Y2(X)線性判別函數(shù)線性判別函數(shù) W(X)=Y1(X)-Y2(X）W(X)=-37.08458+ 4.74305 X1+ 4.19183 X2- 8.58924 X3+ 0.72548 X476第五章第五章 5.1 距離判別法距離判別法應(yīng)用例子的結(jié)果分析應(yīng)用例子的結(jié)果分析 第第2,3,6,7,82,3,6,7,8五個(gè)鹽泉為五個(gè)鹽泉為含鉀鹽泉含鉀鹽泉, ,第第1,4,51,4,5為為不含鉀鹽泉不含鉀鹽泉, ,77第五章第五章 5.1 距離判別法距離判別法 多總體的距離判別多總體的距離判別 設(shè)有設(shè)有k個(gè)個(gè)m維總體維總體: :G1 1, ,G2 2, , ,

46、Gk( (k2).2).它們的均值它們的均值, ,協(xié)差陣分別為協(xié)差陣分別為i, ,i( (i=1,2, =1,2, , ,k).).對(duì)任給定的對(duì)任給定的m維樣品維樣品X=(=(x1 , x2 , xm),),要判斷它來自哪個(gè)總體要判斷它來自哪個(gè)總體. 多個(gè)總體的情況多個(gè)總體的情況, ,按距離最近的準(zhǔn)則對(duì)按距離最近的準(zhǔn)則對(duì)X X進(jìn)行判別歸類時(shí)進(jìn)行判別歸類時(shí), ,首先計(jì)算樣品首先計(jì)算樣品X到到k個(gè)總個(gè)總體的馬氏距離體的馬氏距離d 2 2i( (X)()(i=1,2,=1,2, ,k),),然后進(jìn)然后進(jìn)行比較，把行比較，把X判歸距離最小的那個(gè)總體判歸距離最小的那個(gè)總體. .78第五章第五章 5.1

47、距離判別法距離判別法 多總體的距離判別多總體的距離判別 i79第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法 距離判別只要求知道總體的特征量距離判別只要求知道總體的特征量( (即參數(shù)即參數(shù)) )-均值和協(xié)差陣均值和協(xié)差陣, ,不涉及總體的分布類型不涉及總體的分布類型. . 當(dāng)參數(shù)未知當(dāng)參數(shù)未知時(shí)時(shí), ,就用樣本均值和樣本協(xié)差陣來估計(jì)就用樣本均值和樣本協(xié)差陣來估計(jì). . 距離判別方法簡(jiǎn)單距離判別方法簡(jiǎn)單, ,結(jié)論明確結(jié)論明確, ,是很實(shí)用的方法是很實(shí)用的方法. .但該方法也有缺點(diǎn)但該方法也有缺點(diǎn): : 1. 1. 該判別法與

48、各總體出現(xiàn)的機(jī)會(huì)大小該判別法與各總體出現(xiàn)的機(jī)會(huì)大小( (先驗(yàn)概先驗(yàn)概率率) )完全無關(guān)完全無關(guān); ; 2. 2. 判別方法沒有考慮錯(cuò)判造成的損失判別方法沒有考慮錯(cuò)判造成的損失, ,這是不這是不合理的合理的. BayesBayes判別法正是為解決這兩方面問題而判別法正是為解決這兩方面問題而提出的判別方法提出的判別方法. .80第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法 BayesBayes的統(tǒng)計(jì)思想的統(tǒng)計(jì)思想總是假定對(duì)所研究的總是假定對(duì)所研究的對(duì)象已有一定的認(rèn)識(shí)對(duì)象已有一定的認(rèn)識(shí), ,常用先驗(yàn)概率分布來描常用先驗(yàn)概率分布

49、來描述這種認(rèn)識(shí)述這種認(rèn)識(shí) . .然后我們抽取一個(gè)樣本然后我們抽取一個(gè)樣本, ,用樣本用樣本來修正已有的認(rèn)識(shí)來修正已有的認(rèn)識(shí)( (先驗(yàn)概率分布先驗(yàn)概率分布) )，得到后，得到后驗(yàn)概率分布驗(yàn)概率分布. . 各種統(tǒng)計(jì)推斷都通過后驗(yàn)概率分布來進(jìn)各種統(tǒng)計(jì)推斷都通過后驗(yàn)概率分布來進(jìn)行行. .將貝葉斯思想用于判別分析就得到貝葉斯將貝葉斯思想用于判別分析就得到貝葉斯判別法判別法.81 在正態(tài)總體的假設(shè)下，按在正態(tài)總體的假設(shè)下，按BayesBayes判別的思判別的思想，在錯(cuò)判造成的損失認(rèn)為相等情況下得到想，在錯(cuò)判造成的損失認(rèn)為相等情況下得到的判別函數(shù)其實(shí)就是馬氏距離判別在考慮先的判別函數(shù)其實(shí)就是馬氏距離判別在考

50、慮先驗(yàn)概率及協(xié)差陣不等情況下的推廣，故驗(yàn)概率及協(xié)差陣不等情況下的推廣，故SAS/STATSAS/STAT軟件的軟件的DISCRIMDISCRIM過程中稱為過程中稱為廣義平方廣義平方距離判別法距離判別法. . 所謂判別方法所謂判別方法, ,就是給出空間就是給出空間Rm的一種劃的一種劃分分: :D=D1 1, ,D2 2, , ,Dk.一種劃分對(duì)應(yīng)一種判一種劃分對(duì)應(yīng)一種判別方法別方法, ,不同的劃分就是不同的判別方法不同的劃分就是不同的判別方法. .BayesBayes判別法也是給出空間判別法也是給出空間Rm的一種劃分的一種劃分. .第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯)

51、)判別法判別法及廣義平方距離判別法及廣義平方距離判別法82第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-先驗(yàn)概率先驗(yàn)概率 設(shè)有設(shè)有k個(gè)總體個(gè)總體G1 1, ,G2 2, , ,Gk. .假設(shè)事先對(duì)所研究的問假設(shè)事先對(duì)所研究的問題有一定的認(rèn)識(shí)，這種認(rèn)識(shí)常用先驗(yàn)概率來描述題有一定的認(rèn)識(shí)，這種認(rèn)識(shí)常用先驗(yàn)概率來描述. .即已即已知這知這k個(gè)總體各自出現(xiàn)的概率個(gè)總體各自出現(xiàn)的概率( (驗(yàn)前概率驗(yàn)前概率) )為為q1,q2,qk ( (顯然顯然qi 0,0,q1 1+ +q2 2+ + +qk=1).=1). 比如研究人群中得癌比

52、如研究人群中得癌( (G1 1) )和沒有得癌和沒有得癌( (G2 2) )兩類群體兩類群體的問題，由長(zhǎng)期經(jīng)驗(yàn)知的問題，由長(zhǎng)期經(jīng)驗(yàn)知: :q1 1=0.001,=0.001,q2 2=0.999.=0.999.這組驗(yàn)前這組驗(yàn)前概率概率q1 1, , ,qk 稱為先驗(yàn)概率稱為先驗(yàn)概率. .先驗(yàn)概率是一種權(quán)重先驗(yàn)概率是一種權(quán)重( (比比例例).).所謂所謂“先驗(yàn)先驗(yàn)”是指先于我們抽取樣品作判別分析是指先于我們抽取樣品作判別分析之前之前. . BayesBayes判別準(zhǔn)則要求給出判別準(zhǔn)則要求給出qi( (i=1,2,=1,2, ,k k) )的值的值. . 83第五章第五章 5.2 BayesBay

53、es( (貝葉斯貝葉斯) )判別法及判別法及廣義平方距離判別法廣義平方距離判別法- - -先驗(yàn)概率先驗(yàn)概率 qi的賦值方法有以下幾種的賦值方法有以下幾種: : ( (a) a) 利用歷史資料及經(jīng)驗(yàn)進(jìn)行估計(jì)利用歷史資料及經(jīng)驗(yàn)進(jìn)行估計(jì). .例如某地區(qū)例如某地區(qū)成年人中得癌癥的概率為成年人中得癌癥的概率為P(P(癌癌)=0.001)=0.001= q1, ,而而P(P(無無癌癌)=0.999 )=0.999 = q2 2 . . (b) (b) 利用訓(xùn)練樣本中各類樣品占的比例利用訓(xùn)練樣本中各類樣品占的比例ni/n做為做為qi的值的值, ,即即qi= =ni/n( (i=1,=1, ,k),),其中其

54、中ni是第是第i類總體的樣品類總體的樣品個(gè)數(shù)，而個(gè)數(shù)，而n= =n1 1+ + n2 2 + + + + nk . .這時(shí)要求訓(xùn)練樣本是通這時(shí)要求訓(xùn)練樣本是通過隨機(jī)抽樣得到的過隨機(jī)抽樣得到的, ,各類的樣品被抽到的機(jī)會(huì)大小就各類的樣品被抽到的機(jī)會(huì)大小就是驗(yàn)前概率是驗(yàn)前概率. . ( (c) c) 假定假定q1 1= =q2 2= = =qk=1=1/k. .84第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-廣義平方距離廣義平方距離 在馬氏距離判別的基礎(chǔ)上，進(jìn)一步考慮先驗(yàn)概率在馬氏距離判別的基礎(chǔ)上，進(jìn)一步考慮先驗(yàn)概率及各組

55、內(nèi)協(xié)差陣的不同及各組內(nèi)協(xié)差陣的不同, ,可定義樣品可定義樣品X X到總體到總體Gt的廣義的廣義平方距離平方距離其中其中()85第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及及廣義廣義平方平方距離判別法距離判別法-廣義平方距離廣義平方距離 )(2XDt由由 的公式可見的公式可見, ,當(dāng)當(dāng) 不變，而某不變，而某個(gè)個(gè)qt大大( (即總體即總體Gt出現(xiàn)的機(jī)會(huì)大出現(xiàn)的機(jī)會(huì)大) )時(shí)，則時(shí)，則g2 2( (t) )變小，故廣義平方距離也變小變小，故廣義平方距離也變小, ,進(jìn)而進(jìn)而判判X X為為Gt的可能性大的可能性大-符合直觀想法符合直觀想法. . 當(dāng)當(dāng)i不全相等時(shí)不全相

56、等時(shí), ,g1 1( (t)=Log|)=Log|St|,|,且馬氏距且馬氏距離離 的公式中也考慮了的公式中也考慮了i的不等的不等, ,這時(shí)這時(shí)廣義平方距離中的廣義平方距離中的g1 1( (t) )可看成是一種修正可看成是一種修正. .)(2Xdt)(2Xdt86第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及及廣義廣義平方平方距離判別法距離判別法-廣義平方距離廣義平方距離 利用廣義平方距離的判別法為：利用廣義平方距離的判別法為：( (后驗(yàn)概率及后驗(yàn)概率判別法將在下面介紹后驗(yàn)概率及后驗(yàn)概率判別法將在下面介紹) )引入引入g1( (t) )后后, ,使使廣義平方距

57、離廣義平方距離判別法的概率意義判別法的概率意義更明顯更明顯: : 廣義平方距離廣義平方距離判別法判別法后驗(yàn)概率判別法后驗(yàn)概率判別法87第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-后驗(yàn)概率后驗(yàn)概率( (條件概率條件概率) ) 標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的BayesBayes方法應(yīng)該計(jì)算后驗(yàn)概率分布方法應(yīng)該計(jì)算后驗(yàn)概率分布. .即計(jì)算當(dāng)樣品即計(jì)算當(dāng)樣品X已知時(shí)已知時(shí), ,它屬于它屬于Gt的概率的概率, ,記為記為P(P(Gt|X)()(或或P(P(t|X)，這個(gè)概率作為判別歸類這個(gè)概率作為判別歸類的準(zhǔn)則的準(zhǔn)則, ,其概率意義更為直觀其概率

58、意義更為直觀. . 假定總體假定總體Gt的概率密度函數(shù)的概率密度函數(shù)ft( (x)()(t=1,=1, ,k) )給定，由條件概率的定義可以導(dǎo)出給定，由條件概率的定義可以導(dǎo)出：88第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-后驗(yàn)概率后驗(yàn)概率( (條件概率條件概率) ) 89第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-后驗(yàn)概率后驗(yàn)概率( (條件概率條件概率) ) 若假設(shè)若假設(shè)Gi( (i=1,=1, ,k) )為為m維正態(tài)總體維正態(tài)總體, ,其密

59、度其密度函數(shù)函數(shù)fi(x)為為90第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-后驗(yàn)概率后驗(yàn)概率( (條件概率條件概率) ) 則則X屬于第屬于第t組的后驗(yàn)概率為：組的后驗(yàn)概率為：其中其中 是是X X到第到第i組的廣義平方距離組的廣義平方距離. .91第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及及廣義廣義平方平方距離判別法距離判別法-后驗(yàn)概率后驗(yàn)概率( (條件概率條件概率) ) 在正態(tài)假設(shè)下按后驗(yàn)概率最大進(jìn)行歸類的準(zhǔn)在正態(tài)假設(shè)下按后驗(yàn)概率最大進(jìn)行歸類的準(zhǔn)則，等價(jià)于按廣義平方距離最小準(zhǔn)則進(jìn)

60、行歸類則，等價(jià)于按廣義平方距離最小準(zhǔn)則進(jìn)行歸類. .而按后驗(yàn)概率最大準(zhǔn)則歸類的判別法就是而按后驗(yàn)概率最大準(zhǔn)則歸類的判別法就是BayesBayes判別的一種情況判別的一種情況. . 一般一般BayesBayes判別即考慮先驗(yàn)概率的不同，還判別即考慮先驗(yàn)概率的不同，還考慮了錯(cuò)判損失的大小，在這里我們假定錯(cuò)判考慮了錯(cuò)判損失的大小，在這里我們假定錯(cuò)判損失相等損失相等. .92第五章第五章 5.2 BayesBayes( (貝葉斯貝葉斯) )判別法判別法及廣義平方距離判別法及廣義平方距離判別法-BayesBayes判別準(zhǔn)則判別準(zhǔn)則 所謂所謂BayesBayes判別準(zhǔn)則判別準(zhǔn)則, ,就是給出空間就是給出空