判別分析的基本原理

判別分析的基本原理和模型一、判別分析概述（一）什么是判別分析判別分析是多元統(tǒng)計(jì)中用于判別樣品所屬類型的一種統(tǒng)計(jì)分析方法，是一種在已知研究對(duì)象用某種方法已經(jīng)分成若干類的情況下，確定新的樣品屬于哪一類的多元統(tǒng)計(jì)分析方法。判別分析方法處理問(wèn)題時(shí)，通常要給出用來(lái)衡量新樣品與各已知組別的接近程度的指標(biāo)，即判別函數(shù)，同時(shí)也指定一種判別準(zhǔn)則，借以判定新樣品的歸屬。所謂判別準(zhǔn)則是用于衡量新樣品與各已知組別接近程度的理論依據(jù)和方法準(zhǔn)則。常用的有，距離準(zhǔn)則、Fisher準(zhǔn)則、貝葉斯準(zhǔn)則等。判別準(zhǔn)則可以是統(tǒng)計(jì)性的，如決定新樣品所屬類別時(shí)用到數(shù)理統(tǒng)計(jì)的顯著性檢驗(yàn)，也可以是確定性的，如決定樣品歸屬時(shí)，只考慮判別函數(shù)值的大小。判別函數(shù)是指基于一定的判別準(zhǔn)則計(jì)算出的用于衡量新樣品與各已知組別接近程度的函數(shù)式或描述指標(biāo)。（二）判別分析的種類按照判別組數(shù)劃分有兩組判別分析和多組判別分析；按照區(qū)分不同總體的所用數(shù)學(xué)模型來(lái)分有線性判別分析和非線性判別分析；按照處理變量的方法不同有逐步判別、序貫判別等；按照判別準(zhǔn)則來(lái)分有距離準(zhǔn)則、費(fèi)舍準(zhǔn)則與貝葉斯判別準(zhǔn)則。二、判別分析方法（一）距離判別法1.基本思想：首先根據(jù)已知分類的數(shù)據(jù)，分別計(jì)算各類的重心，即分組（類）均值，距離判別準(zhǔn)則是對(duì)于任給一新樣品的觀測(cè)值，若它與第i類的重心距離最近，就認(rèn)為它來(lái)自第i類。因此，距離判別法又稱為最鄰近方法（nearestneighbormethod）。距離判別法對(duì)各類總體的分布沒(méi)有特定的要求，適用于任意分布的資料。2.兩組距離判別兩組距離判別的基本原理。設(shè)有兩組總體G和G，相應(yīng)抽出樣品個(gè)數(shù)為n,n,AB12

(n+n)二n，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下,(n+n)二n，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下,12x(A)x(A)?x11(A) x12(A) ?總體G的樣本數(shù)據(jù)為：21 22 .A ??? ??? :x(A)x(A) ?n11 n12該總體的樣本指標(biāo)平均值為：x(a),xa)…x1x(B)x11(B)總體G的樣本數(shù)據(jù)為：21B ???x(B)n212x6) ???x12(b)…22x (B) ?n22該總體的樣本指標(biāo)平均值為：x(B),x(B)???xx(A)

x1p(A)2px(A)n1p(a)x(B)

x1p(B)2px(B)n2p(B)現(xiàn)任取一個(gè)新樣品X，實(shí)測(cè)指標(biāo)數(shù)值為X二(x,x,…,x)，要求判斷X屬于哪一TOC\o"1-5"\h\z\o"CurrentDocument"1 2 p類首先計(jì)算樣品X與G、G兩類的距離，分別記為D(X,G)、D(X,G),然后按照AB A B距離最近準(zhǔn)則判別歸類，即樣品距離哪一類最近就判為哪一類；如果樣品距離兩類的距離相同，則暫不歸類。判別準(zhǔn)則寫為：XeG，如果D(X,G)<D(X,G),\o"CurrentDocument"A A BXeG，如果D(X,G)>D(X,G),B A BX待判，如果D(X,G)=D(X,G)。AB其中，距離D的定義很多，根據(jù)不同情況區(qū)別選用。如果樣品的各個(gè)變量之間互不相關(guān)或相關(guān)很小時(shí)，可選用歐氏距離。采用歐氏距離時(shí)，D(X,G)二(x-x(A))2AY aa下a=1dCx,G)= (x—x(B))2B\l aa'a=1然后比較D(X,G)和D(X,G)的大小，按照距離最近準(zhǔn)則判別歸類。AB但實(shí)際應(yīng)用中，考慮到判別分析常涉及到多個(gè)變量，且變量之間可能相關(guān)，故多用馬氏距離。馬氏距離公式為：Ad2Ad2(X,G)=(XB其中Xa)、Xb)、SA、SB分別是G的均值和協(xié)方差陣。TOC\o"1-5"\h\z\o"CurrentDocument"d2(X,G X」(A) A (A)—X)S-16—X)X(B)SB1X X(B)這時(shí)的判別準(zhǔn)則分兩種情況給出：⑴當(dāng)S二S二S時(shí)ABd2(X,G)-d2(X,G)BA(a))S：(x-X(a))二G(a))S：(x-X(a))TOC\o"1-5"\h\z(B) B (B)S-1(x(a廠X(b))S-1(x(a廠X(b))=2X-2(a) (b)令X=1G()+X()),同時(shí)記W(X)=(d2(X,G)-d2(X,G)).22(A) 丿 B A則w(x)=G—X)s-i(Xf-X)\o"CurrentDocument"(A) (B)所以判別準(zhǔn)則寫成：XgG，如果W(X)>0,AXgG，如果W(X)<0,BX待判，如果W(X)=0。該規(guī)則取決于W(x)的值，因此w(x)被稱為判別函數(shù)，也可以寫成：其中?=S-1G⑴-Xg))0w(x)被稱為線性判別函數(shù)。作為特例，當(dāng)P=1作為特例，當(dāng)P=1時(shí),兩個(gè)總體的分布分別是N七嚴(yán)22,"O'判別函數(shù)為W(x)=W(xW(x)=—(x—x)s212使用樣本資料代替總體參數(shù)時(shí))不妨設(shè)卩<卩,這時(shí)W(X)的符號(hào)取決于X>口或X<口。X<n時(shí)，判XGG；1 2 AX>口時(shí)，判XGG。B兩組距離判別法，簡(jiǎn)單容易理解，判別準(zhǔn)則也是合理的，但是有時(shí)也會(huì)出現(xiàn)錯(cuò)判。如下圖，如果X來(lái)自G，但卻落入D，被錯(cuò)判為G組，錯(cuò)判的概率為圖中陰影的面積，記A 2 BU-U為P(2/l)，類似有P(1/2)，顯然P(2/1)二P(l/2)二1-①(+2)。2c圖當(dāng)兩總體靠的比較近時(shí)，即兩總體的均值差異較小的時(shí)候，無(wú)論用何種判別方法，錯(cuò)判的概率都比較大，這時(shí)的判別分析也是沒(méi)有意義的。因此只有當(dāng)兩總體的均值有顯著差異時(shí)，進(jìn)行判別分析才有意義，為此，要對(duì)兩總體的均值差異性進(jìn)行檢驗(yàn)，對(duì)此在下文中敘述。當(dāng)S豐S時(shí)TOC\o"1-5"\h\zA B按照距離最近準(zhǔn)則，類似地有：XGG，如果D(X,G)〈D(X,G丿，A A BXgG，如果D(X,G)〉D(X,G)，B A BX 待判，如果D(X,G)=D(X,G)。\o"CurrentDocument"A B仍然用w(X)=d2(X,G)-d2(X,G)B A-x」s-iG-x」—G—x、)s-iG—x、)(B) B (B) ⑴A (A)作為判別函數(shù)，此時(shí)的判別函數(shù)是X的二次函數(shù)。關(guān)于兩組判別分析的檢驗(yàn)由于判別分析是假設(shè)兩組樣品是取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異

不顯著，則進(jìn)行判別分析意義不大。所以，兩組判別分析的檢驗(yàn)，實(shí)際就是要經(jīng)驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等，為此，檢驗(yàn)的統(tǒng)計(jì)量為：其中：T2+n-p-1)2S-1I■nn12—1n+n12S=S+SAB給定檢驗(yàn)水平，查F分布表使不顯著，則進(jìn)行判別分析意義不大。所以，兩組判別分析的檢驗(yàn)，實(shí)際就是要經(jīng)驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等，為此，檢驗(yàn)的統(tǒng)計(jì)量為：其中：T2+n-p-1)2S-1I■nn12—1n+n12S=S+SAB給定檢驗(yàn)水平，查F分布表使仏>F}=a，可得出F，再由樣本值計(jì)算F，若a aF>F,則否定原假設(shè)，認(rèn)為兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異顯著，否則兩個(gè)總體的均a值向量在統(tǒng)計(jì)上差異不顯著。3、多個(gè)總體的距離判別法類似兩個(gè)總體的討論推廣到多個(gè)總體。設(shè)有k個(gè)總體G1…Gk,相應(yīng)抽出樣品個(gè)數(shù)為n1…役(n1+…+n)-n，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下，總體G1的樣本數(shù)據(jù)為:x0

x11021x0

x12022x0x1p02p該總體的樣本指標(biāo)平均值為：x0n11x(1),x(1)…x1x0n12x(1)

n1p(1)總體G的樣本數(shù)據(jù)為：k該總體的樣本指標(biāo)平均值為x(k)x11(k)21x(k)x12(k)22n1(k)x(k)x(k)

x1p(k)2px(k)n2p(k)它們的樣本均值和協(xié)方差陣分別為：X()…Xq、s…Sk。一般的，記總體的樣本指標(biāo)平均值為：x(廠(x1ax2°…xp?，i=1,2…k。

(1)當(dāng)S=…=S=S時(shí)1k此時(shí)d2(X,G)=?-X,、)S-1G-X八)，i=1,2…ki C、i C、判別函數(shù)為W(X、=][d2(X,G)-d2(X,G)]ij 2 、X 、X+X)X——i j2丿St(Xi-\兒j=心…k當(dāng)W當(dāng)W,X、>0時(shí)，對(duì)于一切j豐iij若有一個(gè)W,X、=0ij{XGG待判，（2）當(dāng)S…S不相等時(shí)1k此時(shí)判別函數(shù)為Wji(x、=G-X)s-1C-X」—G-X)s-1G-X)Wji,j、j ,j、 ,i、i ,i、相應(yīng)的判別準(zhǔn)則為：‘XGG， 當(dāng)W（X、>0時(shí)，對(duì)于一切j豐ii j<待判， 若有一個(gè)W（X）=0j（二）費(fèi)舍判別法費(fèi)舍判別法是1936年提出來(lái)的，該方法對(duì)總體分布未提出什么特定的要求。1．基本思想費(fèi)舍判別法是基于統(tǒng)計(jì)上的費(fèi)舍準(zhǔn)則，即判別的結(jié)果應(yīng)該使兩組間區(qū)別最大，使每組內(nèi)部離散性最小。在費(fèi)舍準(zhǔn)則意義下，確定線性判別函數(shù)：y=cx+cxH Fcx1122pp其中c,c…c為待求的判別函數(shù)的系數(shù)。判別函數(shù)的系數(shù)的確定原則是使兩組間區(qū)別12p最大，使每組內(nèi)部離散性最小。有了判別函數(shù)后，對(duì)于一個(gè)新的樣品，將p個(gè)指標(biāo)的具體數(shù)值代入判別式中求出y值，然后與判別臨界值進(jìn)行比較，并判別其應(yīng)屬于哪一組。2．兩組判別分析(1)方法原理設(shè)有兩組總體Ga和Gb，相應(yīng)抽出樣品個(gè)數(shù)為ni,n2(ni+n2)=n，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下，x(A)x11(A)x(A)…x12(A) …x(A)x1p(A)總體Ga的樣本數(shù)據(jù)為：2122????2px(A)x(A)…x(A)n11n12n1p第1個(gè)總體的樣本指標(biāo)平均值為：x(A)x(A)?-12?x(A)px(B)x (B) ?x(B)x11(B)x12(B) ?x1p(B)總體Gb的樣本數(shù)據(jù)為：2122????2px(B)x (B) ?x(B)n21n22n2p第2個(gè)總體的樣本指標(biāo)平均值為：xi)‘x26)???xp(B)根據(jù)判別函數(shù)，用y(A)=另Cx(A)表示J組樣品的重心，以y(B)=Ycx(B)表kk A kkk=1 k=1示G組樣品的重心。則兩組之間的離差用(y(a)-y(B))2來(lái)表示，G、G內(nèi)部的離差程B A B度分別用Y(y(A)-y(A))2和藝(y(B)-y(B))2來(lái)表示，其中yCa)=另cx(A)；in=1i i kikn=1 k=1y(B)=Ycx(B)。i kikk=1根據(jù)費(fèi)舍準(zhǔn)則，要使判別的結(jié)果滿足兩組間區(qū)別最大，每組內(nèi)部離散性最小。則判別函數(shù)的系數(shù)c,c…c應(yīng)該能夠使：1 2pI= (y(a)—y(B))2(y(a)-y(a)》+Y(y(b)-y(b)》iii=1 i=1取得最大值。2)判別系數(shù)的導(dǎo)出Q=(y(A)-y(B))2

F=5(y(A)—y(A))2+5(y(B)—y(B)》iin=1 n=1根據(jù)數(shù)學(xué)分析求極值的原理，對(duì)上式兩邊取對(duì)數(shù)：Lnl=LnQ—LnFdLnIdLnQdLnF=°k=1,2p丄QQQQck丄巴=0FQck=dFFdQ___QQc Qckk1QQ=QFIQcQckkQ=(y(A)—y(B))2=(5cxCa)—5cx(B)kk kkk=1 k=1I kkIk=1d=x(A)—x(B)k=[5c(x(a)—x(B))k丿Q=[5cdkkIk=1 丿則有型=2(5cd)-ddc Ilkk l=1F=5(y(A)—y(A))2+5(y(B)—y(B)》iin=1 n=15[另cx(A)-Ycx(A)]2+2[Ycx(B)—Ycx(B)]kkk=1 丿I kiki=1 kiki=1 kiki=11k=1kkk=1 丿=515c(xI kiki=1 k=1(a)—x(a))]2+5[5k丿i=1c(x (B)—x(B》kik kk=1 丿=LfLe(x (A)-xCA))?Le(x (A)-xCA)]TOC\o"1-5"\h\zI kik k lil li=11k=1 k=1 丿+LfLe(x (B)-x(B》-Le(x(B)-x(B)Ikik k /H li=1 k=1 k=1=LLee憶(x(A)-x(A))(x(a)-x(a))kl ik k il lk=1l=1 i=1+L(x(B)-x(B)Xx(B)-x(B))]ik k il li=1ikk il l ik k il li=1S =L(x (A)-x(A)Xx (A)-x(A))+L(x (B)一x(B)Xx (B)一x (ikk il l ik k il li=1kli=1F=X2eeSklklk=1l=1則有于是有響它的解C1，于是有響它的解C1，C2,…，C程組：Le-S=dl klkl=1'Se+Se+—FSe二=d1111221pp1Se+Se+…FSe=d< 2112222pp2Se+Se+…FSe=dp11p22pppp(k=1,2…p)-(Led)-d=2Xe-STOC\o"1-5"\h\zI llk lkll=1 l=10=1館e?d]八i=「J另e-S=0?d (k=1,2…p)lkl kl=1卩是一個(gè)常數(shù)因子，不依賴k，它對(duì)方程組的解只起到共同擴(kuò)大卩倍的作用，不影之間的比例關(guān)系，因此也不會(huì)影響判別函數(shù)，所以，取0=1，得方p

解此方程即得c,c，…,c，進(jìn)而得判別函數(shù)：12py=cx+解此方程即得c,c，…,c，進(jìn)而得判別函數(shù)：12py=cx+cxH Fcx1122pp(3)判別準(zhǔn)則由判別函數(shù)，可得兩組總體G和G各自樣品的重心:AByCa)=才cx(a)kkk=1y(b)=￡cx(b)kkk=1對(duì)它們進(jìn)行根據(jù)樣本的容量進(jìn)行加權(quán)得：yAB二ny(A)+ny(B)12 nFn12y稱為兩組判別的綜合指標(biāo)。據(jù)此可得判別準(zhǔn)則為：AB則對(duì)于給定的新樣品(x,x,…x)，若有12p①如果y(a)＞忖y=cx+cxF Fcx>y11 22 ppAB則將該樣品判屬于G組,A②如果y(b)＞忖若y＜y，則判其屬于G組；AB B則對(duì)于給定的新樣品(x,x,…x)，若有12py=cx+cxF Fcx>y11 22 ppAB則將該樣品判屬于Gb組,若y＜歹山直，則判其屬于Ga組。4)兩組判別分析的檢驗(yàn)由于判別分析是假設(shè)兩組樣品是取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，則進(jìn)行判別分析意義不大。所以，兩組判別分析的檢驗(yàn)，實(shí)際就是要檢驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等，為此，檢驗(yàn)的統(tǒng)計(jì)量為：(+n-2)-p+1()

F=—i 2 T2~Flp,n+n一p一1丿(nFn-2)p 1 212

其中：T2=（n其中：T2=（ni-2>nn——12n+n12S二S+S,AB給定檢驗(yàn)水平，查F分布表使$>F}=a，可得出F，再由樣本值計(jì)算F，若a aF>化，則否定原假設(shè)，認(rèn)為兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異顯著，判別函數(shù)有效，可用；否則兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，判別函數(shù)無(wú)效不可用。3、多組費(fèi)舍判別分析（1）方法原理類似兩總體的費(fèi)舍判別法,下面給出多總體的費(fèi)舍判別法。設(shè)有k個(gè)總體G，…G，抽取1k樣品數(shù)分別為n,n，…n，令n=n+n+——卜n。x（i）=（x&）,…x&））為第i個(gè)總體的第1 2 k 12 ka al apa個(gè)樣品的觀測(cè)向量。假定所建立的判別函數(shù)為y（x）=cxH—cxAc'x1 1 pp=其中 c=（c，…，c）',x=（x，…，x）'1 p 1 p記xC-）和s（i）分別是總體G內(nèi)x的樣本均值向量和樣本協(xié)差陣，根據(jù)求隨機(jī)變量線性組i合的均值和方差的性質(zhì)可知，y（x）在G上的樣本均值和樣本方差為iy（i）=c'無(wú)⑺，b2=c‘S（i）ci記x為總的均值向量，則y=c'x在多總體情況下，F(xiàn)isher準(zhǔn)則就是要選取系數(shù)向量c，使藝n（y（i）-y）2

九=i=1i

藝qb2

ii

i=1達(dá)到最大，其中是q人為的正的加權(quán)系數(shù)，它可以取為先驗(yàn)概率。如果取q=n-1,i ii并將y⑺=c'無(wú)⑺，y=c'x，b2=c's⑺c代入上式可化為：ic'Ac九=

c'Ec其中E為組內(nèi)離差陣，A為總體之間樣本的協(xié)差陣，即E二工qs&）ii=1A=》n（元⑺-x）（X（i）-x）'ii=1（2）判別函數(shù)判別系數(shù)（矩陣A關(guān)于矩陣E的廣義特征向量）的導(dǎo)出。為求九的最大值，根據(jù)極值,, Q九存在的必要條件，令—=0，利用對(duì)向量求導(dǎo)的公式：cC色=2A^（cEc）-2Ec,c'Ac）CC（c'Ec）2 （c'Ec）22Ac2Ecc'AccEcc'Ecc'Ec2Ac2Ec= — ?九cEccEcc尢因此 =0nAc=九EccC這說(shuō)明了九及c恰好是矩陣A關(guān)于矩陣E的廣義特征根及其對(duì)應(yīng)的特征向量（因?yàn)楦鶕?jù)定義有，設(shè)A為n階對(duì)稱矩陣，E為n階正定矩陣，若有Ac=九Bc或（A-九BL=0，i則九稱為A關(guān)于E矩陣的廣義特征根，c是對(duì)應(yīng)的特征向量）。由于一般都要求加權(quán)協(xié)差陣E是正定的，因此由代數(shù)知識(shí)可知，上式非零特征根個(gè)數(shù)m不超過(guò)min（k—1,p），又因?yàn)镋為非負(fù)定的，所以非零特征根必定為正根，記為九>X>…>X>01 2 m于是可構(gòu)造m個(gè)判別函數(shù)：y（x）=c（i）'x /=1,…,ml判別函數(shù)的判別能力與判別函數(shù)的個(gè)數(shù)。由上述知，由于非零特征根X有m個(gè)，由此對(duì)應(yīng)有m個(gè)特征向量，即m個(gè)判別函數(shù)，為了選取有效的判別函數(shù)，對(duì)于每個(gè)判別函數(shù)必須給出一個(gè)用以衡量判別能力的指標(biāo)〃2，衡量判別函數(shù)判別能力的指標(biāo)定義為：

p二 i— l=1,…，m1 ￡九ii=1m0個(gè)判別函數(shù)的判別能力定義為spm0spm0pll=1￡九l4=1——￡九ii=1如果mo達(dá)到某個(gè)人定的值（比如堿）則就認(rèn)為mo個(gè)判別函數(shù)就夠了。3）判別準(zhǔn)則有了判別函數(shù)之后,如何對(duì)待判的樣品進(jìn)行分類Fisher判別法本身并未給出最合適的分類法，在實(shí)際工作中可以選用下列分類法之一進(jìn)行分類。第一方法，當(dāng)取m=1時(shí)（即只取一個(gè)判別函數(shù)），此時(shí)有兩種可供選用的方法0不加權(quán)法若y（x）-y&）=miny（x）-y（j）1<J<k則判xGGi加權(quán)法將0）、y⑵…B）按大小次序排列，記為y（i）<y⑵<…<y（『相應(yīng)的判別函數(shù)的標(biāo)準(zhǔn)差排為^。TOC\o"1-5"\h\z\o"CurrentDocument"(J y+by .令d=—(i+1)_(i) O_(i+1) i=1,…k—1i，i+1 (J+J)(i+1) (i)則d可作為G與G 之間的分界點(diǎn)。如果X使得d<y（x）<d,,則判i，i+1 J J i-1，i i，i+1i i+1xGG。Ji第二種方法，當(dāng)取mo>1時(shí)（即取多個(gè)判別函數(shù)兒也有類似兩種供選用的方法①不加權(quán)法記y^i)=c(i)'元⑺ l=1,…，m；i=1,…，kl0對(duì)待判樣品x—（x，…，x）'，計(jì)算y(y(x)—c(i)'xi—1,…，ki l ll—1若D2—minD2，則判xeG丫 i<j<k1 丫②加權(quán)法考慮到每個(gè)判別函數(shù)的判別能力不同，記”［一］D2—2^y（x）-y（i）九其中九是由Ac—九Ec求出的特征根。若D2—minD2，則判xeG。TOC\o"1-5"\h\z1 丫i<j<ki 丫（三）貝葉斯判別法1.基本思想設(shè)有m個(gè)總體，G,G…G，它們的先驗(yàn)概率分別為q,q…q，密度函數(shù)為1 2m 1 2mf（X）,f（X）???/（X）（在離散情形是概率函數(shù)），在觀測(cè)到一個(gè)樣品x的情況下，可用1 2 m貝葉斯公式計(jì)算它來(lái)自第g個(gè)總體的后驗(yàn)概率：g—g—1,2，?…m并且當(dāng)時(shí)，判定X來(lái)自第h個(gè)總體。另外，有時(shí)為了合理考慮錯(cuò)判所帶來(lái)的損失，還使用錯(cuò)判損失最小的概念確定判別函數(shù)這時(shí)，把X錯(cuò)判給第h個(gè)總體的平均損失定義為：i—1i—1其中L（hg）稱為損失函數(shù)。它表示本來(lái)是第g個(gè)總體的樣品錯(cuò)判為第h個(gè)總體的損失。于是建立判別準(zhǔn)則為，如果E(h；x)=minE(g..x)1<g<m則，判定X來(lái)自第h個(gè)總體。顯然考慮損失函數(shù)更為合理，但是由于實(shí)際應(yīng)用中，由于L（h：g）不容易確定，經(jīng)常在數(shù)學(xué)模型中假定各種錯(cuò)判的損失皆相等，這樣，尋找h使后驗(yàn)概率最大實(shí)際上等價(jià)于使錯(cuò)判損失最小。p（h：p（h：x）亠maxoE(h/x)_h>min根據(jù)上述思想，在假定協(xié)方差矩陣相等的條件下，即可以導(dǎo)出判別函數(shù)。2.多元正態(tài)總體的Bayes判別法在實(shí)際問(wèn)題中遇到的許多總體往往服從正態(tài)分布，下面給出P元正態(tài)總體的Bayes判別法，以及判別函數(shù)的導(dǎo)出。（1）待判樣品的先驗(yàn)概率和密度函數(shù)使用Bayes準(zhǔn)則進(jìn)行分析，首先需要知道待判總體的先驗(yàn)概率q和密度函數(shù)f（X）（如gg果是離散情形則是概率函數(shù)）。n對(duì)于先驗(yàn)概率，一般可用樣品頻率來(lái)代替，即令q=7，其中n為用于建立判別函gn g數(shù)的已知分類數(shù)據(jù)中來(lái)自第g總體樣品的數(shù)目，且n+n+ +n=n，或者干脆令先驗(yàn)12k概率相等，即q=1，這時(shí)可以認(rèn)為先驗(yàn)概率不起作用。gk對(duì)于第g總體的密度函數(shù)，設(shè)P元正態(tài)分布密度函數(shù)為：(x)=(2兀))工g（g）-2-exp{—1（x—卩（g））‘工（g）T（x—卩@））式中y（g）和Y（g）分別是第g總體的均值向量（P維）和協(xié)差陣（P階）。把f（X）代入P（gfx）的表達(dá)式中，因?yàn)槲覀冎魂P(guān)心尋找使P（gfx）最大的g，而g

分式中的分母不論g為何值都是常數(shù)，故可改令qf（x）^^maxgg對(duì)qf（x）取對(duì)數(shù)并去掉與g無(wú)關(guān)的項(xiàng)，記為，ggZ（g.x）Z（g.x）=Inq-1g2—In工（g）-—（x-pi（g））'工（g）-1（x-pi（g））11 1 1 '=Inq一一In工（g）—一x'工（g）-1x一一p（g）工（g）T卩（g）+x'工（g）卩（g）c 2 2g2則問(wèn)題可化為Z（g/x）^^max2）假設(shè)各組協(xié)方差陣相等，導(dǎo)出判別函數(shù)Z（g.；x）中含有k個(gè)總體的協(xié)方差陣（逆陣及行列式值），而且對(duì)于X還是二次函數(shù)，實(shí)際計(jì)算時(shí)工作量很大。如果進(jìn)一步假定k個(gè)總體協(xié)方差陣相同，即工⑴=工⑵=…工⑷=E，這時(shí)Z（g..；x）中2ln國(guó)（g）|和2x'工（g）Tx兩項(xiàng)與g無(wú)關(guān)，求最大時(shí)可以去掉，最終得到如下形式的判別函數(shù)與判別準(zhǔn)則（如果協(xié)方差陣不等，則有非線形判別函數(shù)）；1'y（g/x）=Inq一