區(qū)別與聯(lián)系判別分析與聚類分析的

1、判別分析(DiscriminantAnalysis)一、概述：判別問題又稱識別問題，或者歸類問題。判別分析是由于年提出，年由首先提出根據(jù)不同類別所提取的特征變量來定量的建立待判樣品歸屬于哪一個已知類別的數(shù)學(xué)模型。根據(jù)對訓(xùn)練樣本的觀測值建立判別函數(shù)，借助判別函數(shù)式判斷未知類別的個體。所謂訓(xùn)練樣本由已知明確類別的個體組成，并且都完整準(zhǔn)確地測量個體的有關(guān)的判別變量。訓(xùn)練樣本的要求：類別明確，測量指標(biāo)完整準(zhǔn)確。一般樣本含量不宜過小，但不能為追求樣本含量而犧牲類別的準(zhǔn)確，如果類別不可靠、測量值不準(zhǔn)確，即使樣本含量再大，任何統(tǒng)計方法語法彌補(bǔ)這一缺陷。判別分析的類別很多，常用的有：適用于定性指標(biāo)或計數(shù)資料的

2、有最大似然法、訓(xùn)練迭代法；適用于定量指標(biāo)或計量資料的有：Fisher二類判別、Bayers多類判別以及逐步判別。半定量指標(biāo)界于二者之間，可根據(jù)不同情況分別采用以上方法。類別（有的稱之為總體，但應(yīng)與的區(qū)別）的含義一一具有相同屬性或者特征指標(biāo)的個體（有的人稱之為樣品）的集合。如何來表征相同屬性、相同的特征指標(biāo)呢？同一類別的個體之間距離小，不同總體的樣本之間距離大。距離是一個原則性的定義，只要滿足對稱性、非負(fù)性和三角不等式的函數(shù)就可以稱為距絕對距離馬氏距離：（Manhattandistance）設(shè)有兩個個體（點(diǎn)）X與Y（假定為一維數(shù)據(jù)，即在數(shù)軸上）是來自均數(shù)為，協(xié)方差陣為E的總體（類別）A的兩個個體

3、（點(diǎn)），則個體X與Y的馬氏距離為D（X,Y）=（X，Y）tE-i（X，Y），類似地可以定義個體X與總體（類別）A的距離為D（X，A）=（X，i（X，）明考斯基距離（Minkowskidistanee）:明科夫斯基距離歐幾里德距離（歐氏距離）、Fisher兩類判別、訓(xùn)練樣本的測量值A(chǔ)類訓(xùn)練樣本編號x1x2xm1xxxA11A12A1m2xxxA21A22A2mnAxAn1AxAn2AxAnAm均數(shù)xxxA1A2AmB類訓(xùn)練樣本編號x1x2xm1xxxB11B12B1m2xxxB21B22B2mnBxBn1BxBn2BxBnBm均數(shù)xxxB1B2Bm二、建立判另U函數(shù)(DiscriminantAn

4、alysisFunction)為：YCX+CX+CX1122mmTOC o 1-5 h z其中：C、C和C為判別系數(shù)()12m可解如下方程組得判另系數(shù)。wC+wC+wCx(A)x(B)1111221mm11wC+wC+wCx(A)x(B)2112222mm22wC+wC+wCx(A)x(B)m11m22mmmmm各類的離差陣分別以L(A)、L(B)表示L(A)L(A)11L(A)21L(A)12L(A)22L(A)1mL(A)2mL(A)m1L(A)m2L(A),mmL(B)L(B)11L(B)21L(B)12L(B)22L(B)1mL(B)2mL(B)m1L(B)m2L(B),mm類內(nèi)離差陣

5、W為L(A)、L(B)之和Ww11w21w12w221mw2mWL(A)+L(B)wwwTOC o 1-5 h zm1m2mm、Y值的判別界值將X(A)、X(A)、12、X(A)代入判別函數(shù)，得到相應(yīng)的Y(A),m將X(B)、X(B)、12、X(B)代入判別函數(shù)，得到相應(yīng)的Y(B),m兩類的判別界值為：YY(A)+Y(B)c一2當(dāng)兩類的樣本含量相差較多時應(yīng)加權(quán)，用下式計算判別界值TOC o 1-5 h z“nY(A)+nY(B)YTBcn+nAB將每個個體的x、x、X代入判別函數(shù)計算Y,根據(jù)判別界值Y判別歸12mc類。四、對判別函數(shù)檢驗(yàn)T為訓(xùn)練樣本中兩類和在一起的離差陣(注意與W的區(qū)別)計算W

6、ilks統(tǒng)計量Utt1112ttT=2122ttm1m2t)1mt2mt丿mmv=m,v=nm112五、回代觀察判別函數(shù)的判別效果舉例設(shè)要建立一個判別函數(shù)來判別醫(yī)院的工作情況，公認(rèn)的A類醫(yī)院11所,B類醫(yī)院9所。X1：床位使用率X2：治愈率X3：診斷指數(shù)判別指標(biāo)如下兩表：A類醫(yī)院編號XXX3Y198.8285.4993.187.9839285.3779.1099.657.9879386.6480.6496.947.9391473.0886.8298.708.1008578.7380.4497.617.88366103.4480.4093.757.8807791.9980.7793.937.81

7、61887.5082.5094.107.3665981.8288.4597.908.18021073.1682.9492.127.65921186.1983.5593.307.8919均數(shù)89.337382.827394.70737.8781B類醫(yī)院編號XXXY172.4878.1282.387.030044258.8186.2073.466.7616372.4884.8774.096.8505490.5682.0777.157.0413573.7366.6393.987.2244672.7987.5977.157.0550774.2793.9185.546.7346893.6285.8979

8、.807.3152978.6977.0186.797.2522均數(shù)76.381179.143381.14897.0331合計均數(shù)81.85781.17088.6061計算各類中的變量值均數(shù)2計算各類的離差陣及兩類的離差陣之和921.956085.6700104.7177、L(A)89.78906.1099、187.6898丿867.113745.535261.9823、L(B)602.2566390.0085、360.0057丿WL(A)+L(B)1789.069740.134842.7354,692.0456383.8986547.6955丿3x(A)X(B)=86.3376-76.3811

9、=9.956211X(A)X(B)=82.8273-79.1433=3.684022X(A)X(B)=94.7073-81.1489=13.558433TOC o 1-5 h zwCwCwC=x(A)x(B)11112213311wCwCwC=x(A)x(B)21122223322wCwCwC=x(A)x(B)311322333331789.0697C40.1348C42.7354C=9.9562123，40.1348C692.0456C383.8986C=3.6840123，42.7354C383.8986C547.6955C=13.5584123解此方程組得C=0.0074401C=0.0

10、324122C=0.0480553判別函數(shù)為Y=0.007440 x0.032412x0.048055x1235求Yc(A)=7.8781(B)=7.0331=Y(A)Y(B)=7.4556nY(A)nY(B)=tb=7.4978nnA6檢驗(yàn)2279.7392141.4208625.4625、759.2241-136.6546、1457.6529丿UW4109787692130041753=0.192944廠1-UN一m一1F，=22.3085Umv二Nm1二162|w|、it為相應(yīng)矩陣的行列式的值7.回代(internalvalidation)判別效果原分類一判別函數(shù)的判別歸類ABA101B

11、00A正確率=90.9%B正確率=100%總正確率（符合率）=91%A誤判率=B誤判率=總誤判率=5%符合率的高低取決于所選判別指標(biāo)的特異性以及訓(xùn)練樣本中各個體分類的可靠性。組內(nèi)回代組外回代剔除回代Bayes多類判別設(shè)有g(shù)個總體，記為A,A，,A.提取了m個特征變量，12g記為x,x,x.對各個總體分別做了n,n,n次試驗(yàn)，得12m12g到的觀測數(shù)據(jù)記為X(x)kijk1,2,g；i1,2,n;j=1,2,mkx代表第k個總體的第i個樣本的第j個特征變量的觀測值。kij注意總體、樣品的概念Bayes多類判別是要建立g個判別函數(shù)Y(A)C(A)+C(A)X+C(A)X+C(A)XTOC o 1-

12、5 h z01111212m1mY(A)C(A)+C(A)X+C(A)X+C(A)X02121222m2mY(A)C(A)+C(A)X+C(A)X+C(A)Xg0g1g12g2mgm將每個個體代入每個函數(shù)式求得Y(A)、Y(A)Y(A)，對于具體某個個體,12g哪個Y值最大，就將其判為哪類。Cj為判別系數(shù)過程Bayes多類判別分析的過程1計算判別系數(shù)(1)計算各組每個各變量的均數(shù)xk1,2,G,kjj1,2m計算各組的離差陣厶()和類內(nèi)離差陣W=L(A)+L(A)+L(A)Gw)1mw2mW1,w11w21w12w22Wm1wm2w丿mm(3)求W的逆矩陣W-1A1類的判別系數(shù)計算:W1(W1

13、1w21w12w22wm2、Wimw2mmm(C(A),11C(A)21=(N-G)W11W21w12w22Wlmw2m(x(A),j11x(A)22jC(仙m1jwm1wm2wmm丿jx(A力mmC(A)-遲C(A)x(A)012j1j1j=1其余各類的判別系數(shù)以同樣的方法求得，并可對每個個體的所屬類判定求出后驗(yàn)概率(或稱事后概率posteriorprobability,與之對應(yīng)的是先驗(yàn)概率或事前概率priorprobability),這與后面的逐步判別分析中的計算方法一樣，這里不做介紹。2假設(shè)檢驗(yàn)(略放在逐步之后？還是先講)3判別函數(shù)的判別效果觀察舉例用Bayes多類判別分析法對前面Fis

14、her二類判別分析的例子。1原始數(shù)據(jù)及基本計算(略)1計算類內(nèi)離差陣數(shù)據(jù)和其逆矩陣1789.0697W=-40.134842.7354、692.0456383.8986547.6955丿其逆矩陣為0.0005637W-1=0.00009340.0001095、0.00237980.00167540.0030087丿(C(A),1C(A)=(20-2)2(C(A)丿3(0.00056370.00009340.00237980.0001095、0.0016754(86.337382.82730.0030087八94.7073丿1.2019、=6.54937.7970C(A)=0的A類的判別函數(shù)為(

15、A)二-692.2342+1.2019x+6.5493x+7.797x123(B)=-558.1299+1.068x+5.9658x+6.932x123其中逐步判別分析(StepwiseDiscriminantAnalysis)從m個可能有判別能力的變量中篩選出對判別分類有統(tǒng)計學(xué)意義的p(pm)個變量，建立判別函數(shù)Y(A)二C(A)+C(A)X+C(A)X+C(A)X+lnQ(A)11011112121pY(A)=CA+CA(X)+C202QAln()C(A)序1g1C(A)pgXInpQ(A)g式中Q（A）、Q（A）Q（A）為各類的先驗(yàn)概率12g1準(zhǔn)備工作1）計算各類各指標(biāo)的均數(shù)，計算各指標(biāo)

16、的總均數(shù)2）計算類內(nèi)離差陣W，記為W0（此為初始陣）計算總離差陣T，記為T0（3）確定檢驗(yàn)水準(zhǔn)（或與之相對應(yīng)的F值）2逐步篩選變量（前進(jìn)法、后退法、逐步法）篩選變量過程中（無論是引入一個變量還是剔出一個變量），每一步都要對上一步所得的矩陣作消去變換。設(shè)現(xiàn)在進(jìn)行到（g+1）步,上一步（g步）曾得到兩個矩陣（W（g）,T（g1），本步要引入（或剔除）變量x，W（g）和T（g1）要按下式以（r,r）為主元作消去變換。W(g+1)=ijwgrrwgrwgrrwg匸wgrrwgwgwg址_ijwgrri=j=ri=r,j=rt(g1)ijtgrrtg占tgrrtg斗tgrrtgtgtgijtgrri=j

17、=rir,j=r每一步中哪個變量的判別能力強(qiáng)？看WilksUU(g1)r=t(g)rrw(g)rr檢驗(yàn)方法：是否要剔除？1UNG(l1)F=r-Ur是否要剔除？G-lV=N-G-(l-1)2V=G-1，1V=N-G-l2(略)Bayes多類判別(續(xù))1檢驗(yàn)判別函數(shù)的判別能力WUT咒2-(N-1-)lnU2l(G-1)2計算判別系數(shù)，建立判別函數(shù)應(yīng)加入先驗(yàn)概率3判別函數(shù)對任意兩類之間的判別能力WilksU反映G類之間總的判別能力，任意兩類(如E類和F類)間用MahalanobisD2反映(公式略)對馬氏距離的檢驗(yàn)用(N一G一l,1)nnF=EFEFl(N一G)(n,n)EFG一1,N一G一l,1

18、124判別分類對于某個體，代判別函數(shù)，分別計算Y(A)、Y(A)Y(A),其中Y(A)最12gF大，則判為該個體數(shù)A類，必要時還可計算出后驗(yàn)概率：FP(AF)eY(af)eY(A/j15回代觀察判別函數(shù)的判別效果聚類分析(ClusterAnalysis)常用的系統(tǒng)聚類、逐步聚類和模糊聚類法常用的系統(tǒng)聚類、逐步聚類和模糊聚類法1根據(jù)相似系數(shù)和距離聚類其中相似系數(shù)有1）相關(guān)系數(shù)2）列聯(lián)系數(shù)3）點(diǎn)相關(guān)系數(shù)ad-beQij：(a,b)(e,d)(a,e)(b,d)常用的距離包括（1）絕對距離dx-x,x-x,x-x12112112221m2m缺點(diǎn)：各變量量綱不同，數(shù)量級不同，不能直接向加（可先行標(biāo)準(zhǔn)化

19、后消除上述缺點(diǎn)）個體a、b的距離（也稱L距離）為dab-x-xakbk標(biāo)化后）常用的系統(tǒng)聚類、逐步聚類和模糊聚類法常用的系統(tǒng)聚類、逐步聚類和模糊聚類法k-1（2）平方距離（也稱L2距離）為dab標(biāo)化后）常用的系統(tǒng)聚類、逐步聚類和模糊聚類法常用的系統(tǒng)聚類、逐步聚類和模糊聚類法常用的系統(tǒng)聚類、逐步聚類和模糊聚類法常用的系統(tǒng)聚類、逐步聚類和模糊聚類法2系統(tǒng)聚類法常用，可用于對個體的聚類，也可用于對指標(biāo)的聚類以個體間聚類的基本思想：首先定義樣品間的距離（-或L2）,以d表示，并定以類間的距離（最大距離法、最小距離法、平均距離法），以D表示。然后開始聚類，開始一個個體一類，n個個體，則有n類。將距離近的

20、兩類合并成新的一類，重新計算新類與其他類之間的距離。將距離近的兩類合并成新的一類，再重新計算新類與其他類之間的距離。121223456789101112這樣每次聚類之后，減少一類，直至最后所有個體都合成一類。最后將整個聚類過程匯成聚類圖，參照圖進(jìn)行分析，以便確定分幾類為宜。舉例設(shè)有12個個體，各測了3個指標(biāo)編號-指標(biāo)XXX31571027153321446525669677778148207991981210744114513126571計算各類（個體間）的距離12類（個體）之間的L距離叫）即Dy.113211143111843128551684615216812107162123151523

21、817242618182659111648642124106513711172219131167135339182158d12=|5-7|+|7-1|+|10-5|=13d39=|3-19|+|2-8|+|14-12|=24a2與a距離(2)最近，將其合并，并命名為G13。重新計算其他10類與G13之間的距離，它們與G13間的距離按最小距離法定義，因此D1,13=minD1,2，D1,7=min13,15=13D3,13=minD3,2，D3,7=min14,16=1411類(個體)之間的L距離G1G311G3G41118G4G53128G5G651684G6G81627231515G9172

22、4261818G101116486G116513711G12613533G1313148108G85G92124G10221913G11182158G1223264157G13三個3,任意選定其中兩類合并，如G1與G5和并G14G418G4G6168G6G8272315G8G92426185G9G1016462124G10G1151311221913G11G121353182158G12G13148823264157G13G141184151786310G3G14有兩個3，合并起中之一對，G6和G12G15G3G418G4G82723G8G924265G9G101642124G10G11513

23、221913G11G131482326415G13G1411815178610G14G1513515185873G15TOC o 1-5 h z合并G14與G15G16G418G4G82723G8G924265G9G101642124G10G11513221913G11G131482326415G13G161151517567G3G16合并G4與G10G17G827G8G9245G9G1152219G11G1314232615G13G1611151767G16G171621241345G3G17TOC o 1-5 h z合并G13、G17G18G827G8G9245G9G1152219G11G

24、161115176G163G18TOC o 1-5 h z并G3、G11G19G8G192219613G19并G8與G9G20G185G18G19613G19G20152119G16G20TOC o 1-5 h z并G16與G18G21G19G20G2119G20615G21并G19與G21G22G21G2215G22并G20與G22合為一類于是只有G20,G22他們之間的距離為15,最后合并為一類可歸納為下表：步數(shù)合并的類別距離新類名類內(nèi)個體1G2，G72G13a2，a72G1,G53G14a1,a53G6,G123G15a6,a124G14,G153G16a1,a

25、5,a6,a125G4,G104G17a4,a106G13,G174G18a2,a4,a7,a107G3,G115G19a3,a118G8,G95G20a8,a99G16,G185G21a1,a2,a4,a5,a6,a7,a10,a1210G19,G216G22a1,a2,a3,a4,a5,a6,a7,a10,a11,a1211G20，G2215G23全部274101561231189聚類方法不同，得各類的結(jié)果也不同對指標(biāo)的聚類也有最大相似系數(shù)和最小相似系數(shù)法例牙槽弓的形態(tài)特征需用22個指標(biāo)才能全面描述，現(xiàn)測量609副牙槽弓的形態(tài)指標(biāo)，得結(jié)果如下：609副牙弓形態(tài)指標(biāo)的測量值編號指標(biāo)XiX2X

26、22132.541.031.0234.040.537.5334.541.034.060925.033.034.0均數(shù)31.539.333.0標(biāo)準(zhǔn)差1指標(biāo)間的相關(guān)系數(shù)（*0.01）2822368873452728945335067845641414035266738424441328078364246453463848933394546395273889102331394240355470841011442013050027191616091112464740311524252526184612134047443721212324272333871314282521181268

27、483020052924211415424041372739403939242857595015164141413726313536372427576438911617536262543728303130251473822257601718526263564024283031261676841956597918194042464332354651534120505625798262541920394245433536434852422353592778835562692021907256412441363331216953433143434849394021223636343122897152

28、4124262320804433262334353722步數(shù)合并的類別相關(guān)系數(shù)新類名115,160.912321，210.902433,40.892546,220.892658,90.8827612,130.8728723,190.7929817,180.793097,270.73311028,300.73321124,20.72331229,200.69341326,140.68351425,50.67361531,100.54371632,340.50381733,380.39391836,370.32401935,390.20412041,110.14422140,420.0043實(shí)驗(yàn)部

29、分逐步聚類應(yīng)用系統(tǒng)聚類法聚類時，每一步聚類都需計算各類之間的距離，如果對609個人的牙弓作個體間的聚類，計算每兩個個體間距離，需185136次！每一步只能合并一類，須經(jīng)608次，這樣計算量很大，作出聚類圖時也十分復(fù)雜，不便與分析。逐步聚類法可以較好的克服上述缺點(diǎn)。一、原理和步驟先按某種原則選出一些凝聚點(diǎn)，把每個凝聚點(diǎn)作為聚類的核心。其余個體按就近的原則向各凝聚點(diǎn)凝聚（即歸為一類），這樣得到初始分類方案。然后對此方案不斷修改，直至分類比較合理，不能再修改時為止最初選終始凝方聚分案類占八、修否改方案分類是否合理?二、選凝聚占凝聚占應(yīng)是有代表性的占，以這些凝聚占為基礎(chǔ)進(jìn)行初始分類?？梢匀藶榈剡x擇，也

30、可根據(jù)某種標(biāo)準(zhǔn)定。常用的方法有：1經(jīng)驗(yàn)選擇。對醫(yī)院分類時，分別找三所有代表性優(yōu)、良、差的醫(yī)院為凝聚占。2人為地把個體按某種標(biāo)準(zhǔn)分為若干類，計算每類的均數(shù)，以此為凝聚占。先按優(yōu)、良、差把醫(yī)院分三類，分別計算其均數(shù)。3.密度法較客觀。限定一個d（不宜太大，也不宜太?。悦總€個體為中心,以d為半徑（想象成一個圓或球），半徑內(nèi)的個體數(shù)即為密度。每個個體的密度求出后,以密度大的個體為第I個凝聚點(diǎn)。再考慮密度次大的個體，如它與第I個凝聚點(diǎn)的距離2d，則了作為第II個凝聚點(diǎn)，否則不能作為第II個凝聚點(diǎn)。之后再考慮下一個密度次大的個體，如它與第I、II個凝聚點(diǎn)的距離都2d,則可成為III凝聚點(diǎn)。這樣一直下去

31、，直至所有的個體都考察一遍，此時選定了若干個凝聚點(diǎn)。三、初始分類。四、逐步修改分類方案，直至無可修改的為止cluster過程fastclus過程varclus過程tree過程過程常用語句及選擇項(xiàng)PROCDISCRIM語句的選擇項(xiàng)Data=數(shù)據(jù)集名SimpleThreshold=PdistanceListlisterrout=數(shù)據(jù)集名outstat=數(shù)據(jù)集名priorsproportional指定調(diào)用數(shù)據(jù)集打印所有變量的描述性統(tǒng)計量為分類指定可接受的最小后驗(yàn)概率0P1輸出各組間的距離列出所有個體的判別的類別列出判錯的個體指出輸出的數(shù)據(jù)集（包括原始值、后驗(yàn)概率、判別分類）將判別統(tǒng)計量的結(jié)果輸出到S

32、AS數(shù)據(jù)集中以訓(xùn)練樣本中各類別的比例為先驗(yàn)概率（默認(rèn)為各類的先驗(yàn)概率相等）先驗(yàn)概率之和須等于1舉例1分組變量為group，其值分別為A、B、C和D,寫作:priorsA=.3B=.25C=.25D=.2舉例2分組變量為group，其值分別為1、2、3、4和5,寫作:priors1=.32=.23=.24=.155=.15定義分類的變量按語句中指明的變量分別作判別分析（在作判別分析分析前先對數(shù)據(jù)集排序）定義標(biāo)識變量，而非觀測值號指明用于判別的變量dataa;inputy1-y4g;y3=0-y3;cards;108.09.52.8751.50050-1.0001-42.02

33、.55.7500.0001-18.03.55.350-25.00025-1.250130.07.04.5002.500167.28.03.500-2.0005022.550242.010.03.5000.0002-48.07.55.375-25.000224.09.04.3003.250233.610.03.0008.7502-506.25025-2.7503750.1253-50.410.54.750-2.5003-24.04.05.5005.000325.213.03.2500.150

34、3-60.011.05.000-10.0003108.09.52.8751.50050-1.0001-42.02.55.7500.0001-18.03.55.350-25.00025-1.250130.07.04.5002.500167.28.03.500-2.0005022.550242.010.03.5000.0002-48.07.55.375-25.000224.09.04.3003.250233.610.03.0008.7502-506.25025-2.750344.49.52.

35、8750.1253-50.410.54.750-2.5003-24.04.05.5005.000325.213.03.2500.1503-60.011.05.000-10.0003procdiscrimsimpledistancelistout=bpool=yes;classg;run;逐步判別分析Method=stepwise|forward|backwardsle=psls=pdataa;inputx1-x4g;cards;108.09.5-2.8751.500164.86.5-3.750-1.0001-42.02.5-5.7500.0001-18.03.5-5.350-25.000121

36、.37.5-4.625-1.250130.07.0-4.5002.500167.28.0-3.500-2.00013.68.5-4.25022.550242.010.0-3.5000.0002-48.07.5-5.375-25.000224.09.0-4.3003.250233.610.0-3.0008.7502-21.66.5-3.7506.250243.212.5-4.625-2.750344.49.5-2.8750.1253-50.410.5-4.750-2.5003-24.04.0-5.5005.000325.213.0-3.2500.1503-60.011.0-5.000-10.0003;procstepdiscmethod=stepwisesle=0.15sls=0.15;classg;run;逐步判別分析Data=數(shù)據(jù)集名Seed=數(shù)據(jù)集名產(chǎn)生）radius=數(shù)值maxc=數(shù)值max