第十一章 判別與分類

第十一章判別與分類第1頁，共115頁，2023年，2月20日，星期四2

Theideasassociatedwithdiscriminantanalysiscanbetracedbacktothe1920sandworkcompletedbytheEnglishstatisticianKarlPearson,andothers,onintergroupdistances,e.g.,coefficientofraciallikeness(CRL),(Huberty,1994).Inthe1930sR.A.Fishertranslatedmultivariateintergroupdistanceintoalinearcombinationofvariablestoaidinintergroupdiscrimination.MethodologistsfromHarvardUniversitycontributedmuchtotheinterestinapplicationofdiscriminantanalysisineducationandpsychologyinthe1950sand1960s(Huberty,1994).Klecka(1980)providedseveralhistoricalreferencesthatdealmostlywithearlyapplicationsofDA.歷史第2頁，共115頁，2023年，2月20日，星期四2023/5/5中國人民大學六西格瑪質量管理研究中心3目錄上頁下頁返回結束第四章判別分析

回歸模型普及性的基礎在于用它去預測和解釋度量(metric)變量。但是對于非度量(nonmetric)變量，多元回歸不適合解決此類問題。本章介紹的判別分析來解決被解釋變量是非度量變量的情形。在這種情況下，人們對于預測和解釋影響一個對象所屬類別的關系感興趣，比如為什么某人是或者不是消費者，一家公司成功還是破產等。判別分析在主要目的是識別一個個體所屬類別的情況下有著廣泛的應用。潛在的應用包括預測新產品的成功或失敗、決定一個學生是否被錄取、按職業(yè)興趣對學生分組、確定某人信用風險的種類、或者預測一個公司是否成功。在每種情況下，將對象進行分組，并且要求使用這兩種方法中的一種可以通過人們選擇的解釋變量來預測或者解釋每個對象的所屬類別。

第3頁，共115頁，2023年，2月20日，星期四2023/5/5中國人民大學六西格瑪質量管理研究中心4§4.1判別分析的基本理論

有時會遇到包含屬性被解釋變量和幾個度量解釋變量的問題，這時需要選擇一種合適的分析方法。比如，我們希望區(qū)分好和差的信用風險。如果有信用風險的度量指標，就可以使用多元回歸。但我們可能僅能判斷某人是在好的或者差的一類，這就不是多元回歸分析所要求的度量類型。當被解釋變量是屬性變量而解釋變量是度量變量時，判別分析是合適的統(tǒng)計分析方法。判別分析能夠解決兩組或者更多組的情況。當包含兩組時，稱作兩組判別分析。當包含三組或者三組以上時，稱作多組判別分析（Multiplediscriminantanalysis）。判別分析的假設條件判別分析最基本的要求是,分組類型在兩組以上；在第一階段工作是每組案例的規(guī)模必須至少在一個以上。解釋變量必須是可測量的，才能夠計算其平均值和方差，使其能合理地應用于統(tǒng)計函數(shù)。第4頁，共115頁，2023年，2月20日，星期四2023/5/5中國人民大學六西格瑪質量管理研究中心5目錄上頁下頁返回結束§4.1判別分析的基本理論判別分析的假設之一，是每一個判別變量（解釋變量）不能是其他判別變量的線性組合。即不存在多重共線性問題。判別分析的假設之二，是各組變量的協(xié)方差矩陣相等。判別分析最簡單和最常用的形式是采用線性判別函數(shù)，它們是判別變量的簡單線性組合。在各組協(xié)方差矩陣相等的假設條件下，可以使用很簡單的公式來計算判別函數(shù)和進行顯著性檢驗。

判別分析的假設之三，是各判別變量之間具有多元正態(tài)分布，即每個變量對于所有其他變量的固定值有正態(tài)分布。在這種條件下可以精確計算顯著性檢驗值和分組歸屬的概率。當違背該假設時，計算的概率將非常不準確。第5頁，共115頁，2023年，2月20日，星期四6OverviewDiscriminantfunctionanalysis,a.k.a.discriminantanalysisorDA,主要用于分類.好的判別函數(shù),應該正確判斷率比較高.DiscriminantfunctionanalysisisfoundinSPSSunderAnalyze,Classify,Discriminant.OnegetsDAorMDAfromthissamemenuselection,dependingonwhetherthespecifiedgroupingvariablehastwoormorecategories.

第6頁，共115頁，2023年，2月20日，星期四7ThereareseveralpurposesforDAand/orMDA:Toclassifycasesintogroupsusingadiscriminantpredictionequation.Totesttheorybyobservingwhethercasesareclassifiedaspredicted.Toinvestigatedifferencesbetweenoramonggroups.Todeterminethemostparsimoniouswaytodistinguishamonggroups.Todeterminethepercentofvarianceinthedependentvariableexplainedbytheindependents.Todeterminethepercentofvarianceinthedependentvariableexplainedbytheindependentsoverandabovethevarianceaccountedforbycontrolvariables,usingsequentialdiscriminantanalysis.Toassesstherelativeimportanceoftheindependentvariablesinclassifyingthedependentvariable.Todiscardvariableswhicharelittlerelatedtogroupdistinctions.ToinferthemeaningofMDAdimensionswhichdistinguishgroups,basedondiscriminantloadings.第7頁，共115頁，2023年，2月20日，星期四8Discriminantanalysishastwosteps:(1)F檢驗(Wilks‘lambda)可以用于檢驗判別模型是否顯著,(2)如F檢驗顯著,然后考察獨立變量在類別之間的差異，以便對依賴變量進行分類。第8頁，共115頁，2023年，2月20日，星期四Supposeananesthesiologistneedstodeterminewhetherananestheticissafeforapersonwhoishavingaheartoperation.Basedonthesekindsofcriteria,theanesthesiologistwouldliketoknowthefollowing:canthisknowledgebeusedtoconstructarulethatwillclassifynewpatientsastowhethertheyaregoingtobesafeorunsaferecipientsoftheanesthetic?whatistheruleandcantherulebeusedtoclassifynewpatients?whatarethechancesofmakingmistakeswhenusingtherule?麻劑第9頁，共115頁，2023年，2月20日，星期四10Discriminantanalysis為用來建立規(guī)則一種多元技術，該技術能幫助樣本進行適當分類。Discriminantanalysis類似于回歸分析，但是其依賴變量或者被解釋變量為定性變量，而不是連續(xù)的。.Discriminantanalysisis也稱為分類分析.第10頁，共115頁，2023年，2月20日，星期四目的:從不同總體（或類別）中刻畫個體的特征。盡量從不同類別使用判別器或分類器分離開來.Goalofclassification:把不同個體分類到不同類別中.問題是找到一個好的規(guī)則，能最優(yōu)的對新個體進行分類！第11頁，共115頁，2023年，2月20日，星期四1211.2兩總體分類主要問題(1)

分類兩類個體

or(2)

把新個體指派到其中一個類別。記兩個類別為

1and2.TheobjectsareseparatedorclassifiedonthebasisofmeasurementsonpassociatedrandomvariablesX'=[X1,X2,,Xp].TheobservedvaluesofXdiffertosomeextentfromoneclasstotheother.第12頁，共115頁，2023年，2月20日，星期四我們把第一類的個體看成一個總體1and第二類的個體看成一個總體2.這兩個總體對應的概率密度函數(shù)為f1(X)andf2(X),andconsequently,這樣可以就可以討論如何指定個體屬于那個類.

第13頁，共115頁，2023年，2月20日，星期四Example11.1考慮某城鎮(zhèn)中兩類人群:1,割草機擁有者,and2,those不擁有者.Inordertoidentifythebestprospectforanintensivesalescampaign,生產商isinterestedinclassifyingfamiliesasprospectiveownersornonownersonthebasisofx1=incomeandx2=lotsize.Randomsamplesofn1=12currentownersandn2=12currentnonownersareselected.Thesampleobservationsyieldthescatterplot(Figure11.1).第14頁，共115頁，2023年，2月20日，星期四第15頁，共115頁，2023年，2月20日，星期四Remark1.一個好的判別方法應該產生少數(shù)錯誤分類.2.要考慮先驗概率.3.考慮誤判的成本或代價.(e.g.diagnosedisease)第16頁，共115頁，2023年，2月20日，星期四基本思想令

f1(X)andf2(X)分別為兩總體1and2

對應的密度函數(shù).我們的目的是要把X指定給其中一個總體中.令Ω為全空間.令R1為x的一個集合，當x屬于R1時，我們把對象x分配給總體1

，反之如果屬于

R2=Ω-R1

則分配給總體2.假定集合R1和

R2

互斥，構成全空間.第17頁，共115頁，2023年，2月20日，星期四第18頁，共115頁，2023年，2月20日，星期四第19頁，共115頁，2023年，2月20日，星期四令

p1為1的先驗概率andp2

為2的先驗概率,其中

p1+p2=1.那么

P(觀測對象被正確地劃入

1)=P(X

R1|1)P(1)=P(1|1)p1

P(觀測對象被錯誤劃入1)=P(X

R1|2)P(2)=P(1|2)p2

P(觀測對象被正確劃入2)=P(X

R2|2)P(2)=P(2|2)p2

P(觀測對象被錯誤劃入2)=P(X

R2|1)P(1)=P(2|1)p1

（11-3）第20頁，共115頁，2023年，2月20日，星期四錯分代價可以代價矩陣來表示:其中

c(2|1)為屬于1

被錯誤劃入2

的代價，andc(1|2)為屬于2

被錯誤劃入1

的代價.第21頁，共115頁，2023年，2月20日，星期四那么平均的或期望的錯分代價為(ECM)

ECM=c(2|1)P(2|1)p1+c(1|2)P(1|2)p2(11-5)一個合理的分類法則應該有最小或盡可能小的ECM.結論11.1.

是ECM達到最小的區(qū)域R1andR2由下列不等式確定：第22頁，共115頁，2023年，2月20日，星期四Proofoftheresult11.1WeneedtoshowthattheregionsR1andR2thatminimizetheECMaredefinedbythevluesxforwhichthefollowinginequalitieshold:Substitutingtheexpressionsfor

P(2|1)andP(1|2)into(11-5)gives第23頁，共115頁，2023年，2月20日，星期四第24頁，共115頁，2023年，2月20日，星期四Wegettheresult11.1.第25頁，共115頁，2023年，2月20日，星期四11-7第26頁，共115頁，2023年，2月20日，星期四第27頁，共115頁，2023年，2月20日，星期四假設有一個新觀測點

x0，其中

f

1(x

0)=.3andf

2(x

0)=.4.問該點應該劃入那個總體?Then我們發(fā)現(xiàn)

x

0

R1

，因此應該將其分入1

第28頁，共115頁，2023年，2月20日，星期四Othercriteria總錯誤概率（TPM）最小化原則。TPM=P(錯分1的觀測值或錯分2的觀測值)=p1

R1

f1(x)dx+p2

R2

f2(x)dx(11-8)數(shù)學上這個問題等價于在錯分代價相同情況下師期望錯分代價最小化。因此，這種情況下的最優(yōu)區(qū)域由

(11-7)中的(b)

給出.第29頁，共115頁，2023年，2月20日，星期四最大后驗概率原則

當P(1|x0)P(2|x0)時,x0劃入總體1.第30頁，共115頁，2023年，2月20日，星期四注釋:相當于采用(11-7)中的總錯分概率的法則(b)，因為上式中分母相同.但是，在觀測到x0

后再計算總體1

和2

的概率，這對識別不很明確的分配來說常常有用。第31頁，共115頁，2023年，2月20日，星期四11.3兩正態(tài)總體的分類

正態(tài)總體分類方法簡單高效。假定f1(X)andf2(X)為多元正態(tài)密度函數(shù)，,分別有均值1and協(xié)方差矩陣1and均值向量2and協(xié)方差矩陣2.第32頁，共115頁，2023年，2月20日，星期四（二）兩個總體距離判別法先考慮兩個總體的情況，設有兩個協(xié)差陣相同的p維正態(tài)總體，對給定的樣本Y，判別一個樣本Y到底是來自哪一個總體，一個最直觀的想法是計算Y到兩個總體的距離。故我們用馬氏距離來給定判別規(guī)則，有：1、方差相等第33頁，共115頁，2023年，2月20日，星期四第34頁，共115頁，2023年，2月20日，星期四則前面的判別法則表示為當和已知時，

是一個已知的p維向量，W（y）是y的線性函數(shù)，稱為線性判別函數(shù)。稱為判別系數(shù)。用線性判別函數(shù)進行判別分析非常直觀，使用起來最方便，在實際中的應用也最廣泛。第35頁，共115頁，2023年，2月20日，星期四Result11.2假定兩總體1and2具有(11-10)的密度函數(shù).這時使

ECM最小化的分配法則如下：

把x0分配給1如Allocatex0to2

otherwise.上式中判別函數(shù)現(xiàn)在變成了一個線性函數(shù)了！?。。。。。〉?6頁，共115頁，2023年，2月20日，星期四Proofof11.2Proof.Sincethequantitiesin(11-11)arenonnegativeforallx,wecantaketheirnaturallogarithmsandpreservetheorderoftheinequalities.MoreoverConsequently,combinewith(11-11),wegettheresults.第37頁，共115頁，2023年，2月20日，星期四當總體參數(shù)

1,

2,and

未知.WaldandAndersonsuggest建議將總體參數(shù)用樣本對應量來代替.第38頁，共115頁，2023年，2月20日，星期四第39頁，共115頁，2023年，2月20日，星期四第40頁，共115頁，2023年，2月20日，星期四第41頁，共115頁，2023年，2月20日，星期四1:正常人群n1=30

2:A型血友病犯者n2=22第42頁，共115頁，2023年，2月20日，星期四第43頁，共115頁，2023年，2月20日，星期四調查信息因此代價相同，先驗概率相同情況下得到,

第44頁，共115頁，2023年，2月20日，星期四分配規(guī)則

如果x0=[.210,.044]‘,theny?0=6.62<4.61.我們把其分給2.第45頁，共115頁，2023年，2月20日，星期四假設先驗概率已知:p1=.75,p2=.25.并假定

c(1|2)=c(2|1).利用判別統(tǒng)計量有

w?=6.62(4.61)=2.01,Applying(11-18),weseethat這樣我們可以分配給2,anobligatorycarrier.第46頁，共115頁，2023年，2月20日，星期四協(xié)方差矩陣12的分類

如果協(xié)方差矩陣不等，分配規(guī)則如下.

第47頁，共115頁，2023年，2月20日，星期四11.4評估分類函數(shù)判斷分類方法優(yōu)劣的一個重要方法就是計算其誤判率或錯分率?？傚e分率為通過適當選擇

R1andR2得到該量的最小值,稱為最優(yōu)失誤率

(OER).第48頁，共115頁，2023年，2月20日，星期四其中R1和R2有（11-7）中的（b）確定。第49頁，共115頁，2023年，2月20日，星期四樣本分類函數(shù)的效果可以用真實失誤率來評估

(AER),第50頁，共115頁，2023年，2月20日，星期四一般來說AER不能計算，因為它依賴未知的密度函數(shù)，但是用表現(xiàn)失誤率（APER）來替代，定義為訓練樣本中被錯分的比率。第51頁，共115頁，2023年，2月20日，星期四第52頁，共115頁，2023年，2月20日，星期四11.5多總體分類1.

最小期望錯分代價法。Letfi(X)bethedensityassociatedwithpopulationi,i=1,2,,g.Letpi=thepriorprobabilityofpopulation

i,i=1,2,,g.c(k|i)=thecostofallocatinganitemtokwhenitbelongsto

i,fork,i=1,2,,g.Rk=thesetofx'sclassifiedas

k.

第53頁，共115頁，2023年，2月20日，星期四第54頁，共115頁，2023年，2月20日，星期四Result11.5.

能使

ECM(11-37)達到最小的分類域，可以通過將x

分配給k,k=1,2,。。。,g,如果下式最?。翰恢挂粋€最小，則將

x

分配給其中任意滿足要求的總體.

證明見張堯庭等（209）第55頁，共115頁，2023年，2月20日，星期四第56頁，共115頁，2023年，2月20日，星期四第57頁，共115頁，2023年，2月20日，星期四第58頁，共115頁，2023年，2月20日，星期四正態(tài)總體分類(1)協(xié)方差不等時第59頁，共115頁，2023年，2月20日，星期四二次判別函數(shù)，分配給第i個總體第60頁，共115頁，2023年，2月20日，星期四(11.46)第61頁，共115頁，2023年，2月20日，星期四(2)協(xié)方差矩陣相等時相等時，判別得分為第62頁，共115頁，2023年，2月20日，星期四因此可以定義線性判別得分第63頁，共115頁，2023年，2月20日，星期四第64頁，共115頁，2023年，2月20日，星期四11.6Fisher‘s判別函數(shù)Fisher‘sidea

把多元變量

x

變成一元變量

y

，使得y’s能盡量分類總體

1and2第65頁，共115頁，2023年，2月20日，星期四Afixedlinearcombinationofthex'stakesthevaluesy11,y12,…,y1n,fortheobservationsfrom1andthevaluesy21,y22,…,y2nfortheobservationsfrom2Theseparationofthesetwosetsofunivariatey'sisassessedintermsofthedifferencebetweeny1andy2expressedinstandarddeviationunits.Thatis

其平方后，分子相當于組間差組內差第66頁，共115頁，2023年，2月20日，星期四67典型判別函數(shù)典型判別函數(shù)的思想由Fisher首次提出。典型判別分析通過對原始變量做線性變換來構建新變量。構建的典型變量使得它們包含原始變量集中有用的信息。換句話說，它們類似主成分和因子分析方法，當然計算方法有所不同。第67頁，共115頁，2023年，2月20日，星期四68不考慮典型函數(shù)是否可以解釋，其優(yōu)點是它們可以簡化實際數(shù)據(jù)的維數(shù)，從而使得數(shù)據(jù)可以可視化.

典型函數(shù)允許研究人員開發(fā)簡單的判別規(guī)則。/stat/spss/dae/discrim.htm第68頁，共115頁，2023年，2月20日，星期四69典型分析的思想:第69頁，共115頁，2023年，2月20日，星期四70第一個典型判別函數(shù)假設研究人員獲得來自總體Gi的ni個樣本,假設該總體服從分布為Np(μi,Σ),fori=1,2,…,k.并假設這些總體具有相同的協(xié)方差矩陣第70頁，共115頁，2023年，2月20日，星期四71Let那么組間的離差為B:第71頁，共115頁，2023年，2月20日，星期四72組內變差為:

經典判別分析的思想是，對原始數(shù)據(jù)進行投影使得變化后的樣本組間差別最大，組內差別最小，即使得比值最大。第72頁，共115頁，2023年，2月20日，星期四73可以證明E-1B的最大特征值.a1

為E-1B對應的最大特征向量.線性組合y1=a1Tx就是單個線性判別函數(shù)

，其提供了總體之間的最大差異.這里F可以用于檢驗兩組之間的均值是否相同！第73頁，共115頁，2023年，2月20日，星期四74

a1isthelargesteigenvalue,Proof(herewechangesomesymbol)為什么V-1/2AV-1/2和V－1A的特征根一樣，因為AB和BA的非0特征根相同！第74頁，共115頁，2023年，2月20日，星期四75V-1A的特征向量就是要找的系數(shù)a第75頁，共115頁，2023年，2月20日，星期四76第76頁，共115頁，2023年，2月20日，星期四77X的有效判別可以基于a1Tx,a1Tμ1,…,a1Tμk,令di=|a1Tx-a1Tμi|如果di.最小，則x應該分配給第i個總體第二典型判別函數(shù)y2=a2Txdi2=[(a1Tx-a1Tμi)2+(a2Tx-a2Tμi)2]Assignxtothepopulationthatgivestheminimumvaluefordi2.第77頁，共115頁，2023年，2月20日，星期四Result11.6第78頁，共115頁，2023年，2月20日，星期四第79頁，共115頁，2023年，2月20日，星期四80第80頁，共115頁，2023年，2月20日，星期四81第81頁，共115頁，2023年，2月20日，星期四82第82頁，共115頁，2023年，2月20日，星期四83DeterminingthedimensionalityofthecannonicalspaceThedimensionalityofthecannonicalspacesisboundedaboveytheminimumofpandm-1.WecanconstructSCREEplotsoftheeigenvaluesorconsiderwhatproportionofthetotalvariabilityisbeingaccountedforbyeachcannonicalfunctionandselectenoughtoaccountforalargeproportionofthetotalvariability.第83頁，共115頁，2023年，2月20日，星期四84Example7.3Letdatainirisbecome1,2,3,thenweusediscriminantanalysisIrisisgroupingvariable第84頁，共115頁，2023年，2月20日，星期四85Example11.1datagpa;infile'T11-6.dat';inputgpagmatadmit;proc

discrimdata=gpapool=yesmanovawcovpcovlisterrcrosslisterr;classadmit;vargpagmat;run;去掉先驗概率/faculty/moser/exst7037/discrim.htmlProcCanDiscData=IrisAllOut=OIris;ClassSpecies;Vary1y2;Run;第85頁，共115頁，2023年，2月20日，星期四86第86頁，共115頁，2023年，2月20日，星期四87第87頁，共115頁，2023年，2月20日，星期四88第88頁，共115頁，2023年，2月20日，星期四89第89頁，共115頁，2023年，2月20日，星期四90第90頁，共115頁，2023年，2月20日，星期四91第91頁，共115頁，2023年，2月20日，星期四92第92頁，共115頁，2023年，2月20日，星期四93Thisshowsatestforhomogeneityofthevariance-covariancematricesforthethreevarieties.Thistestissignificantandthehypothesisofequalwouldberejected.Thelineardiscriminantfunctionsoftenworkquitewelleventhoughthevaiance-careunequal.Iftheprobofcorrectclassificationarehighenoughtosatisfytheuser,thentheusershouldnotbetooconcernedthatheisusingalineardiscriminantruleratherthanaquadriticrule.SPSScannot.第93頁，共115頁，2023年，2月20日，星期四94第94頁，共115頁，2023年，2月20日，星期四95WeseetheeigenvaluesofW-1B,aswellasstatisticaltestsfordeterminingthedimensionalityofthecannonicalspace.Forthisexample,botheigenvaluesaresignificant(p=0.0000).Thefirstaccountsfor99.1%oftotalvariability,sothesecondisnotimportant.So,themeansforthesethreevarietiescomeclosetolyingonastraightlinewithinthefour-dimsamplespace.第95頁，共115頁，2023年，2月20日，星期四96Definestandardizedcannonicalfunctions-thesecouldbeusedondatathathasbeenstandardizedtodeterminetheprojectionsofdatapointsontothecannonicalspace.第96頁，共115頁，2023年，2月20日，星期四97Thefirstlistsvectorsthatdefineunstandardizedcannonicalfunctions.Forexample,wecouldcomputeundstandardizedcnnonicalscoresviaCan1=-.829*SL-1.5*SW+2.2*PL+2.8*PW-2.1Thelocationofthethreevarietymeansintheunstandardizedcannonicalspaceareshownatthebottom.itisplotontheterritorialmap,theirlocationsaregivenbythe(*)ontheplot.第97頁，共115頁，2023年，2月20日，星期四98第98頁，共115頁，2023年，2月20日，星期四99第99頁，共115頁，2023年，2月20日，星期四100Spssalsolocatestheperpendicularbisectorsbetweenthevarietymeansonthisplot.SPSScallsthisplotaterritorialma.Thessbisectorsdividethecannonicalspaceintothreedistinctregions.Iftheprojectionofanewdatapointfallsintooneoftheregions,thenthenewpointsisclosetstothemeans(*)inthatregionwhichdeterminesthevarietytowhichtheobservationwouldbeclassified.第100頁，共115頁，2023年，2月20日，星期四101第101頁，共115頁，2023年，2月20日，星期四102Thistableprovidealistingofhoweachirisplantinthedatasetwouldbeclassifiedbythediscriminantruledeveloped.ThecolumnlabeledACTUALGROUPidentifiesthevarietyfromwhichtheobservationcame;theHighestshowsthevarietytowhichtheobservationwouldbeassignedbythediscriminatntrule.第102頁，共115頁，2023年，2月20日，星期四103ThefirstcolumnlabeledP(G/D)istheposteriorprobabilityforthegrouptowhichtheobservationisassigned.Thisposteriorprobis0.885forcase3.SPSSgivesposteriorprobforonlythebestgroupandthesecondbestgroup.TheSecondP(D/G)canbeignored.Thelastcolumn,labeledDISCRIMSCORES,givethelocationsofthepr