多元統(tǒng)計(jì)：第八章 判別分析課件

判別分析

DiscriminantAnalysis判別分析

DiscriminantAnalysis判別分析的相關(guān)例子（1）在經(jīng)濟(jì)中的應(yīng)用：中小企業(yè)的破產(chǎn)模型為了研究中小企業(yè)的破產(chǎn)模型，選定4個(gè)經(jīng)濟(jì)指標(biāo)：X1總負(fù)債率（現(xiàn)金收益/總負(fù)債）X2收益性指標(biāo)（純收入/總財(cái)產(chǎn)）X3短期支付能力（流動(dòng)資產(chǎn)/流動(dòng)負(fù)債）X4生產(chǎn)效率性指標(biāo)（流動(dòng)資產(chǎn)/純銷售額）對(duì)17個(gè)破產(chǎn)企業(yè)（1類）和21個(gè)正常運(yùn)行企業(yè)（2類）進(jìn)行了調(diào)查，得到關(guān)于上述四個(gè)指標(biāo)的資料

現(xiàn)有8個(gè)未知類型的企業(yè)的四個(gè)經(jīng)濟(jì)指標(biāo)的數(shù)據(jù)，判斷其屬于破產(chǎn)企業(yè)一類還是正常運(yùn)行企業(yè)一類？判別分析的相關(guān)例子（1）在經(jīng)濟(jì)中的應(yīng)用：中小企業(yè)的破產(chǎn)模多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件判別分析的相關(guān)例子（2）在天氣預(yù)報(bào)中的應(yīng)用根據(jù)經(jīng)驗(yàn)，下列兩個(gè)因素是預(yù)報(bào)明天下雨與不下雨的重要因素：今天與昨天的濕度差x1今天的壓溫差（氣壓與溫度之差）x2

今測(cè)得x1與x2，應(yīng)預(yù)報(bào)明天下雨還是不下雨？判別分析的相關(guān)例子（2）在天氣預(yù)報(bào)中的應(yīng)用判別分析的其他例子預(yù)測(cè)新產(chǎn)品的成功或失敗判斷一個(gè)人是否患有某種疾病按職業(yè)興趣對(duì)學(xué)生分組確定某人信用風(fēng)險(xiǎn)的種類……判別分析的其他例子預(yù)測(cè)新產(chǎn)品的成功或失敗前言判別分析是一種進(jìn)行統(tǒng)計(jì)判別和分組的技術(shù)手段。判別分析與聚類分析的不同之處在于判別分析帶有“預(yù)測(cè)”意義。判別分析的目的就是從現(xiàn)有已知類別的樣本數(shù)據(jù)中訓(xùn)練出一個(gè)判別函數(shù)，以后再有未知類別的數(shù)據(jù)進(jìn)入，就利用建立的函數(shù)來判斷其類別（判別規(guī)則）。各類判別問題的前提有所不同，進(jìn)行劃分或?qū)ふ遗袆e函數(shù)的準(zhǔn)則也可以不同，判別分析的方法有：距離判別，費(fèi)歇判別，貝葉斯判別等。前言判別分析是一種進(jìn)行統(tǒng)計(jì)判別和分組的技術(shù)手段。判別分析與聚類分析的聯(lián)系與區(qū)別都要求對(duì)樣本進(jìn)行分類，但分析的內(nèi)容和要求不一樣聚類分析事先并不知道存在什么類別，完全按照反映對(duì)象特征的數(shù)據(jù)把對(duì)象進(jìn)行分類判別分析是在事先有了某種分類標(biāo)準(zhǔn)之后，判定一個(gè)新的研究對(duì)象應(yīng)該歸屬到哪一類別某些思想和方法相同兩者往往結(jié)合起來使用當(dāng)分類不清楚時(shí)，可以先用聚類分析對(duì)原有樣品進(jìn)行分類，然后再用判別分析建立判別函數(shù)以對(duì)新樣品進(jìn)行歸類判別分析與聚類分析的聯(lián)系與區(qū)別都要求對(duì)樣本進(jìn)行分類，但分析的例8.1

根據(jù)經(jīng)驗(yàn)，今天與昨天的濕度差x1及今天的壓溫差（氣壓與溫度之差）

x2是預(yù)報(bào)明天下雨或不下雨的兩個(gè)重要因素。 今測(cè)得x1=8.1，x2=2.0，試問應(yīng)預(yù)報(bào)明天下雨還是預(yù)報(bào)明天不下雨？例8.1 根據(jù)經(jīng)驗(yàn)，今天與昨天的濕度差x1及今天的壓溫差（例8.1例8.1X120100-10-20X220100-10-20新樣本點(diǎn)U(x1,x2)D2---非雨區(qū)D1---雨區(qū)X120100-10-20X220100-10-20新樣本點(diǎn)這是一個(gè)最簡單的判別分析問題由判別因子x1和x2：將二維樣本空間劃分成兩個(gè)互不相交的區(qū)域D1和D2，根據(jù)新樣品判別因子的觀察值，若它落在區(qū)域Di，就判該樣品屬于i類構(gòu)造一個(gè)判別函數(shù)u(x1,x2)，然后根據(jù)新樣品的函數(shù)值判斷其屬于哪一類這是一個(gè)最簡單的判別分析問題數(shù)學(xué)模型（概率論的角度）模型：

G個(gè)總體：ξ1,ξ2,…,ξg,…,ξG

其中ξg是p維隨機(jī)變量對(duì)應(yīng)的分布函數(shù)Fg(x1,x2,…,xp)

g=1,2,…,G(x1,x2,…,xp)是表征總體特性的p維隨機(jī)變量的取值，在判別分析中稱之為判別因子。數(shù)學(xué)模型（概率論的角度）模型：現(xiàn)有一個(gè)新的樣本點(diǎn)

x=(x1,x2,…,xp

)’

要判斷此樣本點(diǎn)是屬于哪一個(gè)總體的？假如能掌握每一個(gè)總體ξg的分布規(guī)律或某些數(shù)字特征，則這類問題的解決是不難的現(xiàn)有一個(gè)新的樣本點(diǎn)實(shí)際處理方法在每一個(gè)總體中取一個(gè)容量為ng的樣本

(g=1,2,…,G)，然后根據(jù)已知類別的樣本所提供的信息，判斷新的樣本點(diǎn)屬于哪一類實(shí)際處理方法在每一個(gè)總體中取一個(gè)容量為ng的樣本(g=1,一般判別分析的模型需要判別的類型有G類，起判別作用的因子有p個(gè)：(x1,x2,…,xp),從第g類中取得ng

個(gè)樣品，其第i個(gè)樣品的p個(gè)判別因子的取值為：

xi(g)=(xi1(g),xi2(g),…,xip

(g))′對(duì)p維空間作出一個(gè)劃分：D1,D2,…,DG互不相交或者構(gòu)造一個(gè)判別函數(shù)：u(x1,x2,…,xp)以u(píng)(x1,x2,…,xp)作為新樣品所屬類型的判斷一般判別分析的模型需要判別的類型有G類，起判別作用的因子有p常用的判別方法距離判別Fisher判別Bayes判別逐步判別常用的判別方法距離判別距離判別距離判別距離判別判別準(zhǔn)則根據(jù)各類的ng個(gè)樣本，求出每類的中心坐標(biāo)再根據(jù)新樣品離開每個(gè)類中心的距離遠(yuǎn)近作出它屬于哪一類的判斷距離判別判別準(zhǔn)則(1)兩類距離判別：設(shè)有兩個(gè)總體：ξ1,ξ2(1)兩類距離判別：設(shè)有兩個(gè)總體：ξ1,ξ2d(x,ξg)的計(jì)算選用馬氏距離

d2(x,ξg)=(x-μg)'∑-1(x-μg)

此距離表示x與隨機(jī)向量ξg（x到總體ξg的距離）的距離，即x到ξg的均值μg的馬氏距離。判別規(guī)則d(x,ξg)的計(jì)算選用馬氏距離多元統(tǒng)計(jì)：第八章判別分析課件判別函數(shù)：為線性判別函數(shù)，其中a稱為判別系數(shù)判別函數(shù)：為線性判別函數(shù)，其中a稱為判別系數(shù)利用判別函數(shù)進(jìn)行判別

判別規(guī)則為：

若u(x)＞0，則判x∈ξ1

若u(x)＜0，則判x∈ξ2利用判別函數(shù)進(jìn)行判別判別規(guī)則為：利用u(x)將樣本空間RP

進(jìn)行劃分劃分利用u(x)將樣本空間RP進(jìn)行劃分劃分當(dāng)μ1、μ2、∑未知當(dāng)μ1、μ2、∑未知(2)兩類距離判別：μ1μ2μ*(2)兩類距離判別：μ1μ2μ*多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件p＞1時(shí)可按多類判別中G=2時(shí)的特殊情況處理p＞1時(shí)注意要點(diǎn)（1）μ1μ2μ2只有當(dāng)兩個(gè)總體的均值有顯著差異時(shí)判別分析才有意義注意要點(diǎn)（1）μ1μ2μ2只有當(dāng)兩個(gè)總體的均值有顯著差異時(shí)判注意要點(diǎn)（2）為減少誤判的可能性，有時(shí)可劃定一個(gè)待判區(qū)域bc注意要點(diǎn)（2）為減少誤判的可能性，有時(shí)可劃定一個(gè)待判區(qū)域bc多類距離判別：設(shè)有多個(gè)總體：ξ1,ξ2,…,ξG判別規(guī)則：若d(x,ξg)=mind(x,ξi

)

則判x∈ξg選用馬氏距離

d2(x,ξg)=(x-μg)'∑-1(x-μg)多類距離判別：設(shè)有多個(gè)總體：ξ1,ξ2,…,ξG判別規(guī)則：選當(dāng)μg、∑g(g=1,2,…,G)未知當(dāng)μg、∑g(g=1,2,…,G)未知多類距離判別：∑1=∑2=…=∑G多類距離判別：∑1=∑2=…=∑G距離判別的特點(diǎn)距離判別只要求知道總體的數(shù)字特征，不涉及總體的分布函數(shù)，當(dāng)參數(shù)和協(xié)方差未知時(shí)，就用樣本的均值和協(xié)方差矩陣來估計(jì)。距離判別方法簡單實(shí)用，但沒有考慮到每個(gè)總體出現(xiàn)的機(jī)會(huì)大小，即先驗(yàn)概率，沒有考慮到錯(cuò)判的損失。距離判別的特點(diǎn)距離判別只要求知道總體的數(shù)字特征，不涉及總體的Fisher判別Fisher判別Fisher判別Fisher判別是根據(jù)方差分析的思想建立起來的，即按類內(nèi)方差盡量小，類間方差盡量大的準(zhǔn)則來求判別函數(shù)的。Fisher判別的基本思想是投影，即將原來在p維空間的自變量組合投影到維度較低的D維空間去，然后在D維空間中再進(jìn)行分類。投影的原則是使得每一類內(nèi)的離差盡可能小，而不同類間投影的離差盡可能大。對(duì)總體的分布不做任何要求Fisher判別Fisher判別是根據(jù)方差分析的思想建立起來Fisher判別的圖示兩個(gè)總體的Fisher判別法：旋轉(zhuǎn)坐標(biāo)軸至總體單位盡可能分開的方向，此時(shí)分類變量被簡化為一個(gè)Fisher判別的圖示兩個(gè)總體的Fisher判別法：旋轉(zhuǎn)坐標(biāo)設(shè)有G個(gè)總體：ξ1,ξ2,…,ξG對(duì)任給一個(gè)樣品x，考慮一個(gè)判別函數(shù)u(x)，記設(shè)有G個(gè)總體：ξ1,ξ2,…,ξG對(duì)任給一個(gè)樣品x，考慮一個(gè)Fisher判別準(zhǔn)則：尋找u(x)：使類內(nèi)偏差平方和W0最小，類間偏差平方和

B0

最大Fisher判別準(zhǔn)則：尋找u(x)：即要找u(x)，使達(dá)到最大即要找u(x)，使達(dá)到最大判別規(guī)則：對(duì)新樣品x,若｜u(x)-ui｜=min｜u(x)-ug｜則判x∈ξiu(x)可以是x的任意函數(shù)，通常只考慮線性判別函數(shù)：

u(x)=a′x=a1x1+a2x2+…+apxp重點(diǎn)轉(zhuǎn)為線性判別函數(shù)的系數(shù)a

的確定u(x)的線性函數(shù)亦為Fisher準(zhǔn)則下的判別函數(shù)判別規(guī)則：線性判別函數(shù)的系數(shù)a確定一般地，總體的μ，∑未知，可以用樣本來估計(jì)將B0、W0分別改用樣本的判別函數(shù)值的組間和組內(nèi)離差平方和表示：線性判別函數(shù)的系數(shù)a確定一般地，總體的μ，∑未知，可以用樣多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件在a′W

a=1的條件下，求

a

，使I

達(dá)到最大根據(jù)線性代數(shù)知識(shí)，

a為｜B-λW｜=0的最大特征根所對(duì)應(yīng)的特征向量，λ為最大特征根。在a′Wa=1的條件下，求a，使I達(dá)到最大兩類Fisher判別假設(shè)建立的判別函數(shù)為

u(x)=a′x=a1x1+a2x2+…+apxp假設(shè)有兩個(gè)總體ξ1、ξ2

，分別從兩個(gè)總體中抽取n1和n2個(gè)樣品，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)將屬于不同總體的樣品觀測(cè)值代入判別函數(shù)中兩類Fisher判別假設(shè)建立的判別函數(shù)為假設(shè)有兩個(gè)總體ξ1、分別對(duì)上面兩式左右相加，再除以樣品個(gè)數(shù)，可得兩個(gè)總體的重心:最佳的線性判別函數(shù)應(yīng)該是：兩個(gè)重心的距離越大越好，兩個(gè)組內(nèi)的離差平方和越小越好。分別對(duì)上面兩式左右相加，再除以樣品個(gè)數(shù)，可得兩個(gè)總體的重心:綜上，也就是要求

越大越好組間離差平方和組內(nèi)離差平方和綜上，也就是要求組間離差組內(nèi)離差利用微積分求極值的必要條件可求出使I達(dá)到最大值的a1,a2,…,ap.當(dāng)然，也可以限定在F=1的條件下，求出使I達(dá)到最大值的a1,a2,…,ap

利用微積分求極值的必要條件可求出使I達(dá)到最大值的a1,a2定義臨界值：不妨假設(shè)如果由原始數(shù)據(jù)求得判別函數(shù)得分為u0，對(duì)與一個(gè)樣品代入判別函數(shù)中，若u0>u*，則判給第一類，否則判給第二類。定義臨界值：兩類Fisher判別分析步驟建立判別函數(shù)（關(guān)鍵求判別系數(shù)）計(jì)算判別臨界值，根據(jù)判別準(zhǔn)則對(duì)新樣品判別分類檢驗(yàn)判別效果即檢驗(yàn)兩個(gè)總體的均值向量是否相等因?yàn)榕袆e分析是假設(shè)兩組樣品取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，作判別分析的意義就不大。兩類Fisher判別分析步驟建立判別函數(shù)（關(guān)鍵求判別系數(shù)）判別效果的檢驗(yàn)檢驗(yàn)的前提要求兩個(gè)總體協(xié)方差陣相同且總體服從正態(tài)分布檢驗(yàn)的假設(shè)形式判別效果的檢驗(yàn)檢驗(yàn)的前提檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的決策規(guī)則給定檢驗(yàn)水平α

，查F分布表，確定臨界值Fα

。若F>Fα

，則H0被否定，認(rèn)為判別有效；否則認(rèn)為判別無效。檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的決策規(guī)則多個(gè)總體的Fisher判別法Fisher判別法實(shí)際上是致力于尋找一個(gè)或幾個(gè)最能反映組和組之間差異的投影方向，即尋找線性判別函數(shù)：多個(gè)總體的Fisher判別法Fisher判別法實(shí)際上是致力于設(shè)有k個(gè)總體ξ1,ξ2,…,ξk

，分別有均值向量μ1,μ2

，…,μk,

和協(xié)方差陣σ1,σ2…,σk,分別各總體中得到樣品：設(shè)有k個(gè)總體ξ1,ξ2,…,ξk，分別有均值向量μ1,如果組數(shù)k太大，討論的指標(biāo)太多，則一個(gè)判別函數(shù)是不夠的，這時(shí)需要尋找第二個(gè)，甚至第三個(gè)線性判別函數(shù)，設(shè)需要m(m<k)個(gè)。假設(shè)a’W

a=1的條件下，｜B-λW｜=0的各特征根依次為：，各特征根對(duì)應(yīng)的特征向量則分別構(gòu)成第一、二，…,m線性判別函數(shù)的系數(shù)。關(guān)于需要幾個(gè)判別函數(shù)的問題，需要累計(jì)判別效率達(dá)到85％以上，即如果組數(shù)k太大，討論的指標(biāo)太多，則一個(gè)判別函數(shù)是不夠的，判別準(zhǔn)則以m個(gè)線性判別函數(shù)得到的函數(shù)值為新的變量，再進(jìn)行距離判別。設(shè)ui(x)為第i（i=1,2,…,m）個(gè)線性判別函數(shù)判別準(zhǔn)則以m個(gè)線性判別函數(shù)得到的函數(shù)值為新的變量，再進(jìn)行距離貝葉斯（Bayes）判別貝葉斯（Bayes）判別Bayes統(tǒng)計(jì)思想假定對(duì)研究對(duì)象已有一定的認(rèn)識(shí)，而這種認(rèn)識(shí)常常用先驗(yàn)概率分布描述；然后取得一個(gè)樣本，用樣本提供的信息再修正已有的認(rèn)識(shí)，從而可以得到后驗(yàn)概率分布；各種統(tǒng)計(jì)推斷都通過后驗(yàn)概率分布進(jìn)行。Bayes統(tǒng)計(jì)思想假定對(duì)研究對(duì)象已有一定的認(rèn)識(shí)，而這種認(rèn)識(shí)最大后驗(yàn)準(zhǔn)則辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家都在猜測(cè)。按人們主觀意識(shí)，一個(gè)人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會(huì)做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人？最大后驗(yàn)準(zhǔn)則辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家多元統(tǒng)計(jì)：第八章判別分析課件Bayes判別的基本思想是認(rèn)為所有G個(gè)類別都是空間中互斥的子域，每個(gè)觀測(cè)都是空間中的一個(gè)點(diǎn)。在考慮先驗(yàn)概率的前提下，利用Bayes公式按照一定準(zhǔn)則構(gòu)造一個(gè)判別函數(shù)，分別計(jì)算該樣品落入各個(gè)子域的概率，所有概率中最大的一類就被認(rèn)為是該樣品所屬的類別。Bayes判別準(zhǔn)則：

使錯(cuò)判造成的損失為最小Bayes判別錯(cuò)判損失如何定義？Bayes判別的基本思想是認(rèn)為所有G個(gè)類別都是空間中互斥的子損失函數(shù)以L(h｜g)表示樣品來自第g個(gè)總體，而被錯(cuò)判為第h個(gè)總體所造成的損失

h=gh≠g損失函數(shù)以L(h｜g)表示樣品來自第g個(gè)總體，而被錯(cuò)判為第h錯(cuò)判概率發(fā)生錯(cuò)判的概率bcgh錯(cuò)判概率發(fā)生錯(cuò)判的概率bcgh先驗(yàn)概率第g個(gè)總體出現(xiàn)的先驗(yàn)概率為qg

，

g=1,2,…,G先驗(yàn)概率第g個(gè)總體出現(xiàn)的先驗(yàn)概率為qg，最小Bayes解的簡化引入Eh(x)

要求Bayes解，只要求得使Eh(x)為最小的h值最小Bayes解的簡化引入Eh(x)要求Bayes解取定樣品x

下，使Eh(x)為最小的Bayes解，也就是使后驗(yàn)平均損失最小的Bayes解取定樣品x下，多元統(tǒng)計(jì)：第八章判別分析課件L(h｜g)的簡化

各種錯(cuò)判的損失一樣，都定義為1L(h｜g)的簡化各種Eh(x)的簡化求Eh(x)的最小值等價(jià)于求qhf

h(x)的最大值相當(dāng)于求后驗(yàn)概率的最大值Eh(x)的簡化求Eh(x)的最小值等價(jià)于Bayes判別規(guī)則若qhf

h(x)=maxqgf

g(x)，則:判x∈ξh

,

h=1,2,…,GBayes判別規(guī)則若qhfh(x)=maxqg兩類判別假定ξg～Np(μg,∑),g=1,2，對(duì)新樣品x：若q1f1(x)＞q2f2(x)，則:判x∈ξ1

若q1f1(x)＜q2f2(x)，則:判x∈ξ2

若q1f1(x)=q2f2(x)，則:任判兩類判別假定ξg～Np(μg,∑),g=1,2，等價(jià)于等價(jià)于若令又等價(jià)于若令又等價(jià)于多類判別假定ξg～Np(μg,∑),g=1,2,…,G兩邊取對(duì)數(shù)，得判別函數(shù)多類判別假定ξg～Np(μg,∑),g=1,2,…,G當(dāng)μg,∑未知時(shí)，取樣本作估計(jì)，則判別函數(shù)為：當(dāng)μg,∑未知時(shí)，取樣本作估計(jì)，則判別函數(shù)為：多類判別規(guī)則若uh(x)=maxug(x)，則判x∈ξh,h=1,2,…,G多類判別規(guī)則若uh(x)=maxug(x)，先驗(yàn)概率的常用取法1.先驗(yàn)概率取樣品出現(xiàn)的頻率：

qg

=ng／n,g=1,2,…,G2.認(rèn)為總體以等概率出現(xiàn)，即

qg

=1／G,g=1,2,…,G先驗(yàn)概率的常用取法1.先驗(yàn)概率取樣品出現(xiàn)的頻率：距離判別、Fisher判別與Bayes判別當(dāng)總體為等協(xié)方差的正態(tài)分布，且先驗(yàn)概率qg相等時(shí)，Bayes判別即為距離判別在具有等協(xié)方差的兩個(gè)正態(tài)總體的判別問題中，Bayes判別函數(shù)也是Fisher判別函數(shù)距離判別、Fisher判別與Bayes判別當(dāng)總體為等協(xié)方差逐步判別逐步判別變量的選擇和逐步判別變量的選擇是判別分析中的一個(gè)重要的問題，變量選擇是否恰當(dāng)，是判別分析效果優(yōu)劣的關(guān)鍵。如果在某個(gè)判別問題中，將起最重要的變量忽略了，相應(yīng)的判別函數(shù)的效果一定不好。如果判別變量個(gè)數(shù)太多，計(jì)算量必然大，會(huì)影響估計(jì)的精度。特別當(dāng)引入了一些判別能力不強(qiáng)的變量時(shí)，還會(huì)嚴(yán)重地影響判別的效果。變量的選擇和逐步判別變量的選擇是判別分析中的一個(gè)重要的問題，逐步判別的步驟（1）第一步：通過計(jì)算單變量的Λ統(tǒng)計(jì)量（組內(nèi)離差平方和與總離差平方和的比），逐步選擇判別變量Λ統(tǒng)計(jì)量最小者首先進(jìn)入模型。逐步判別的步驟（1）第一步：通過計(jì)算單變量的Λ統(tǒng)計(jì)量（組內(nèi)離逐步判別的步驟（2）第二步：分別計(jì)算未被選中的其它變量與選中變量x1的Λ統(tǒng)計(jì)量統(tǒng)計(jì)量Λ1i的值最小者與x1搭配進(jìn)入模型。逐步判別的步驟（2）第二步：分別計(jì)算未被選中的其它變量與選中逐步判別的步驟（3）第三步：類推假設(shè)已經(jīng)有q＋1個(gè)變量進(jìn)入了模型，要考慮較早選入模型的變量的重要性是否有較大的變化，應(yīng)及時(shí)將其從模型中剔除。其原則與引入相同。但刪除統(tǒng)計(jì)量Λ的值最大者。第四步：進(jìn)行判別分析。逐步判別的步驟（3）第三步：類推假設(shè)已經(jīng)有q＋1個(gè)變量進(jìn)入了判別分析的主要程序1.選擇變量和判別分析的目的密切相關(guān)反映要判類變量的特征在不同研究對(duì)象上的值有明顯的差異2.用逐步判別法篩選變量在第一步所選的變量可能在類間無差異，應(yīng)該將對(duì)判別分析無貢獻(xiàn)的變量剔除判別分析的主要程序1.選擇變量判別分析的主要程序3.估計(jì)判別函數(shù)選擇某種方法建立判別規(guī)則，有距離判別、貝葉斯判別和費(fèi)歇（Fisher）判別法。4.

檢查判別的效果計(jì)算錯(cuò)判比率和正確判定的比率。將判別函數(shù)用于驗(yàn)證樣本，通過驗(yàn)證樣本的錯(cuò)判比率和正確判定的比率來確定判別的效果。所謂錯(cuò)判，就是把原來是第一類的樣本判給了第二類。對(duì)于正確判定的比率應(yīng)該達(dá)到多少才能接受，并沒有嚴(yán)格的規(guī)則。判別分析的主要程序3.估計(jì)判別函數(shù)檢查判別效果的方法自身驗(yàn)證（original）將用來建立判別函數(shù)的各樣品代入判別函數(shù)中，看看錯(cuò)判情況是否嚴(yán)重。自身驗(yàn)證效果好，并不能說明該函數(shù)用來判別外部數(shù)據(jù)的效果也好，實(shí)用價(jià)值不是很大。交互驗(yàn)證（Crossvalidation）在建立判別函數(shù)時(shí)依次去掉一例，然后用建立起的判別函數(shù)對(duì)該例進(jìn)行判別，比較有效地避免異常點(diǎn)的干擾檢查判別效果的方法自身驗(yàn)證（original）判別分析

DiscriminantAnalysis判別分析

DiscriminantAnalysis判別分析的相關(guān)例子（1）在經(jīng)濟(jì)中的應(yīng)用：中小企業(yè)的破產(chǎn)模型為了研究中小企業(yè)的破產(chǎn)模型，選定4個(gè)經(jīng)濟(jì)指標(biāo)：X1總負(fù)債率（現(xiàn)金收益/總負(fù)債）X2收益性指標(biāo)（純收入/總財(cái)產(chǎn)）X3短期支付能力（流動(dòng)資產(chǎn)/流動(dòng)負(fù)債）X4生產(chǎn)效率性指標(biāo)（流動(dòng)資產(chǎn)/純銷售額）對(duì)17個(gè)破產(chǎn)企業(yè)（1類）和21個(gè)正常運(yùn)行企業(yè)（2類）進(jìn)行了調(diào)查，得到關(guān)于上述四個(gè)指標(biāo)的資料

現(xiàn)有8個(gè)未知類型的企業(yè)的四個(gè)經(jīng)濟(jì)指標(biāo)的數(shù)據(jù)，判斷其屬于破產(chǎn)企業(yè)一類還是正常運(yùn)行企業(yè)一類？判別分析的相關(guān)例子（1）在經(jīng)濟(jì)中的應(yīng)用：中小企業(yè)的破產(chǎn)模多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件判別分析的相關(guān)例子（2）在天氣預(yù)報(bào)中的應(yīng)用根據(jù)經(jīng)驗(yàn)，下列兩個(gè)因素是預(yù)報(bào)明天下雨與不下雨的重要因素：今天與昨天的濕度差x1今天的壓溫差（氣壓與溫度之差）x2

今測(cè)得x1與x2，應(yīng)預(yù)報(bào)明天下雨還是不下雨？判別分析的相關(guān)例子（2）在天氣預(yù)報(bào)中的應(yīng)用判別分析的其他例子預(yù)測(cè)新產(chǎn)品的成功或失敗判斷一個(gè)人是否患有某種疾病按職業(yè)興趣對(duì)學(xué)生分組確定某人信用風(fēng)險(xiǎn)的種類……判別分析的其他例子預(yù)測(cè)新產(chǎn)品的成功或失敗前言判別分析是一種進(jìn)行統(tǒng)計(jì)判別和分組的技術(shù)手段。判別分析與聚類分析的不同之處在于判別分析帶有“預(yù)測(cè)”意義。判別分析的目的就是從現(xiàn)有已知類別的樣本數(shù)據(jù)中訓(xùn)練出一個(gè)判別函數(shù)，以后再有未知類別的數(shù)據(jù)進(jìn)入，就利用建立的函數(shù)來判斷其類別（判別規(guī)則）。各類判別問題的前提有所不同，進(jìn)行劃分或?qū)ふ遗袆e函數(shù)的準(zhǔn)則也可以不同，判別分析的方法有：距離判別，費(fèi)歇判別，貝葉斯判別等。前言判別分析是一種進(jìn)行統(tǒng)計(jì)判別和分組的技術(shù)手段。判別分析與聚類分析的聯(lián)系與區(qū)別都要求對(duì)樣本進(jìn)行分類，但分析的內(nèi)容和要求不一樣聚類分析事先并不知道存在什么類別，完全按照反映對(duì)象特征的數(shù)據(jù)把對(duì)象進(jìn)行分類判別分析是在事先有了某種分類標(biāo)準(zhǔn)之后，判定一個(gè)新的研究對(duì)象應(yīng)該歸屬到哪一類別某些思想和方法相同兩者往往結(jié)合起來使用當(dāng)分類不清楚時(shí)，可以先用聚類分析對(duì)原有樣品進(jìn)行分類，然后再用判別分析建立判別函數(shù)以對(duì)新樣品進(jìn)行歸類判別分析與聚類分析的聯(lián)系與區(qū)別都要求對(duì)樣本進(jìn)行分類，但分析的例8.1

根據(jù)經(jīng)驗(yàn)，今天與昨天的濕度差x1及今天的壓溫差（氣壓與溫度之差）

x2是預(yù)報(bào)明天下雨或不下雨的兩個(gè)重要因素。 今測(cè)得x1=8.1，x2=2.0，試問應(yīng)預(yù)報(bào)明天下雨還是預(yù)報(bào)明天不下雨？例8.1 根據(jù)經(jīng)驗(yàn)，今天與昨天的濕度差x1及今天的壓溫差（例8.1例8.1X120100-10-20X220100-10-20新樣本點(diǎn)U(x1,x2)D2---非雨區(qū)D1---雨區(qū)X120100-10-20X220100-10-20新樣本點(diǎn)這是一個(gè)最簡單的判別分析問題由判別因子x1和x2：將二維樣本空間劃分成兩個(gè)互不相交的區(qū)域D1和D2，根據(jù)新樣品判別因子的觀察值，若它落在區(qū)域Di，就判該樣品屬于i類構(gòu)造一個(gè)判別函數(shù)u(x1,x2)，然后根據(jù)新樣品的函數(shù)值判斷其屬于哪一類這是一個(gè)最簡單的判別分析問題數(shù)學(xué)模型（概率論的角度）模型：

G個(gè)總體：ξ1,ξ2,…,ξg,…,ξG

其中ξg是p維隨機(jī)變量對(duì)應(yīng)的分布函數(shù)Fg(x1,x2,…,xp)

g=1,2,…,G(x1,x2,…,xp)是表征總體特性的p維隨機(jī)變量的取值，在判別分析中稱之為判別因子。數(shù)學(xué)模型（概率論的角度）模型：現(xiàn)有一個(gè)新的樣本點(diǎn)

x=(x1,x2,…,xp

)’

要判斷此樣本點(diǎn)是屬于哪一個(gè)總體的？假如能掌握每一個(gè)總體ξg的分布規(guī)律或某些數(shù)字特征，則這類問題的解決是不難的現(xiàn)有一個(gè)新的樣本點(diǎn)實(shí)際處理方法在每一個(gè)總體中取一個(gè)容量為ng的樣本

(g=1,2,…,G)，然后根據(jù)已知類別的樣本所提供的信息，判斷新的樣本點(diǎn)屬于哪一類實(shí)際處理方法在每一個(gè)總體中取一個(gè)容量為ng的樣本(g=1,一般判別分析的模型需要判別的類型有G類，起判別作用的因子有p個(gè)：(x1,x2,…,xp),從第g類中取得ng

個(gè)樣品，其第i個(gè)樣品的p個(gè)判別因子的取值為：

xi(g)=(xi1(g),xi2(g),…,xip

(g))′對(duì)p維空間作出一個(gè)劃分：D1,D2,…,DG互不相交或者構(gòu)造一個(gè)判別函數(shù)：u(x1,x2,…,xp)以u(píng)(x1,x2,…,xp)作為新樣品所屬類型的判斷一般判別分析的模型需要判別的類型有G類，起判別作用的因子有p常用的判別方法距離判別Fisher判別Bayes判別逐步判別常用的判別方法距離判別距離判別距離判別距離判別判別準(zhǔn)則根據(jù)各類的ng個(gè)樣本，求出每類的中心坐標(biāo)再根據(jù)新樣品離開每個(gè)類中心的距離遠(yuǎn)近作出它屬于哪一類的判斷距離判別判別準(zhǔn)則(1)兩類距離判別：設(shè)有兩個(gè)總體：ξ1,ξ2(1)兩類距離判別：設(shè)有兩個(gè)總體：ξ1,ξ2d(x,ξg)的計(jì)算選用馬氏距離

d2(x,ξg)=(x-μg)'∑-1(x-μg)

此距離表示x與隨機(jī)向量ξg（x到總體ξg的距離）的距離，即x到ξg的均值μg的馬氏距離。判別規(guī)則d(x,ξg)的計(jì)算選用馬氏距離多元統(tǒng)計(jì)：第八章判別分析課件判別函數(shù)：為線性判別函數(shù)，其中a稱為判別系數(shù)判別函數(shù)：為線性判別函數(shù)，其中a稱為判別系數(shù)利用判別函數(shù)進(jìn)行判別

判別規(guī)則為：

若u(x)＞0，則判x∈ξ1

若u(x)＜0，則判x∈ξ2利用判別函數(shù)進(jìn)行判別判別規(guī)則為：利用u(x)將樣本空間RP

進(jìn)行劃分劃分利用u(x)將樣本空間RP進(jìn)行劃分劃分當(dāng)μ1、μ2、∑未知當(dāng)μ1、μ2、∑未知(2)兩類距離判別：μ1μ2μ*(2)兩類距離判別：μ1μ2μ*多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件p＞1時(shí)可按多類判別中G=2時(shí)的特殊情況處理p＞1時(shí)注意要點(diǎn)（1）μ1μ2μ2只有當(dāng)兩個(gè)總體的均值有顯著差異時(shí)判別分析才有意義注意要點(diǎn)（1）μ1μ2μ2只有當(dāng)兩個(gè)總體的均值有顯著差異時(shí)判注意要點(diǎn)（2）為減少誤判的可能性，有時(shí)可劃定一個(gè)待判區(qū)域bc注意要點(diǎn)（2）為減少誤判的可能性，有時(shí)可劃定一個(gè)待判區(qū)域bc多類距離判別：設(shè)有多個(gè)總體：ξ1,ξ2,…,ξG判別規(guī)則：若d(x,ξg)=mind(x,ξi

)

則判x∈ξg選用馬氏距離

d2(x,ξg)=(x-μg)'∑-1(x-μg)多類距離判別：設(shè)有多個(gè)總體：ξ1,ξ2,…,ξG判別規(guī)則：選當(dāng)μg、∑g(g=1,2,…,G)未知當(dāng)μg、∑g(g=1,2,…,G)未知多類距離判別：∑1=∑2=…=∑G多類距離判別：∑1=∑2=…=∑G距離判別的特點(diǎn)距離判別只要求知道總體的數(shù)字特征，不涉及總體的分布函數(shù)，當(dāng)參數(shù)和協(xié)方差未知時(shí)，就用樣本的均值和協(xié)方差矩陣來估計(jì)。距離判別方法簡單實(shí)用，但沒有考慮到每個(gè)總體出現(xiàn)的機(jī)會(huì)大小，即先驗(yàn)概率，沒有考慮到錯(cuò)判的損失。距離判別的特點(diǎn)距離判別只要求知道總體的數(shù)字特征，不涉及總體的Fisher判別Fisher判別Fisher判別Fisher判別是根據(jù)方差分析的思想建立起來的，即按類內(nèi)方差盡量小，類間方差盡量大的準(zhǔn)則來求判別函數(shù)的。Fisher判別的基本思想是投影，即將原來在p維空間的自變量組合投影到維度較低的D維空間去，然后在D維空間中再進(jìn)行分類。投影的原則是使得每一類內(nèi)的離差盡可能小，而不同類間投影的離差盡可能大。對(duì)總體的分布不做任何要求Fisher判別Fisher判別是根據(jù)方差分析的思想建立起來Fisher判別的圖示兩個(gè)總體的Fisher判別法：旋轉(zhuǎn)坐標(biāo)軸至總體單位盡可能分開的方向，此時(shí)分類變量被簡化為一個(gè)Fisher判別的圖示兩個(gè)總體的Fisher判別法：旋轉(zhuǎn)坐標(biāo)設(shè)有G個(gè)總體：ξ1,ξ2,…,ξG對(duì)任給一個(gè)樣品x，考慮一個(gè)判別函數(shù)u(x)，記設(shè)有G個(gè)總體：ξ1,ξ2,…,ξG對(duì)任給一個(gè)樣品x，考慮一個(gè)Fisher判別準(zhǔn)則：尋找u(x)：使類內(nèi)偏差平方和W0最小，類間偏差平方和

B0

最大Fisher判別準(zhǔn)則：尋找u(x)：即要找u(x)，使達(dá)到最大即要找u(x)，使達(dá)到最大判別規(guī)則：對(duì)新樣品x,若｜u(x)-ui｜=min｜u(x)-ug｜則判x∈ξiu(x)可以是x的任意函數(shù)，通常只考慮線性判別函數(shù)：

u(x)=a′x=a1x1+a2x2+…+apxp重點(diǎn)轉(zhuǎn)為線性判別函數(shù)的系數(shù)a

的確定u(x)的線性函數(shù)亦為Fisher準(zhǔn)則下的判別函數(shù)判別規(guī)則：線性判別函數(shù)的系數(shù)a確定一般地，總體的μ，∑未知，可以用樣本來估計(jì)將B0、W0分別改用樣本的判別函數(shù)值的組間和組內(nèi)離差平方和表示：線性判別函數(shù)的系數(shù)a確定一般地，總體的μ，∑未知，可以用樣多元統(tǒng)計(jì)：第八章判別分析課件多元統(tǒng)計(jì)：第八章判別分析課件在a′W

a=1的條件下，求

a

，使I

達(dá)到最大根據(jù)線性代數(shù)知識(shí)，

a為｜B-λW｜=0的最大特征根所對(duì)應(yīng)的特征向量，λ為最大特征根。在a′Wa=1的條件下，求a，使I達(dá)到最大兩類Fisher判別假設(shè)建立的判別函數(shù)為

u(x)=a′x=a1x1+a2x2+…+apxp假設(shè)有兩個(gè)總體ξ1、ξ2

，分別從兩個(gè)總體中抽取n1和n2個(gè)樣品，每個(gè)樣品觀測(cè)p個(gè)指標(biāo)將屬于不同總體的樣品觀測(cè)值代入判別函數(shù)中兩類Fisher判別假設(shè)建立的判別函數(shù)為假設(shè)有兩個(gè)總體ξ1、分別對(duì)上面兩式左右相加，再除以樣品個(gè)數(shù)，可得兩個(gè)總體的重心:最佳的線性判別函數(shù)應(yīng)該是：兩個(gè)重心的距離越大越好，兩個(gè)組內(nèi)的離差平方和越小越好。分別對(duì)上面兩式左右相加，再除以樣品個(gè)數(shù)，可得兩個(gè)總體的重心:綜上，也就是要求

越大越好組間離差平方和組內(nèi)離差平方和綜上，也就是要求組間離差組內(nèi)離差利用微積分求極值的必要條件可求出使I達(dá)到最大值的a1,a2,…,ap.當(dāng)然，也可以限定在F=1的條件下，求出使I達(dá)到最大值的a1,a2,…,ap

利用微積分求極值的必要條件可求出使I達(dá)到最大值的a1,a2定義臨界值：不妨假設(shè)如果由原始數(shù)據(jù)求得判別函數(shù)得分為u0，對(duì)與一個(gè)樣品代入判別函數(shù)中，若u0>u*，則判給第一類，否則判給第二類。定義臨界值：兩類Fisher判別分析步驟建立判別函數(shù)（關(guān)鍵求判別系數(shù)）計(jì)算判別臨界值，根據(jù)判別準(zhǔn)則對(duì)新樣品判別分類檢驗(yàn)判別效果即檢驗(yàn)兩個(gè)總體的均值向量是否相等因?yàn)榕袆e分析是假設(shè)兩組樣品取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，作判別分析的意義就不大。兩類Fisher判別分析步驟建立判別函數(shù)（關(guān)鍵求判別系數(shù)）判別效果的檢驗(yàn)檢驗(yàn)的前提要求兩個(gè)總體協(xié)方差陣相同且總體服從正態(tài)分布檢驗(yàn)的假設(shè)形式判別效果的檢驗(yàn)檢驗(yàn)的前提檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的決策規(guī)則給定檢驗(yàn)水平α

，查F分布表，確定臨界值Fα

。若F>Fα

，則H0被否定，認(rèn)為判別有效；否則認(rèn)為判別無效。檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的決策規(guī)則多個(gè)總體的Fisher判別法Fisher判別法實(shí)際上是致力于尋找一個(gè)或幾個(gè)最能反映組和組之間差異的投影方向，即尋找線性判別函數(shù)：多個(gè)總體的Fisher判別法Fisher判別法實(shí)際上是致力于設(shè)有k個(gè)總體ξ1,ξ2,…,ξk

，分別有均值向量μ1,μ2

，…,μk,

和協(xié)方差陣σ1,σ2…,σk,分別各總體中得到樣品：設(shè)有k個(gè)總體ξ1,ξ2,…,ξk，分別有均值向量μ1,如果組數(shù)k太大，討論的指標(biāo)太多，則一個(gè)判別函數(shù)是不夠的，這時(shí)需要尋找第二個(gè)，甚至第三個(gè)線性判別函數(shù)，設(shè)需要m(m<k)個(gè)。假設(shè)a’W

a=1的條件下，｜B-λW｜=0的各特征根依次為：，各特征根對(duì)應(yīng)的特征向量則分別構(gòu)成第一、二，…,m線性判別函數(shù)的系數(shù)。關(guān)于需要幾個(gè)判別函數(shù)的問題，需要累計(jì)判別效率達(dá)到85％以上，即如果組數(shù)k太大，討論的指標(biāo)太多，則一個(gè)判別函數(shù)是不夠的，判別準(zhǔn)則以m個(gè)線性判別函數(shù)得到的函數(shù)值為新的變量，再進(jìn)行距離判別。設(shè)ui(x)為第i（i=1,2,…,m）個(gè)線性判別函數(shù)判別準(zhǔn)則以m個(gè)線性判別函數(shù)得到的函數(shù)值為新的變量，再進(jìn)行距離貝葉斯（Bayes）判別貝葉斯（Bayes）判別Bayes統(tǒng)計(jì)思想假定對(duì)研究對(duì)象已有一定的認(rèn)識(shí)，而這種認(rèn)識(shí)常常用先驗(yàn)概率分布描述；然后取得一個(gè)樣本，用樣本提供的信息再修正已有的認(rèn)識(shí)，從而可以得到后驗(yàn)概率分布；各種統(tǒng)計(jì)推斷都通過后驗(yàn)概率分布進(jìn)行。Bayes統(tǒng)計(jì)思想假定對(duì)研究對(duì)象已有一定的認(rèn)識(shí)，而這種認(rèn)識(shí)最大后驗(yàn)準(zhǔn)則辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家都在猜測(cè)。按人們主觀意識(shí)，一個(gè)人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會(huì)做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人？最大后驗(yàn)準(zhǔn)則辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家多元統(tǒng)計(jì)：第八章判別分析課件Bayes判別的基本思想是認(rèn)為所有G個(gè)類別都是空間中互斥的子域，每個(gè)觀測(cè)都是空間中的一個(gè)點(diǎn)。在考慮先驗(yàn)概率的前提下，利用Bayes公式按照一定準(zhǔn)則構(gòu)造一個(gè)判別函數(shù)，分別計(jì)算該樣品落入各個(gè)子域的概率，所有概率中最大的一類就被認(rèn)為是該樣品所屬的類別。Bayes判別準(zhǔn)則：

使錯(cuò)判造成的損失為最小Bayes判別錯(cuò)判損失如何定義？Bayes判別的基本思想是認(rèn)為所有G個(gè)類別都是空間中互斥的子損失函數(shù)以L(h｜g)表示樣品來自第g個(gè)總體，而被錯(cuò)判為第h個(gè)總體所造成的損失

h=gh≠g損失函數(shù)以L(h｜g)表示樣品來自第g個(gè)總體，而被錯(cuò)判為第h錯(cuò)判概率發(fā)生錯(cuò)判的概率bcgh錯(cuò)判概率發(fā)生錯(cuò)判的概率bcgh先驗(yàn)概率第g個(gè)總體出現(xiàn)的先驗(yàn)概率為qg

，

g=1,2,…,G先驗(yàn)概率第g個(gè)總體出現(xiàn)的先驗(yàn)概率為qg，最小Bayes解的簡化引入Eh(x)

要求Bayes解，只要求得使Eh(x)為最小的h值最小Bayes解的簡化引入Eh(x)要求Bayes解取定樣品x

下，使Eh(x)為最小的Bayes解，也就是使后驗(yàn)平均損失最小的Bayes解取定樣品x下，多元統(tǒng)計(jì)：第八章判別分析課件L(h｜g)的簡化

各種錯(cuò)判的損失一樣，都定義為1L(h｜g)的簡化各種Eh(x)的簡化求Eh(x)的最小值等價(jià)于求qhf

h(x)的最大值相當(dāng)于求后驗(yàn)概率的最大值Eh(x)的簡化求Eh(x)的最小值等價(jià)于Bayes判別規(guī)則若qhf

h(x)=maxqgf

g(x)，則:判x∈ξh

,

h=1,2,…,GBayes判別規(guī)則若qhf