SPSS第十三章解讀課件

第十三章

SPSS的判別分析第十三章

SPSS的判別分析判別分析的一般內(nèi)容判別分析是多元統(tǒng)計(jì)分析中實(shí)現(xiàn)數(shù)據(jù)分類的方法例如：不同類型客戶的預(yù)測(cè)應(yīng)用特點(diǎn)：數(shù)據(jù)中包含用于預(yù)測(cè)的變量(自變量)，稱為判別變量（定距）數(shù)據(jù)中包含已知所屬類別的變量(因變量)，稱為類別變量（定類，不同類別依次用整數(shù)表示）判別分析可以根據(jù)已有數(shù)據(jù)，確定類別變量與判別變量之間的數(shù)量關(guān)系，建立判別函數(shù)，并可通過(guò)判別函數(shù)實(shí)現(xiàn)對(duì)未知數(shù)據(jù)類別的預(yù)測(cè)判別分析的一般內(nèi)容判別分析是多元統(tǒng)計(jì)分析中實(shí)現(xiàn)數(shù)據(jù)分類的方法判別分析與聚類分析的不同點(diǎn)：聚類分析中的類別是未知的，完全通過(guò)數(shù)據(jù)來(lái)確定；判別分析，通過(guò)對(duì)已知類別的“訓(xùn)練樣本”的學(xué)習(xí)，建立判別準(zhǔn)則，具有“預(yù)測(cè)”意義判別分析的一般要求：判別變量不應(yīng)有較強(qiáng)的相關(guān)性判別變量服從正態(tài)分布判別分析方法的劃分：根據(jù)類數(shù)：兩組判別分析、多組判別分析根據(jù)模型：線性判別、非線性判別根據(jù)判別準(zhǔn)則：距離判別法、Fisher判別法、Bayes判別法判別分析與聚類分析的不同點(diǎn)：判別分析中的數(shù)據(jù)設(shè)有分別來(lái)自k2個(gè)總體的k個(gè)樣本，每個(gè)樣本都有關(guān)于X1，X2，…，Xp的判別變量(p＞k)總樣本量為n，各樣本的樣本量為ni(i=1,2,..k)例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中抽取m個(gè)觀測(cè)；有p個(gè)判別變量判別分析中的數(shù)據(jù)設(shè)有分別來(lái)自k2個(gè)總體的k個(gè)樣本，每個(gè)樣本思路：將n個(gè)觀測(cè)數(shù)據(jù)看成p維空間中的點(diǎn)，計(jì)算每個(gè)類別的中心(類別均值)計(jì)算任一觀測(cè)點(diǎn)到各個(gè)類別中心的距離(通常采用平方馬氏距離)根據(jù)距離最近的原則，距離哪個(gè)中心近，則屬于哪個(gè)類例：設(shè)(1),(2),(1),(2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)X到Gi的距離定義為平方馬氏距離為:距離判別u未知時(shí)用樣本均值替代思路：距離判別u未知時(shí)用樣本均值替代當(dāng)各維度存在數(shù)量級(jí)的差異時(shí)，歐氏距離不恰當(dāng)馬氏距離：除以方差為什么采用馬氏距離當(dāng)各維度存在數(shù)量級(jí)的差異時(shí)，歐氏距離不恰當(dāng)為什么采用馬氏距離體現(xiàn)了從概率角度出發(fā)的距離(A距u2更近,A,B距離相等)例如：均值為0標(biāo)準(zhǔn)差為1以及均值為5標(biāo)準(zhǔn)差為2ABx1x2為什么采用馬氏距離體現(xiàn)了從概率角度出發(fā)的距離(A距u2更近,A,B距離相等)A距離判別法根據(jù)D2(X,G1)、D2(X,G2)判斷：如果D2(X,G1)<D2(X,G2),則:X∈G1如果D2(X,G2)<D2(X,G1),則:X∈G2如果D2(X,G1)=D2(X,G2),則待判判別函數(shù)：W(X)=D2(X,G2)-D2(X,G1),判斷：如果W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判距離判別法根據(jù)D2(X,G1)、D2(X,G2)判斷：若各組協(xié)差陣相等：采用(pooledwithin-groupscovariance)當(dāng)采用時(shí)，代入距離判別函數(shù)，整理：距離判別法若各組協(xié)差陣相等：當(dāng)采用時(shí)，代入距離判別函數(shù)，整理：距離判當(dāng)采用時(shí),判別函數(shù)為線性函數(shù)判別函數(shù)表示的直線為兩總體中心連線的垂直平分線（σ12=σ22）W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判G2G1距離判別法當(dāng)采用時(shí),判別函數(shù)為線性函數(shù)W(X)>0,則:X∈G1G2W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判若兩類別的均值無(wú)顯著差異，錯(cuò)判概率高判別函數(shù)等于0表示的直線為兩總體中心連線的垂直平分線W(X)>0,則:X∈G1判別函數(shù)等于0表示的直線為兩總體中若各組協(xié)差陣不相等:采用(separated-groupscovariance)判別函數(shù)(非線性)為：距離判別法的特點(diǎn)：直觀問(wèn)題：多個(gè)總體的均值是否存在顯著差異多個(gè)總體的協(xié)差陣是否存在顯著差異G2G1G1W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判若各組協(xié)差陣不相等:G2G1G1W(X)>0,則:X∈G1多個(gè)總體的均值檢驗(yàn):H0:(1)=…=(k)Wilks統(tǒng)計(jì)量：Wilks=|SSE|/|SSG+SSE|，服從Wilks分布。SPSS輸出一元單因素方差分析表(F統(tǒng)計(jì)量)多個(gè)總體的協(xié)差陣檢驗(yàn):BOX’s檢驗(yàn)H0：若協(xié)差陣等，合并的協(xié)差陣的廣義方差與各類別廣義方差差異不顯著統(tǒng)計(jì)量：M（近似服從F分布）多個(gè)總體的均值檢驗(yàn):H0:(1)=…=(k)多個(gè)總體的Fisher判別法Fisher判別也稱典型判別基本思想是先投影的距離判別將原來(lái)p維X空間的判別變量通過(guò)線性變換投影到m(m<p)維Y空間中系數(shù)如何確定可否參考主成分分析法m如何確定Fisher判別法Fisher判別也稱典型判別系數(shù)如何確定Fisher判別法Fisher判別模型，是判別變量的線性函數(shù)形式：系數(shù)ai稱為判別系數(shù)，表示各判別變量對(duì)于判別函數(shù)的影響Y反映的是樣本在低維空間中某個(gè)維度上的坐標(biāo)判別函數(shù)通常為多個(gè)，得到在低維空間中多個(gè)維度上的坐標(biāo)，決定了預(yù)測(cè)點(diǎn)在低維空間中的位置Fisher判別法Fisher判別模型，是判別變量的線性函數(shù)Fisher判別法尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向首先在判別變量的p維空間中，找到某個(gè)線性組合，使各類別的平均值差異最大，作為判別的第一維度，代表判別變量組間方差中的最大部分，得到第一判別函數(shù)然后，按照同樣規(guī)則依次找到第二判別函數(shù)、第三判別函數(shù)等，這些判別函數(shù)之間相互獨(dú)立得到的每個(gè)函數(shù)都可以反映判別變量組間方差的一部分，各判別函數(shù)反應(yīng)的組間方差比例之和為100%前面的判別函數(shù)相對(duì)重要，后面的判別函數(shù)只代表很少一部分方差，可以被忽略Fisher判別法尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向示例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中抽取m個(gè)觀測(cè)；有p個(gè)判別變量若判別函數(shù)為：將屬于不同兩類的觀測(cè)代入判別函數(shù)：示例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中為使判別函數(shù)很好區(qū)分來(lái)自兩個(gè)總體的樣本,希望：相差越大越好組內(nèi)的離差平方和越小越好下式越大越好利用求極值原理，可以求出使I達(dá)到最大時(shí)的系數(shù)a為使判別函數(shù)很好區(qū)分來(lái)自兩個(gè)總體的樣本,希望：一般陳述：點(diǎn)x在以a為法方向的投影為a’x,則各組數(shù)據(jù)的投影為：將Gm組中數(shù)據(jù)投影的均值記為有：記k組數(shù)據(jù)投影的總均值為有：一般陳述：組間離差平方和：組內(nèi)離差平方和：組間離差平方和：希望尋找a使得SSG盡可能大而SSE盡可能小,即:記方程|B-lE|=0的全部特征值為l1≥…≥lr>0,相應(yīng)的特征向量為v1,…,vr.則判別函數(shù)為：yi(x)=vi’x(=a’x)記pi為第i個(gè)判別函數(shù)的判別能力(效率)：m個(gè)判別函數(shù)的判別能力為：最大的值為方程|B-lE|=0的最大特征值根l1使希望尋找a使得SSG盡可能大而SSE盡可能小,即:記方程|BBayes判別在認(rèn)為所有k個(gè)類別都是空間互斥的子域的條件下，利用貝葉斯方法進(jìn)行判別貝葉斯方法是一種研究不確定性問(wèn)題的決策方法通過(guò)貝葉斯概率描述不確定性引進(jìn)效用函數(shù)（UtilityFunction）選擇使期望效用最大的最優(yōu)決策貝葉斯概率一種主觀概率：對(duì)事物發(fā)生概率的主觀估計(jì)主觀概率取決于先驗(yàn)知識(shí)的正確性和后驗(yàn)知識(shí)的豐富性Bayes判別在認(rèn)為所有k個(gè)類別都是空間互斥的子域的條件下，貝葉斯概率首先,用先于數(shù)據(jù)的概率描述最初的不確定性然后,將其和試驗(yàn)數(shù)據(jù)相結(jié)合，產(chǎn)生一個(gè)后于數(shù)據(jù)的修訂了的概率不確定性須用概率來(lái)描述，不確定性的表述須與概率論的運(yùn)算規(guī)則相結(jié)合貝葉斯公式事件A與事件B獨(dú)立事件A與事件B不獨(dú)立Bayes判別貝葉斯概率Bayes判別Bayes判別貝葉斯公式P(A)稱為先驗(yàn)概率;P(B|A)為條件概率，在貝葉斯判別中為似然函數(shù);P(A|B)為后驗(yàn)概率后驗(yàn)概率可看做一種簡(jiǎn)化的效用函數(shù)最大后驗(yàn)概率假設(shè)是貝葉斯決策的依據(jù)Bayes判別貝葉斯公式Bayes判別設(shè)：有k個(gè)總體G1,G2…,Gk,觀測(cè)從屬于各總體的先驗(yàn)概率分別為q1,q2,…qk;似然函數(shù)為f1(X),f2(X),…fk(X)(x連續(xù)為密度)則：樣本x來(lái)自第g總體的后驗(yàn)概率為：對(duì)于新樣本分別計(jì)算其落入各個(gè)子域的后驗(yàn)概率，其所歸屬的類別為后驗(yàn)概率最大的類別（總體）Bayes判別設(shè)：先驗(yàn)概率：一般為等概率(熵最大原則)計(jì)算似然函數(shù)：計(jì)算后驗(yàn)概率只根據(jù)對(duì)分子計(jì)算對(duì)數(shù)的結(jié)果即可判斷先驗(yàn)概率：一般為等概率(熵最大原則)第十三章

SPSS的判別分析第十三章

SPSS的判別分析判別分析的一般內(nèi)容判別分析是多元統(tǒng)計(jì)分析中實(shí)現(xiàn)數(shù)據(jù)分類的方法例如：不同類型客戶的預(yù)測(cè)應(yīng)用特點(diǎn)：數(shù)據(jù)中包含用于預(yù)測(cè)的變量(自變量)，稱為判別變量（定距）數(shù)據(jù)中包含已知所屬類別的變量(因變量)，稱為類別變量（定類，不同類別依次用整數(shù)表示）判別分析可以根據(jù)已有數(shù)據(jù)，確定類別變量與判別變量之間的數(shù)量關(guān)系，建立判別函數(shù)，并可通過(guò)判別函數(shù)實(shí)現(xiàn)對(duì)未知數(shù)據(jù)類別的預(yù)測(cè)判別分析的一般內(nèi)容判別分析是多元統(tǒng)計(jì)分析中實(shí)現(xiàn)數(shù)據(jù)分類的方法判別分析與聚類分析的不同點(diǎn)：聚類分析中的類別是未知的，完全通過(guò)數(shù)據(jù)來(lái)確定；判別分析，通過(guò)對(duì)已知類別的“訓(xùn)練樣本”的學(xué)習(xí)，建立判別準(zhǔn)則，具有“預(yù)測(cè)”意義判別分析的一般要求：判別變量不應(yīng)有較強(qiáng)的相關(guān)性判別變量服從正態(tài)分布判別分析方法的劃分：根據(jù)類數(shù)：兩組判別分析、多組判別分析根據(jù)模型：線性判別、非線性判別根據(jù)判別準(zhǔn)則：距離判別法、Fisher判別法、Bayes判別法判別分析與聚類分析的不同點(diǎn)：判別分析中的數(shù)據(jù)設(shè)有分別來(lái)自k2個(gè)總體的k個(gè)樣本，每個(gè)樣本都有關(guān)于X1，X2，…，Xp的判別變量(p＞k)總樣本量為n，各樣本的樣本量為ni(i=1,2,..k)例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中抽取m個(gè)觀測(cè)；有p個(gè)判別變量判別分析中的數(shù)據(jù)設(shè)有分別來(lái)自k2個(gè)總體的k個(gè)樣本，每個(gè)樣本思路：將n個(gè)觀測(cè)數(shù)據(jù)看成p維空間中的點(diǎn)，計(jì)算每個(gè)類別的中心(類別均值)計(jì)算任一觀測(cè)點(diǎn)到各個(gè)類別中心的距離(通常采用平方馬氏距離)根據(jù)距離最近的原則，距離哪個(gè)中心近，則屬于哪個(gè)類例：設(shè)(1),(2),(1),(2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)X到Gi的距離定義為平方馬氏距離為:距離判別u未知時(shí)用樣本均值替代思路：距離判別u未知時(shí)用樣本均值替代當(dāng)各維度存在數(shù)量級(jí)的差異時(shí)，歐氏距離不恰當(dāng)馬氏距離：除以方差為什么采用馬氏距離當(dāng)各維度存在數(shù)量級(jí)的差異時(shí)，歐氏距離不恰當(dāng)為什么采用馬氏距離體現(xiàn)了從概率角度出發(fā)的距離(A距u2更近,A,B距離相等)例如：均值為0標(biāo)準(zhǔn)差為1以及均值為5標(biāo)準(zhǔn)差為2ABx1x2為什么采用馬氏距離體現(xiàn)了從概率角度出發(fā)的距離(A距u2更近,A,B距離相等)A距離判別法根據(jù)D2(X,G1)、D2(X,G2)判斷：如果D2(X,G1)<D2(X,G2),則:X∈G1如果D2(X,G2)<D2(X,G1),則:X∈G2如果D2(X,G1)=D2(X,G2),則待判判別函數(shù)：W(X)=D2(X,G2)-D2(X,G1),判斷：如果W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判距離判別法根據(jù)D2(X,G1)、D2(X,G2)判斷：若各組協(xié)差陣相等：采用(pooledwithin-groupscovariance)當(dāng)采用時(shí)，代入距離判別函數(shù)，整理：距離判別法若各組協(xié)差陣相等：當(dāng)采用時(shí)，代入距離判別函數(shù)，整理：距離判當(dāng)采用時(shí),判別函數(shù)為線性函數(shù)判別函數(shù)表示的直線為兩總體中心連線的垂直平分線（σ12=σ22）W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判G2G1距離判別法當(dāng)采用時(shí),判別函數(shù)為線性函數(shù)W(X)>0,則:X∈G1G2W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判若兩類別的均值無(wú)顯著差異，錯(cuò)判概率高判別函數(shù)等于0表示的直線為兩總體中心連線的垂直平分線W(X)>0,則:X∈G1判別函數(shù)等于0表示的直線為兩總體中若各組協(xié)差陣不相等:采用(separated-groupscovariance)判別函數(shù)(非線性)為：距離判別法的特點(diǎn)：直觀問(wèn)題：多個(gè)總體的均值是否存在顯著差異多個(gè)總體的協(xié)差陣是否存在顯著差異G2G1G1W(X)>0,則:X∈G1如果W(X)<0,則:X∈G2如果W(X)=0,則待判若各組協(xié)差陣不相等:G2G1G1W(X)>0,則:X∈G1多個(gè)總體的均值檢驗(yàn):H0:(1)=…=(k)Wilks統(tǒng)計(jì)量：Wilks=|SSE|/|SSG+SSE|，服從Wilks分布。SPSS輸出一元單因素方差分析表(F統(tǒng)計(jì)量)多個(gè)總體的協(xié)差陣檢驗(yàn):BOX’s檢驗(yàn)H0：若協(xié)差陣等，合并的協(xié)差陣的廣義方差與各類別廣義方差差異不顯著統(tǒng)計(jì)量：M（近似服從F分布）多個(gè)總體的均值檢驗(yàn):H0:(1)=…=(k)多個(gè)總體的Fisher判別法Fisher判別也稱典型判別基本思想是先投影的距離判別將原來(lái)p維X空間的判別變量通過(guò)線性變換投影到m(m<p)維Y空間中系數(shù)如何確定可否參考主成分分析法m如何確定Fisher判別法Fisher判別也稱典型判別系數(shù)如何確定Fisher判別法Fisher判別模型，是判別變量的線性函數(shù)形式：系數(shù)ai稱為判別系數(shù)，表示各判別變量對(duì)于判別函數(shù)的影響Y反映的是樣本在低維空間中某個(gè)維度上的坐標(biāo)判別函數(shù)通常為多個(gè)，得到在低維空間中多個(gè)維度上的坐標(biāo)，決定了預(yù)測(cè)點(diǎn)在低維空間中的位置Fisher判別法Fisher判別模型，是判別變量的線性函數(shù)Fisher判別法尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向首先在判別變量的p維空間中，找到某個(gè)線性組合，使各類別的平均值差異最大，作為判別的第一維度，代表判別變量組間方差中的最大部分，得到第一判別函數(shù)然后，按照同樣規(guī)則依次找到第二判別函數(shù)、第三判別函數(shù)等，這些判別函數(shù)之間相互獨(dú)立得到的每個(gè)函數(shù)都可以反映判別變量組間方差的一部分，各判別函數(shù)反應(yīng)的組間方差比例之和為100%前面的判別函數(shù)相對(duì)重要，后面的判別函數(shù)只代表很少一部分方差，可以被忽略Fisher判別法尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向示例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中抽取m個(gè)觀測(cè)；有p個(gè)判別變量若判別函數(shù)為：將屬于不同兩類的觀測(cè)代入判別函數(shù)：示例：設(shè)有兩個(gè)總體G1和G2,從G1中抽取n個(gè)觀測(cè)，從G2中為使判別函數(shù)很好區(qū)分來(lái)自兩個(gè)總體的樣本,希望：相差越大越好組內(nèi)的離差平方和越小越好下式越大越好利用求極值原理，可以求出使I達(dá)到最大時(shí)的系數(shù)a為使判別函數(shù)很好區(qū)分來(lái)自兩個(gè)總體的樣本,希望：一般陳述：點(diǎn)x在以a為法方向的投影為a’x,則各組數(shù)據(jù)的投影為：將Gm組中數(shù)據(jù)投影的均值記為有：記k組數(shù)據(jù)投影的總均值為有：一般陳述：組間離差平方和：組內(nèi)離差平方和：組間離差平方和：希望尋找a使得SSG盡可能大而SSE盡可能小,即:記方程|B-lE|=0的全部特征值為l1≥…≥lr>0,相應(yīng)的特征向量為v1,…,vr.則判別函數(shù)為：yi(x)=vi’x(=a’x)記pi為第i個(gè)判別函數(shù)的判別能力(效率