2判別分析PPT學習教案

1、會計學12判別分析判別分析第1頁/共70頁第2頁/共70頁第3頁/共70頁第4頁/共70頁第5頁/共70頁第6頁/共70頁第7頁/共70頁第8頁/共70頁第9頁/共70頁-4-20246-4-3-2-10123第10頁/共70頁第11頁/共70頁-4-20246-4-3-2-10123Fisher判別法的數(shù)學第12頁/共70頁這些不同方法可由統(tǒng)計軟件的各種這些不同方法可由統(tǒng)計軟件的各種選項來實現(xiàn)。逐步判別的其他方面選項來實現(xiàn)。逐步判別的其他方面和前面的無異。和前面的無異。第13頁/共70頁 這兩個函數(shù)實際上是由這兩個函數(shù)實際上是由Fisher判別法得到的向兩個方判別法得到的向兩個方向的投影。這

2、兩個典則判別函數(shù)的系數(shù)是下面的向的投影。這兩個典則判別函數(shù)的系數(shù)是下面的SPSS輸出得到的：輸出得到的： 1234567123456713.1660.0353.2830.0370.0070.0680.0230.38 524.3840.0050.5670.0410.0120.0480.0440.15 9FxxxxxxxFxxxxxxx 第14頁/共70頁Canonical Discriminant Function Coefficients.035.0053.283.567.037.041-.007.012.068.048-.023.044-.385-.159-3.166-4.384ISSESA

3、PRRMSMSRCS(Constant)12FunctionUnstandardized coefficients第15頁/共70頁Canonical Discriminant FunctionsFunction 1100-10Function 243210-1-2-3GROUPGroup Centroids321321第16頁/共70頁EigenvaluesEigenvalues26.673a99.099.0.982.262a1.0100.0.456Function12Eigenvalue% of Variance Cumulative %CanonicalCorrelationFirst

4、2 canonical discriminant functions were used in theanalysis.a. 前面說過，投影的重要性是和特征值的貢獻率有關(guān)。該前面說過，投影的重要性是和特征值的貢獻率有關(guān)。該表說明第一個函數(shù)的貢獻率已經(jīng)是表說明第一個函數(shù)的貢獻率已經(jīng)是99%了，而第二個只了，而第二個只有有1%。當然，二維圖要容易看一些。投影之后，再根據(jù)。當然，二維圖要容易看一些。投影之后，再根據(jù)各點的位置遠近算出具體的判別公式（各點的位置遠近算出具體的判別公式（SPSS輸出）：輸出）：第17頁/共70頁Classification Function CoefficientsCla

5、ssification Function Coefficients.118.338.554.77021.32941.616.345.542.811.086.029-.001.355.7431.203.368.173.0817.5315.2202.742-57.521-53.704-96.084ISSESAPRRMSMSRCS(Constant)1.002.003.00GROUPFishers linear discriminant functions該表給出了三個線性分類函數(shù)的系數(shù)。把每個觀測點帶入三個函數(shù)，就可以得到分別代表三類的三個值，該表給出了三個線性分類函數(shù)的系數(shù)。把每個觀測點帶入三個

6、函數(shù)，就可以得到分別代表三類的三個值，哪個值最大，該點就屬于相應(yīng)的那一類。哪個值最大，該點就屬于相應(yīng)的那一類。當然，用不著自己去算，計算機軟件的選項可以把這些訓練數(shù)據(jù)的每一個點按照這里的分類法分到某一類。當然，我們一開始就知道這些訓練數(shù)據(jù)的各個觀測值的歸屬，但即使是這些訓練樣本的觀測值（企業(yè)）按照這里推導出的分類函數(shù)來分類，也不一定全都能夠正確劃分。當然，用不著自己去算，計算機軟件的選項可以把這些訓練數(shù)據(jù)的每一個點按照這里的分類法分到某一類。當然，我們一開始就知道這些訓練數(shù)據(jù)的各個觀測值的歸屬，但即使是這些訓練樣本的觀測值（企業(yè)）按照這里推導出的分類函數(shù)來分類，也不一定全都能夠正確劃分。 第1

7、8頁/共70頁Classification ResultsClassification Resultsb,cb,c300030030030003030100.0.0.0100.0.0100.0.0100.0.0.0100.0100.0300030030030003030100.0.0.0100.0.0100.0.0100.0.0.0100.0100.0GROUP1.002.003.001.002.003.001.002.003.001.002.003.00Count%Count%OriginalCross-validateda1.002.003.00Predicted Group Member

8、shipTotalCross validation is done only for those cases in the analysis. In crossvalidation, each case is classified by the functions derived from allcases other than that case.a. 100.0% of original grouped cases correctly classified.b. 100.0% of cross-validated grouped cases correctly classified.c.

9、第19頁/共70頁第20頁/共70頁Canonical Discriminant FunctionsFunction 186420-2-4-6-8Function 23210-1-2-3-4GROUPGroup Centroids321321Canonical Discriminant FunctionsFunction 1100-10Function 243210-1-2-3GROUPGroup Centroids321321原先的圖原先的圖第21頁/共70頁這個表的結(jié)果是有這個表的結(jié)果是有87個點（個點（96.7%）得到正確劃分，）得到正確劃分，有有3個點被錯誤判別；其中第二類有兩個被誤判

10、為第一個點被錯誤判別；其中第二類有兩個被誤判為第一類，有一個被誤判為第三類。類，有一個被誤判為第三類。Classification ResultsClassification Resultsb,cb,c300030227130003030100.0.0.0100.06.790.03.3100.0.0.0100.0100.0300030227130003030100.0.0.0100.06.790.03.3100.0.0.0100.0100.0GROUP1.002.003.001.002.003.001.002.003.001.002.003.00Count%Count%OriginalCros

11、s-validateda1.002.003.00Predicted Group MembershipTotalCross validation is done only for those cases in the analysis. In crossvalidation, each case is classified by the functions derived from allcases other than that case.a. 96.7% of original grouped cases correctly classified.b. 96.7% of cross-vali

12、dated grouped cases correctly classified.c. 第22頁/共70頁第23頁/共70頁第24頁/共70頁第25頁/共70頁第26頁/共70頁第27頁/共70頁( )( )1: ,1,.,iiiinGa xa xik第28頁/共70頁將將Gm組中數(shù)據(jù)投影的均值記為組中數(shù)據(jù)投影的均值記為 有有記記k組數(shù)據(jù)投影的總均值為組數(shù)據(jù)投影的總均值為 有有()()11,1,.,mnmmiima xa xmkn()ma xa x()111mnkmimia xa xn第29頁/共70頁組間離差平方和為組間離差平方和為:()21()()1( )()();kmmmkmmmmSSG

13、na xa xanxxxxaa Ba這這里里()()1()()kmmmmBnxxxx組內(nèi)離差平方和為組內(nèi)離差平方和為:()()211()()()()11( )()();mmnkmmiminkmmmmiimiSSEa xa xaxxxxaa Ea()()()()11()()mnkmmmmiimiExxxx這這里里第30頁/共70頁注注:L=|E|/|B+E|為有為有Wilks分布的檢驗零假設(shè)分布的檢驗零假設(shè)H0:m m(1)= m m(k)的似然比統(tǒng)計量的似然比統(tǒng)計量. Wilks分布分布常用常用c c2分布近似分布近似(Bartlett)第31頁/共70頁希望尋找希望尋找a使得使得SSG盡可能

14、大而盡可能大而SSE盡可能盡可能小小,即即( )maxa Baaa Ea記方程記方程|B-l lE|=0的全部特征根為的全部特征根為l l1 l lr0, 相相應(yīng)的特征向量為應(yīng)的特征向量為v1,vr. (a)的大小可以估計判別的大小可以估計判別函數(shù)函數(shù)yi(x)=vix (= ax)的效果的效果. 記記pi為判別能力為判別能力(效率效率), 有有最大的值為方程最大的值為方程|B-l lE|=0的最大特征根的最大特征根l l1.1iirhhpll使使a Baa Ea第32頁/共70頁m個判別函數(shù)的判別能力定義為個判別函數(shù)的判別能力定義為111mimiirihhpll據(jù)此來確定選擇多少判別函數(shù)。據(jù)

15、此來確定選擇多少判別函數(shù)。再看逐再看逐步判別法。步判別法。第33頁/共70頁第34頁/共70頁第35頁/共70頁第36頁/共70頁第37頁/共70頁線性判別函數(shù)線性判別函數(shù):當當S S(1)=S S(2)=S S時時22(1)(2)1(1)(2)211( ,)( ,)2()()2Dx GDx GxmmmmS記記(1)(2)1(1)(2)1();( )()()2W xxmmmmmmS如果如果W(x)0即即D(x,G1)D(x,G2)則則 xG1如果如果W(x)D(x,G2)則則 xG2如果如果W(x)=0即即D(x,G1)=D(x,G2)則待判則待判第38頁/共70頁當當m m(1), m m(

16、2), S S 已知已知時時,令令a= S S-1(m m(1)- m m(2) ) (a1, ap),則則111111( )()()(,.,)(),.,()ppppppxW xxaa xaaxa xaxmmmmmm顯然顯然W(x)為為x1, xp的線性函數(shù)的線性函數(shù), 稱為線性稱為線性判別函數(shù)判別函數(shù); a稱為判別系數(shù)稱為判別系數(shù). 第39頁/共70頁當當m m(1), m m(2), S S 未知未知時時,可通過樣本來估計可通過樣本來估計:( )( )1,.,iiinxx判別函數(shù)判別函數(shù)為為為來自為來自Gi的樣本為的樣本為(i=1,2)2( )( )( )12112( )( )( )( )

17、(1)(2)111,(),21()(),()2iniiikkiniiiiitttxxSSnnnSxxxxxxxmS 1(1)(2)( )()()W xxxxxS第40頁/共70頁非線性判別函數(shù)非線性判別函數(shù):當當S S(1) S S(2)時時2221(2)(2)1(2)(1)(1)1(1)( ,)( ,)()() ()()() ()Dx GDx GxxxxmmmmSS這是這是x的一個二次函數(shù)的一個二次函數(shù), 按照距離最近原則按照距離最近原則,判別準則仍然為判別準則仍然為如果如果W(x)0即即D(x,G1)D(x,G2)則則 xG1如果如果W(x)D(x,G2)則則 xG2如果如果W(x)=0即

18、即D(x,G1)=D(x,G2)則待判則待判第41頁/共70頁多總體時的線性判別函數(shù)多總體時的線性判別函數(shù):當當S S(1)=S S(k)=S S時時記記22( )( )1( )( )1( )( ,)( ,)21()(), ,1,.,2ijijijijWxDx GDx Gxi jkmmmmS相應(yīng)的準則為相應(yīng)的準則為:如果對一切如果對一切ji, Wij(x)0, 則則 xGi如果有某一個如果有某一個Wij(x)=0, 則待判則待判2( )( )1( )( ,)()() (),1,.,iiiiDx GxxikmmS第42頁/共70頁非線性判別函數(shù)非線性判別函數(shù):當當S S(1) , S S(k)

19、不等時不等時( )( )1( )( )( )1( )( )()() ()()() ()jjjijiiiWxxxxxmmmmSS相應(yīng)的準則為相應(yīng)的準則為:如果對一切如果對一切ji, Wij(x)0, 則則 xGi如果有某一個如果有某一個Wij(x)=0, 則待判則待判. 當當m m(i), S S(i) 未知未知時時, 可通過樣本來估計可通過樣本來估計2( )( )( )( )1( )( )( )( )111,1,.,1()().iniiiikikiiniiiiitttxxS iknnSxxxxmS第43頁/共70頁m個判別函數(shù)的判別能力定義為個判別函數(shù)的判別能力定義為下面以兩總體下面以兩總體(

20、k=2)為例來發(fā)現(xiàn)閾值為例來發(fā)現(xiàn)閾值. 它們的均值它們的均值 的投影分別為的投影分別為111mimiirihhpll(1)(2),xx(1)(2)11,v xv x當總體方差相等時當總體方差相等時閾值為閾值為(1)(2)(1)(2)111()/2()/2v xv xvxxm第44頁/共70頁1(1)(1)111,.,nv xv x12(1)(1)(1)(1)11111 111111()()11niiisvxxxxvv Avnn總體方差不等時總體方差不等時,注意到注意到 的樣本方差為的樣本方差為 (1)(2)*2 11 112s v xs v xssm類似地類似地,第二組數(shù)據(jù)投影的樣本方差為第二

21、組數(shù)據(jù)投影的樣本方差為2212 1211sv A vn于是閾于是閾值值如如(2)(1)11v xv x判別規(guī)則為判別規(guī)則為12( )(*)( )(*)( )(*)y xorxGy xorxGy xorx undecidedmmmmmm第45頁/共70頁用用m個線性判別函數(shù)個線性判別函數(shù)yi(x) =vix,i=1,m,時時, 先先將樣本點在將樣本點在L(vi,vm )空間投影再按照空間投影再按照p1情況情況的距離判別法來制定判別規(guī)則的距離判別法來制定判別規(guī)則. 判別能力為判別能力為111mimiirihhpll于秀林書上介紹了對用一個和于秀林書上介紹了對用一個和m個判別函數(shù)的個判別函數(shù)的加權(quán)和

22、不加權(quán)方法加權(quán)和不加權(quán)方法. 記記y(x)= vx, 其在其在Gi上的樣上的樣本均值和方差本均值和方差, 以及總均值為以及總均值為( )( )2( ),iiiiyv xv s v yv x第46頁/共70頁m=1時時, 不加權(quán)法不加權(quán)法:( )( )| ( )| min | ( )|ijjiy xyy xyxGm=1時時, 加權(quán)法加權(quán)法: 按大小排列按大小排列(1)( ),.,(1)( )kyyyy kDi,i+1可為相應(yīng)兩類的分界點可為相應(yīng)兩類的分界點相應(yīng)的標準差為相應(yīng)的標準差為 令令(1),.,( )k,1(1) ( )( ) (1),1,.,1(1)( )i iiy ii y idiki

23、i1,1( )iii iidy xdxG第47頁/共70頁m1時時, 不加權(quán)法不加權(quán)法: 記記對對x=(x1,), yl(x)=v(l)xm1時時, 加權(quán)法加權(quán)法: 記記2( ) 21( ) ,1,.,miilllDy xyik則則則則22miniiDDxG( )( )( ),1,.,;1,.,ililycxlm ik2( ) 21( ),1,.,miillllDy xyikl22miniiDDxG第48頁/共70頁如果如果c(i|j)為來自為來自j總體的個體被錯總體的個體被錯判到第判到第i總體的損失總體的損失. 定義定義平均錯判平均錯判損失損失(ECM)為為ECM=S Si=1 qiS Sl

24、iP(l|i)c(l|i)第49頁/共70頁第50頁/共70頁第51頁/共70頁第52頁/共70頁Analysis Case Processing SummaryAnalysis Case Processing Summary150100.00.00.00.00.0150100.0Unweighted CasesValidMissing or out-of-rangegroup codesAt least one missingdiscriminating variableBoth missing orout-of-range groupcodes and at least onemissin

25、g discriminatingvariableTotalExcludedTotalNPercent第53頁/共70頁Group StatisticsGroup Statistics50.063.5255050.00034.283.7915050.00014.621.7375050.0002.461.0545050.00059.365.1625050.00027.663.1475050.00042.604.6995050.00013.261.9785050.00066.387.1285050.00029.823.2185050.00055.605.5405050.00020.262.74750

26、50.00058.608.633150150.00030.594.363150150.00037.6117.682150150.00011.997.622150150.000花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬分類剛毛鳶尾花變色鳶尾花佛吉尼亞鳶尾花TotalMeanStd.DeviationUnweightedWeightedValid N (listwise)第54頁/共70頁Pooled Within-Groups MatricesPooled Within-Groups Matricesa a29.9608.76716.1294

27、.3408.76711.5425.0333.14516.1295.03318.5974.2874.3403.1454.2874.1881.000.471.683.387.4711.000.344.452.683.3441.000.486.387.452.4861.000花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬CovarianceCorrelation花萼長花萼寬花瓣長花瓣寬The covariance matrix has 147 degrees of freedom.a. 第55頁/共70頁Covariance MatricesCovariance Matricesa a12.425

28、9.9221.6361.0339.92214.3691.170.9301.6361.1703.016.6071.033.930.6071.11126.6438.28818.2905.5788.2889.9028.1274.04918.2908.12722.0827.3105.5784.0497.3103.91150.8128.09028.4616.4098.09010.3555.8044.45628.4615.80430.6944.9436.4094.4564.9437.54374.537-4.683130.03653.507-4.68319.036-33.056-12.083130.036-

29、33.056312.670129.80353.507-12.083129.80358.101花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬分類剛毛鳶尾花變色鳶尾花佛吉尼亞鳶尾花Total花萼長花萼寬花瓣長花瓣寬The total covariance matrix has 149 degrees of freedom.a. 第56頁/共70頁EigenvaluesEigenvalues30.419a99.099.0.984.293a1.0100.0.476Function12Eigenvalue% of Variance Cumulative

30、%CanonicalCorrelationFirst 2 canonical discriminant functions were used in theanalysis.a. 第57頁/共70頁Wilks LambdaWilks Lambda.025538.9508.000.77437.3513.000Test of Function(s)1 through 22Wilks LambdaChi-squaredfSig.第58頁/共70頁Standardized Canonical DiscriminantStandardized Canonical DiscriminantFunction

31、 CoefficientsFunction Coefficients-.346.039-.525.742.846-.386.613.555花萼長花萼寬花瓣長花瓣寬12Function標準化的典則判標準化的典則判別函數(shù)系數(shù)別函數(shù)系數(shù)(使用使用時必須用標準化時必須用標準化的自變量的自變量)11234212340.3460.5250.8460.6130.0390.7420.3860.555yxxxxyxxxx 第59頁/共70頁Canonical Discriminant Function CoefficientsCanonical Discriminant Function Coefficient

32、s-.063.007-.155.218.196-.089.299.271-2.526-6.987花萼長花萼寬花瓣長花瓣寬(Constant)12FunctionUnstandardized coefficients典則判別函數(shù)系數(shù)典則判別函數(shù)系數(shù)11234212340.0630.1550.1960.2992.5260.0070.2180.0890.2716.948yxxxxyxxxx 第60頁/共70頁Functions at Group CentroidsFunctions at Group Centroids-7.392.2191.763-.7375.629.518分類剛毛鳶尾花變色鳶尾花

33、佛吉尼亞鳶尾花12FunctionUnstandardized canonical discriminantfunctions evaluated at group means這是典則判別函數(shù)這是典則判別函數(shù)(前面兩個函數(shù)前面兩個函數(shù))在類在類均值均值(重心重心)處的值處的值第61頁/共70頁Classification Processing SummaryClassification Processing Summary15000150ProcessedMissing or out-of-rangegroup codesAt least one missingdiscriminating v

34、ariableExcludedUsed in OutputPrior Probabilities for GroupsPrior Probabilities for Groups.3335050.000.3335050.000.3335050.0001.000150150.000分類剛毛鳶尾花變色鳶尾花佛吉尼亞鳶尾花TotalPriorUnweightedWeightedCases Used in AnalysisClassification Function CoefficientsClassification Function Coefficients1.6871.101.8652.695

35、1.070.747-.8801.0011.647-2.284.1971.695-80.268-71.196-103.890花萼長花萼寬花瓣長花瓣寬(Constant)剛毛鳶尾花變色鳶尾花佛吉尼亞鳶尾花分類Fishers linear discriminant functions先驗概率先驗概率(沒有給沒有給)費歇判別函數(shù)系數(shù)費歇判別函數(shù)系數(shù)把自變量代入三個把自變量代入三個式子式子,哪個大歸誰哪個大歸誰.第62頁/共70頁 Territorial MapCanonical DiscriminantFunction 2 -12.0 -8.0 -4.0 .0 4.0 8.0 12.0 趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌 12.0 12 23 12 23 12 23 12 23 12 23 12 23 8.0 12 23 12 23 12 23 12 23 12 23 12 23 4.0 12 23 12 23 12 23 12 23 12 23 12 23 * .0 * 12 23 12 * 23 12 23 12 23 12 23 12 23 -4.0 12 23 12 23 12 23 12 23 12 23 12 23 -8.0 12 23 12 23 12 23 12 23 12 23 12 23 -12.0 12 23 趄蝌蝌