Fisher最優(yōu)分割法的結(jié)合應(yīng)用

主成分分析與Fisher最優(yōu)分割法的結(jié)合應(yīng)用主成分分析計(jì)算步驟算相關(guān)系數(shù)矩陣在上式中，rij（i，j=1，2，…，p）為原變量的xi與xj之間的相關(guān)系數(shù)，其計(jì)算公式為因?yàn)镽是實(shí)對(duì)稱矩陣（即rij=rji），所以只需計(jì)算上三角元素或下三角元素即可。2．計(jì)算特征值與特征向量首先解特征方程，通常用雅可比法（Jacobi）求出特征值，并使其按大小順序排列，即；然后分別求出對(duì)應(yīng)于特征值的特征向量。這里要求=1，即，其中表示向量的第j個(gè)分量。3．計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率主成分的貢獻(xiàn)率為累計(jì)貢獻(xiàn)率為一般取累計(jì)貢獻(xiàn)率達(dá)85—95%的特征值所對(duì)應(yīng)的第一、第二，…，第m（m≤p）個(gè)主成分。4．計(jì)算主成分載荷其計(jì)算公式為得到各主成分的載荷以后，還可以進(jìn)一步計(jì)算，得到各主成分的得分二．Fisher最優(yōu)分割法的聚類步驟設(shè)某一類G包含的樣品有，記為。該類的均值向量為用表示這一類的直徑，常用的直徑有：2．定義分類損失函數(shù)用表示將n個(gè)有序樣品分為k類的某一種分法，常記分發(fā)為：其中分點(diǎn)為。定義上述分類法的損失函數(shù)為3.的地推公式費(fèi)希爾算法最核心的部分是利用以下倆個(gè)地推公式：4．最優(yōu)解的求法若分類數(shù)已知，求分類法，使它在損失函數(shù)意義下達(dá)最小，其求法如下：首先找分點(diǎn)，使地推公式達(dá)極小，即于是得第k類。然后找，使它滿足得到地k-1類。類似的方法一次可以得到所有類，這就是我們所求的最優(yōu)解，即總之，為了求最優(yōu)解，主要是計(jì)算和三．具體事例的分析（中學(xué)生身體四項(xiàng)指標(biāo)的主成分分析）在某中學(xué)隨機(jī)抽取某年級(jí)30名學(xué)生，測(cè)量其身高，體重，胸圍和坐高，數(shù)據(jù)見下表：序號(hào)1148417278213934717631604977864149366779515945808661423166767153437683815043777991514277801013931687411140296474121614778841313849788314140336777151373166731615235737917149478279181453570771916047748720156447885211514273822214738737823157396880241473065752515748808826151367480271443668762814130677629139326873301483870781.主成分分析首先，創(chuàng)建TXT文件，將數(shù)據(jù)純?nèi)氩⒈４?，命名lyzbok.txt。然后創(chuàng)建各個(gè)M文件（lyzstd.m總和和標(biāo)準(zhǔn)化矩陣；lyzfac.m計(jì)算相關(guān)系數(shù)矩陣，特征值和特征向量，特征根排序，貢獻(xiàn)率，主成分?jǐn)?shù)，主成分載荷等相關(guān)操作；lyzscore.m計(jì)算得分；lyzprint.m輸出最終結(jié)果）。最后，在Matlab窗口鍵入以下語句，并最終顯示器結(jié)果。lyzprint('lyzbook1.txt',30,4)fid=6標(biāo)準(zhǔn)化結(jié)果如下:v1=76相關(guān)系數(shù)矩陣:std=1.0000-0.16890.9831-特征向量(vec)及特征向量(val):vec=val=0.014700000.037600001.63810特征根排序:貢獻(xiàn)率:newrate=主成分?jǐn)?shù)：2主成分載荷:計(jì)算得分:score=0.02570.06000.04240.11060.02150.05940.080914.0000從數(shù)據(jù)中可以得出，第一主成分與第二主成分的貢獻(xiàn)率之和高達(dá)98.69%，因此只需要用倆個(gè)主成分就能很好的概括這組數(shù)據(jù)，進(jìn)而由倆個(gè)特征值所對(duì)應(yīng)的特征向量可以寫出第一和第二主成分：由上可知，第一和第二主成分都是標(biāo)準(zhǔn)化好的變量的線性組合。第二主成分得分對(duì)第一主成分得分的散布圖由散布圖可以大致的看出可以將數(shù)據(jù)分成四組。2．Fisher最優(yōu)分割法在主成分分析的基礎(chǔ)上可知第一主成分和第二主成分。進(jìn)而分別以第一主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法，及第二主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法。以第一主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法：clear%輸入標(biāo)準(zhǔn)化后的數(shù)據(jù)a=[0.05700.01580.02770.03010.05360.01310.02740.02930.06170.01890.02970.03310.05740.01390.02580.03040.06130.01730.03080.03310.05470.01190.02540.02930.05900.01660.02930.03200.05780.0166];b=[0.03100.03180.06070.01690.03100.03220.05590.01250.02730.02980.05630.01170.02570.02980.06470.01890.03140.03380.06350.01970.03140.03340.05630.01330.02690.03100.05510.01250.0265];c=[0.05770.01330.02770.03000.05660.01780.03110.03000.05500.01330.02660.02920.06070.01780.02810.03300.05920.01670.02960.03230.05730.01590.02770.03110.05580.01440.02770.02960.0596];d=[];y1=lyzzcf(a,b,c,d);%計(jì)算第一主成分fori=1:30X(i)=y1(i);end%計(jì)算直徑DD=zeros(30,30);fori=1:29forj=2:30if(i<j)sx=0;d=0;fort=i:jsx=sx+X(t);endmeanx=sx/(j-i+1);fork=i:jd=d+(X(k)-meanx).^2;endD(j,i)=d;endendendD;%計(jì)算分類損失函數(shù)LP=zeros(30,29);J=zeros(30,29);fork=2:29forl=3:30if(k<l)min=1000;if(k==2)%k=2時(shí)的最小損失函數(shù)forj=2:ltemp=D(j-1,1)+D(l,j);if(temp<min)min=temp;minj=j;endendelse%k>2時(shí)的最小損失函數(shù)forj=k:ltemp=LP(j-1,k-1)+D(l,j);if(temp<min)min=temp;minj=j;endendendLP(l,k)=min;J(l,k)=minj;endendendLP;J;%繪制分類損失函數(shù)隨k變化趨勢(shì)圖fori=1:28y(i)=LP(30,i+1);endk=2:29;plot(k,y);holdonplot(k,y,'r*')由此圖可以看出以第一主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法，將數(shù)據(jù)分成5類就可以達(dá)到置信水平的要求。以第二主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法：其過程與第一主成分的過程基本相同，下面只給出分類損失函數(shù)隨k變化趨勢(shì)圖。由此圖可以看出以第二主成分作為數(shù)據(jù)指標(biāo)進(jìn)行Fisher最優(yōu)分割法，將數(shù)據(jù)分成5類就也可以達(dá)到置信水平的要求。3．綜合主成分分析與Fisher最優(yōu)分割法得出結(jié)論以上討論過了單從主成分分析考慮，該數(shù)據(jù)大致可分為四類，在此基礎(chǔ)上又對(duì)第一和第二主成分分別作為數(shù)據(jù)指標(biāo)進(jìn)行了Fisher最優(yōu)分割法，得出該數(shù)據(jù)在分成五類的時(shí)候同時(shí)達(dá)到了各個(gè)主成分的要求，故而將元數(shù)據(jù)分成五類是最佳的方法。附錄主成分分析函數(shù)lyzstd.m總和和標(biāo)準(zhǔn)化矩陣：總和和標(biāo)準(zhǔn)化矩陣functionstd=lyzstd(vector)lyzsum=sum(vector,1);%對(duì)列求和[a,b]=size(vector);%矩陣大小，a為行數(shù)，b為列數(shù)fori=1:aforj=1:bstd(i,j)=vector(i,j)/lyzsum(j);endendlyzfac.m計(jì)算相關(guān)系數(shù)矩陣，特征值和特征向量，特征根排序，貢獻(xiàn)率，主成分?jǐn)?shù)，主成分載荷等相關(guān)操作：functionresult=lyzfac(vector);fprintf('相關(guān)系數(shù)矩陣:\n')std=CORRCOEF(vector)%計(jì)算相關(guān)系數(shù)矩陣fprintf('特征向量(vec)及特征值(val):\n')[vec,val]=eig(std)%求特征值(val)及特征向量(vec)newval=diag(val);[y,i]=sort(newval);%對(duì)特征根進(jìn)行排序，y為排序結(jié)果，i為索引fprintf('特征根排序:\n')forz=1:length(y)newy(z)=y(length(y)+1-z);endfprintf('%g\n',newy)rate=y/sum(y);fprintf('\n貢獻(xiàn)率:\n')newrate=newy/sum(newy)sumrate=0;newi=[];fork=length(y):-1:1sumrate=sumrate+rate(k);newi(length(y)+1-k)=i(k);ifsumrate>0.85break;endend%記下累積貢獻(xiàn)率大于85%的特征值的序號(hào)放入newi中fprintf('主成分?jǐn)?shù)：%g\n\n',length(newi));fprintf('主成分載荷:\n')forp=1:length(newi)forq=1:length(y)result(q,p)=sqrt(newval(newi(p)))*vec(q,newi(p));endend%計(jì)算載荷disp(result)lyzscore.m計(jì)算得分：計(jì)算得分functionscore=lyzscore(vector1,vector2);sco=vector1*vector2;lsum=sum(sco,2);[newlsum,i]=sort(-1*lsum);[newi,j]=sort(i);fprintf('計(jì)算得分:\n')score=[sco,lsum,j]%得分矩陣:sco為各主成分得分;lsum為綜合得分;j為排序結(jié)果lyzprint.m輸出最終結(jié)果：functionprint=lyzprint(filename,a,b);%filename為文本文件文件名;a為矩陣行數(shù)(樣本數(shù)),b為矩陣列數(shù)(變量指標(biāo)數(shù))fid=fopen(filename,'r')vector=fscanf(fid,'%g',[ab]);fprintf('標(biāo)準(zhǔn)化結(jié)果如下:\n')v1=lyzstd(vector)result=lyzfac(v1);lyzscore(v1,result);第二主成分得分對(duì)第一主成分得分散布圖程序：a=[0.02570.0475-0.0245-0.04190.02310.0446-0.0217-0.04510.02430.0448-0.0284-0.04920.02220.0507-0.0238-0.04870.02220.0439-0.0266-0.04250.02660.0435-0.0269-0.04760.0215