模式識別-用身高和或體重數(shù)據(jù)進行性別分類

用身高和/或體重數(shù)據(jù)進行性別分類1、【實驗?zāi)康摹浚?）掌握最小錯誤率Bayes分類器的決策規(guī)則（2）掌握Parzen窗法（3）掌握Fisher線性判別方法（4）熟練運用matlab的相關(guān)知識。2、【實驗原理】（1）、最小錯誤率Bayes分類器的決策規(guī)則如果在特征空間中觀察到某一個（隨機）向量x=（x,x，…，％）一已知類別狀態(tài)1 2 d的先驗概率為：P（wi）和類別的條件概率密度為P（xIw）i=1,2,3…C，根據(jù)Bayes公式得到狀態(tài)的后驗概率有：尸（3「x）=P（x?*PW1 ￡P(guān)（xI3）P（3）jjj=1基本決策規(guī)則：如果P（3jx）=maxP（3.1x），則xe\，將x歸屬后驗概率最大的類j=i，...c別。（2）、掌握Parzen窗法對于被估計點X：其估計概率密度的基本公式pn（x）=/，設(shè)區(qū)域RN是以hN為棱長的d維超立方體,N則立方體的體積為VN=%；選擇一個窗函數(shù)①（u），落入該立方體的樣本數(shù)為kj比中（f），點x的概率密度：Ni=1 hN

TOC\o"1-5"\h\zkN^ 1vNp(x)=Nn= ￡，①N VN Ni=1VN滿足的條件：(1)K(x,x.)>0；滿足的條件：(1)K(x,x.)>0；(2)JK(x,x.)dx=1。VN N(3)、Fisher線性判別方法Fisher線性判別分析的基本思想：通過尋找一個投影方向(線性變換，線性組合)將高維問題降低到一維問題來解決，并且要求變換后的一維數(shù)據(jù)具有如下性質(zhì)：同類樣本盡可能聚集在一起，不同類的樣本盡可能地遠。Fisher線性判別分析，就是通過給定的訓(xùn)練數(shù)據(jù)，確定投影方向W和閾值y0，即確定線性判別函數(shù)，然后根據(jù)這個線性判別函數(shù)對測試數(shù)據(jù)進行測試，得到測試數(shù)據(jù)的類別。定線性判別函數(shù)，然后根據(jù)這個線性判別函數(shù)對測試數(shù)據(jù)進行測試，得到測試數(shù)據(jù)的類別。Ml

攻Ml

攻2(x)i其中X=…根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向W的函數(shù)為:j(W)=(m.”2F S2+S21 2W*=S-i(m-m)上面的公式是使用Fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中mi-m2式一個向量，SW-1是SW的逆矩陣，如mi-m2是d維，S和S-1都是dXd維，得到的W*也是一個d維的向量。WW向量W*就是使Fisher準則函數(shù)J(W)達極大值的解，也就是按Fisher準則將d維XF空間投影到一維丫空間的最佳投影方向，該向量W*的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。

以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準則函數(shù)極大的d維向量W0的計算方法，但是判別函數(shù)中的另一項匕尚未確定，一般可采用以下幾種方法確定W。如巾nm+nm?或者P3)2已知時可用W0或當P或者P3)2已知時可用W0或當P(3)1與o N1+N2lntp（3）/p（3） 1 2—N1+N2—2當W0確定之后，則可按以下規(guī)則分類：WtX>—wfXe3WtX>—wfXe33、【實驗內(nèi)容及要求】(1)、實驗對象女生的身高、體重數(shù)據(jù)男生的身高、體重數(shù)據(jù)——訓(xùn)練樣本集328個同學(xué)的身高、體重、性別數(shù)據(jù)124個同學(xué)的身高、體重、性別數(shù)據(jù)——測試樣本集(2)基本要求：(1)用和的數(shù)據(jù)作為訓(xùn)練樣本集，建立Bayes分類器，用測試樣本數(shù)據(jù)對該分類器進行測試。調(diào)整特征、分類器等方面的一些因素，考察它們對分類器性能的影響，從而加深對所學(xué)內(nèi)容的理解和感性認識。(試驗直接設(shè)計線性分類器的方法，與基于概率密度估計的貝葉斯分離器進行比較)(2)試驗非參數(shù)估計，體會與參數(shù)估計在適用情況、估計結(jié)果方面的異同。

4、【實驗結(jié)果與分析】（1）、Bayes分類器的實驗結(jié)果與分析A、對于328個同學(xué)的身高、體重、性別數(shù)據(jù)的測試樣本集:EN他醞樣本救提DA1、當先驗概率為：男，女時：身高分類錯誤個數(shù)：15身高分類錯誤率為：%體重分類錯誤個數(shù)：15體重分類錯誤率為：%【實驗結(jié)果:】身高最小錯誤率日期打分類180b7百目砸明o5A2、當先驗概率為：男，女時:身高分類錯誤個數(shù)：19身高分類錯誤率為：%體重分類錯誤個數(shù)：14體重分類錯誤率為：%樣本型據(jù)B、對于124個同學(xué)的身高、體重、性別數(shù)據(jù)的測試樣本集:B1、當先驗概率為：男，女時：身高分類錯誤個數(shù)：16身高分類錯誤率為：%體重分類錯誤個數(shù)：21體重分類錯誤率為：%

【實驗結(jié)果:】B2、當先驗概率為：男，女時：身高分類錯誤個數(shù)：31身高分類錯誤率為：%體重分類錯誤個數(shù)：35體重分類錯誤率為：%【結(jié)果分析:】樣本數(shù)據(jù)集中，男女先驗概率為（）；樣本數(shù)據(jù)集中，男女先驗概率為（）。對比實驗結(jié)果，可以發(fā)現(xiàn)身高的分類錯誤率都小于體重的分類錯誤率，樣本集越大，各個特征對應(yīng)的分類錯誤率就越小。假設(shè)先驗概率為（）的分類錯誤率小于假設(shè)先驗概率為（）的分類集，就算假設(shè)的先驗概率與實際的很相近，可是結(jié)果不準確。程序框圖

Bayes分類器源程序?qū)嶒灤a：clearall;load;load;%樣本的分析figure;fori=1:250if(i<79)plot(datasetf1(i,2),datasetf1(i,1),'r+');endplot(datasetm1(i,2),datasetm1(i,1),'k*');holdon;endtitle('樣本數(shù)據(jù)’)；xlabel('體重(Kg)'),ylabel('身高(cm),);legend('男生'，'女生')；fid=fopen(，，,，r，);test1=fscanf(fid,'%f%f%s',[3,inf]);test=test1';fclose(fid);Fmean=mean(datasetf1);Mmean=mean(datasetm1);Fvar=std(datasetf1);Mvar=std(datasetm1);preF=;preM=;error=0;Nerror=0;%身高的決策figure;fori=1:124PFheight=normpdf(test(i,1),Fmean(1,1),Fvar(1,1));PMheight=normpdf(test(i,1),Mmean(1,1),Mvar(1,1));pFemale=preF*PFheight;pMale=preM*PMheight;if(pFemale<pMale)plot(i,test(i,1),'k*');Nerror=Nerror+1;endelseplot(i,test(i,1),，r+，);if(test(i,3)=='M')Nerror=Nerror+1;endendholdon;end;error=Nerror/124*100;title('身高最小錯誤率Bayes分類')；xlabel('測試序號')，ylabel('身高(cm),);sprintf('%s%d%s%%s',,身高分類錯誤個數(shù)：'，Nerror,,身高分類錯誤率為：'，error,'%')%體重決策figure;error=0;Nerror=0;forj=1:124PFweight=normpdf(test(j,2),Fmean(1,2),Fvar(1,2));PMweight=normpdf(test(j,2),Mmean(1,2),Mvar(1,2));pwFemale=preF*PFweight;pwMale=preM*PMweight;if(pwFemale<pwMale)plot(j,test(j,2),'k*');if(test(j,3)=='f')Nerror=Nerror+1;endelseplot(j,test(j,2),'r+');if(test(j,3)=='M')Nerror=Nerror+1;endendholdon;end;error=Nerror/124*100;title('體重最小錯誤率Bayes分類')；xlabel('測試序號')，ylabel('體重(kg),);sprintf('%s%d%s%%s',,體重分類錯誤個數(shù)：'，Nerror,,體重分類錯誤率為：'，error,'%')(2)、Parzen窗法的實驗結(jié)果與分析(先驗概率為、對于中有78個女生和250個男生，共328個同學(xué)的身高、體重、性別數(shù)據(jù)的測試樣本集的結(jié)果：女生人數(shù)為：84； 男生人數(shù)為：244； 拒分人數(shù)：0；女生錯分人數(shù)：4； 男生錯分人數(shù)：33； 總的錯分人數(shù)：37；女生分類錯誤率：； 男生分類錯誤率:； 總的分類錯誤率:；B、對于中有40個女生和84個男生，共124個同學(xué)的身高、體重、性別數(shù)據(jù)的測試樣本集：女生人數(shù)為：41； 男生人數(shù)為：83； 拒分人數(shù)：0；女生錯分人數(shù)：15； 男生錯分人數(shù)：6； 總的錯分人數(shù)：21；女生分類錯誤率：； 男生分類錯誤率：；總的分類錯誤率：；結(jié)果分析：Parzen窗法的分類結(jié)果比較準確，樣本集越大，錯誤率就越小。Parzen窗法的源程序代碼：clc;clearall;[FHFW]=textread('','%f%f');[MHMW]=textread('','%f%f');FA=[FHFW];MA=[MHMW];N1=max(size(FA));h1=7;hn1=h1/(sqrt(N1));VN1=hn1"2;N2=max(size(MA));h2=7;hn2=h2/(sqrt(N2));VN2=hn2"2;[tHtW]=textread('','%f%f%*s');X=[tHtW];[MN]=size(X);s=zeros(M,1);error=0;errorgirl=0;errorboy=0;errorrate=0;errorgirlrate=0;errorboyrate=0;girl=0;boy=0;bad=0;fork=1:MA=[X(k,1)X(k,2)];x=A;p=;%p為屬于女生的先驗概率，則1-p為男生的先驗概率pp=0;fori=1:N1fa=[FA(i,1)FA(i,2)];n=1/sqrt(2*pi)*exp*abs((x-fa)*(x-fa)，)/(hn1~2));pp=pp+n;endp1=1/VN1*pp';y1=1/N1*p1;%是女生的條件概率密度函數(shù)qq=0;forj=1:N2ma=[MA(j,1)MA(j,2)];m=1/sqrt(2*pi)*exp*abs((x-ma)*(x-ma)，)/(hn2c2));qq=m+qq;endq1=sum(1/VN2*qq');y2=1/N2*q1;%男生的概率密度函數(shù)，即其條件概率g=p*y1-(1-p)*y2;%g為判別函數(shù)ifg>0ifk<=50s(k,1)=0;%判為女生girl=girl+1;elseerrorboy=errorboy+1;endelseifg<0ifk<=50err