Fisher分類算法

1、實(shí)驗(yàn)二 用身高和/或體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康?1) 加深對(duì)Fisher線性判別方法原理的理解和認(rèn)識(shí) 2) 掌握Fisher線性判別方法的設(shè)計(jì)方法 二、實(shí)驗(yàn)數(shù)據(jù)n 訓(xùn)練樣本集l FAMALE.TXT 50個(gè)女生的身高、體重?cái)?shù)據(jù)l MALE.TXT 50個(gè)男生的身高、體重?cái)?shù)據(jù)n 測試樣本集l test1.txt 35個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（15個(gè)女生、20個(gè)男生）l test2.txt 300個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（50個(gè)女生、250個(gè)男生）三、實(shí)驗(yàn)內(nèi)容試驗(yàn)直接設(shè)計(jì)線性分類器的方法，與基于概率密度估計(jì)的貝葉斯分類器進(jìn)行比較。同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，用Fisher線

2、性判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練和測試樣本，考察訓(xùn)練和測試錯(cuò)誤情況。將訓(xùn)練樣本和求得的決策邊界畫到圖上，同時(shí)把以往用Bayes方法求得的分類器（例如: 最小錯(cuò)誤率Bayes分類器）也畫到圖上，比較結(jié)果的異同。四、原理簡述、程序流程圖1、Fisher線性判別方法首先求各類樣本均值向量，然后求各個(gè)樣本的來內(nèi)離散度矩陣，再求出樣本的總類內(nèi)離散度，根據(jù)公式求出把X投影到Y(jié)的最好的投影方向。再求出一維Y空間中各類樣本均值，其中,請(qǐng)預(yù)覽后下載！本次實(shí)驗(yàn)的分界閾值我們用如下方法得到：,最后，將測試樣本中的值代入，求出y，并將其與y0來進(jìn)行比較來分類。2、流程圖五、實(shí)驗(yàn)結(jié)果1、錯(cuò)誤率表格男生錯(cuò)誤個(gè)數(shù)女

3、生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率2722910.8%4%9.67%841216%8%12%分析：用訓(xùn)練樣本得到的分類器測試測試樣本時(shí)錯(cuò)誤率低，測試結(jié)果較好，但測試訓(xùn)練樣本時(shí)，其錯(cuò)誤率較高，測試結(jié)果不好。2、Fisher判別方法圖像請(qǐng)預(yù)覽后下載！分析：從圖中我們可以直觀的看出對(duì)訓(xùn)練樣本Fisher判別比最大似然Bayes判別效果更好。六、總結(jié)與分析本次實(shí)驗(yàn)使我們對(duì)加深Fisher判別法的理解。通過兩種分類方法的比較，我們對(duì)于同一種可以有很多不同的分類方法，各個(gè)分類方法各有優(yōu)劣，所以我們更應(yīng)該熟知這些已經(jīng)得到充分證明的方法，在這些方法的基礎(chǔ)上通過自己的理解，創(chuàng)造出更好的分類方法。所以模

4、式識(shí)別還有很多更優(yōu)秀的算法等著我們?nèi)W(xué)習(xí)。請(qǐng)預(yù)覽后下載！七、附錄1. fisher.mfunction w,y0=fisher(AA,BB)A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);M1=sum(AA);M1=M1;M1=M1/l1;%男生均值向量M2=sum(BB);M2=M2;M2=M2/l2;%女生均值向量S1=zeros(k1,k1);%建立矩陣S2=zeros(k2,k2);for i=1:l1 S1=S1+(A(:,i)-M1)*(A(:,i)-M1).);%男生的類內(nèi)離散度矩陣endfor i=1:l2 S2=S2+(B(:,i)-M2)*(B(

5、:,i)-M2).);%女生的類內(nèi)離散度矩陣endSw=0.5*S1+0.5*S2;%總類內(nèi)離散度矩陣,先驗(yàn)概率0.5w=inv(Sw)*(M1-M2);%兩列wT=w;%wT就是使Fisher準(zhǔn)則函數(shù)JF（w）取極大值時(shí)的解，也就是d維X空間到1維Y空間的最好的投影方向for i=1:l1 Y1(i)=wT(1,1)*A(1,i)+wT(1,2)*A(2,i);%求出二維男生樣本集映射到一維時(shí)的量endfor i=1:l2 Y2(i)=wT(1,1)*B(1,i)+wT(1,2)*B(2,i);%求出二維女生樣本集映射到一維時(shí)的量endm1=sum(Y1)/l1;m2=sum(Y2)/l2;

6、y0=(l1*m1+l2*m2)/(l1+l2);2. determine.m%用fisher線性判別函數(shù)來判斷clcclear allA1 A2 = textscan(MALE.txt,%f%f);B1 B2 = textscan(FEMALE.txt,%f%f);AA = A1 A2;請(qǐng)預(yù)覽后下載！BB = B1 B2;w,y0 = fisher(AA,BB);wT = w;girl = 0;boy = 0;bad = 0;errorgirl = 0;errorboy = 0;error = 0;errorgirlrate = 0;errorboyrate = 0; errorrate =

7、 0;T1 T2 = textscan(test2.txt,%f%f%*s);TT = T1 T2;T = TT;k3 l3 = size(T);for k = 1:50 y(k) = wT*T(:,k); if y(k)y0 errorgirl = errorgirl+1; else if y(k)y0 boy = boy+1; else if y(k)y0 errorboy = errorboy+1; else bad = bad+1; end endenderrorgirl;errorboy;bad;girl = errorboy+girl;boy = boy+errorgirl;err

8、or = errorgirl+errorboy;errorgirlrate = errorgirl/50;請(qǐng)預(yù)覽后下載！errorboyrate = errorboy/250;errorrate = error/l3;3. huatu.mA1 A2 = textread(MALE.txt,%f%f);B1 B2 = textread(FEMALE.txt,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);for i=1:l1 x=A(1,i); y=A(2,i);%x是身高，y是體重

9、 plot(x,y,R.); hold onendfor i=1:l2 x=B(1,i); y=B(2,i); plot(x,y,G.); hold onenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值if a1b2 b=a2;else b=b2;%b是所有人中身高最大值end請(qǐng)預(yù)覽后下載

10、！if a3b4 d=a4;else d=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,B);hold on;%身高體重相關(guān),判別測試樣本%手動(dòng)先驗(yàn)概率P1=0.5;P2=0.5;FA=B;MA=A;a=cov(FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA);Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1-1/2*log(det(a)+log(P1);w20=-1/2*Ave2