實驗1Fisher線性判別實驗

1、實驗1 Fisher線性判別實驗實驗1 Fisher線性判別實驗一、實驗目的應用統(tǒng)計方法解決模式識別問題的困難之一是維數問題，低維特征空間的分類問題一般比高維空間的分類問題簡單。因此，人們力圖將特征空間進行降維，降維的一個基本思路是將d維特征空間投影到一條直線上，形成一維空間，這在數學上比較容易實現。問題的關鍵是投影之后原來線性可分的樣本可能變?yōu)榫€性不可分。一般對于線性可分的樣本，總能找到一個投影方向，使得降維后樣本仍然線性可分。如何確定投影方向使得降維以后，樣本不但線性可分，而且可分性更好(即不同類別的樣本之間的距離盡可能遠，同一類別的樣本盡可能集中分布)，就是 Fisher線性判別所要解決

2、的問題。本實驗通過編制程序讓初學者能夠體會Fisher線性判別的基本思路，理解線性判別的基本思想，掌握Fisher線性判別問題的實質。二、實驗要求1、 改寫例程，編制用 Fisher線性判別方法對三維數據求最優(yōu)方向W的通用函數。2、 對下面表1-1樣本數據中的類別 3 1和3 2計算最優(yōu)方向 W3、畫出最優(yōu)方向 W勺直線，并標記出投影后的點在直線上的位置。表1-1 Fisher線性判別實驗數據類別colCD 2樣木K 1盟2x 3X 1x 3104D.58O.OR90.83L6-0.0142-031D,27404IJE6D,4830.05540350.44041DJ24-0J5).53DQIl

3、0,047-0,451.4SD.470.0340.280353,160.17D.690.1-0.39-0.480.117-0.011D.55-OJS0.34-0.0790.148-027D.610.12-0.3Lo.222.29-0.065249 n0.0012U1.2-0.46100J2D.05400630.18-0.110.494、 選擇決策邊界，實現新樣本xx仁(-0.7,0.58,0.089), xx2= ( 0.047,-0.4,1.04)的分類。5、 提高部分(可做可不做)：設某新類別3 3數據如表1-2所示，用自己的函數求新類別3 3分別和3 1、3 2分類的投影方向和分類閾值。

4、表1-2新類別樣本數據類別co3樣本X Ik2k 3I1.58L325.K20.67I.5H-4.7831.041.0M3斗-1.492. IS-3加5-0.411.214.736L.393.612.8771.21.4-I.S98-0.921.44-3.2291 33-4.3K10-0.76Q.R4三、部分參考例程及其說明求取數據分類的Fisher投影方向的程序如下：其中w為投影方向。clear % Removes all variables from the workspace.clc % Clears the comma nd win dow and homes the cursor.%

5、w1類訓練樣本，10組，每組為行向量。w1=-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;.0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0 .12,0.054,-0.063;% w2類訓練樣本，10組，每組為行向量。w2=0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;.-0.

6、39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,- 0.11,-0.49;xx1=-0.7,0.58,0.089'xx2=0.047,-0.4,1.04's1= cov(w1,1); m1= mea n( w1)'s2= cov(w2,1);%測試數據xx1 ，為列向量%測試數據xx2，為列向量% w1類樣本類內離散度矩陣% w1類樣本均值向量，為列向量m2= mea n( w2)'% w2類樣本均值向量，為列向量sw=s1+s2;%總類內離散度矩陣w= in v(sw)*(m1-

7、m2);%投影方向% w2類樣本類內離散度矩陣3實驗1 Fisher線性判別實驗%閾值y0y0=(w'*m1+w'*m2)/2; figure(1)for i=1:10plot3(w1(i,1),w1(i,2),w1(i,3),'r*')hold on'bo')plot3(w2(i,1),w2(i,2),w2(i,3),end z1=w'*w1'z2=w'*w2'figure(2)for i=1:10plot3(z1(i)*w(1),z1(i)*w (2) ,z1(i)*w(3),'rx')hold onplot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),'bp')endhold offy1=w'*xx1;if y1>y0fprintf('測試數據xx1屬于w1類n');elsefprintf('測試數據xx1屬于w2類n');endy2=w'*xx2;if y2>y0fprintf('測試數據xx2屬于w1類n');elsefprintf('測試數據xx2屬于w2類n