模式識別感知器算法求判別函數(shù)

1、感知器算法求判別函數(shù)一、 實驗目的掌握判別函數(shù)的概念和性質(zhì)，并熟悉判別函數(shù)的分類方法，通過實驗更深入的了解判別函數(shù)及感知器算法用于多類的情況，為以后更好的學習模式識別打下基礎。二、 實驗內(nèi)容學習判別函數(shù)及感知器算法原理，在MATLAB平臺設計一個基于感知器算法進行訓練得到三類分布于二維空間的線性可分模式的樣本判別函數(shù)的實驗，并畫出判決面，分析實驗結(jié)果并做出總結(jié)。三、 實驗原理3.1 判別函數(shù)概念直接用來對模式進行分類的準則函數(shù)。若分屬于1，2的兩類模式可用一方程d(X) =0來劃分，那么稱d(X) 為判別函數(shù)，或稱判決函數(shù)、決策函數(shù)。如，一個二維的兩類判別問題，模式分布如圖示，這些分屬于1，2

2、兩類的模式可用一直線方程 d(X)=0來劃分。其中d(X)=w1x1+w2x2+w3=0 (1) x1,x2 為坐標變量。將某一未知模式 X 代入（1）中：若d(X)>0，則X1類；若d(X)<0，則X2類；若d(X)=0，則X1或X2或拒絕維數(shù)=3時：判別邊界為一平面。維數(shù)>3時：判別邊界為一超平面1。3.2 感知器算法1958年，(美)F.Rosenblatt提出，適于簡單的模式分類問題。感知器算法是對一種分類學習機模型的稱呼，屬于有關(guān)機器學習的仿生學領域中的問題，由于無法實現(xiàn)非線性分類而下馬。但“賞罰概念（ reward-punishment concept）” 得到廣

3、泛應用，感知器算法就是一種賞罰過程2。Td(X)=WX其中，W=w,w, ,w,wT，兩類線性可分的模式類 1,2，設12nn+1TX=x1,x2, ,xn,1應具有性質(zhì)>0,若X1d(X)=WX<0,若X2T（2）對樣本進行規(guī)范化處理，即2類樣本全部乘以(1)，則有：（3）感知器算法通過對已知類別的訓練樣本集的學習，尋找一個滿足上式的權(quán)向量。 感知器算法步驟：（1）選擇N個分屬于1和 2類的模式樣本構(gòu)成訓練樣本集 X1 , XN 構(gòu)成增廣向量形式，并進行規(guī)范化處理。任取權(quán)向量初始值W(1)，開始迭代。迭代次數(shù)k=1。（2）用全部訓練樣本進行一輪迭代，計算WT(k)Xi 的值，并修

4、正權(quán)向量。分兩種情況，更新權(quán)向量的值：1. 分類器對第i個模式做了錯誤分類，權(quán)向量校正為：若WT(k)Xi0，W(k+1)=W(k)+cXi c：正的校正增量。T(k)Xi>0，W2. 若分類正確，權(quán)向量不變：W(k+1)=W(k),統(tǒng)一寫為：（4）（3）分析分類結(jié)果：只要有一個錯誤分類，回到（2），直至對所有樣本正確分類。感知器算法是一種賞罰過程：分類正確時，對權(quán)向量“賞”這里用“不罰”，即權(quán)向量不變；分類錯誤時，對權(quán)向量“罰”對其修改，向正確的方向轉(zhuǎn)換3。3.3 感知器算法的流程及框圖1、確1定樣本：輸入向量P、目標向量T。2、網(wǎng)絡大小：根據(jù)向量的維數(shù)來選擇網(wǎng)絡規(guī)模。3、初始化：W、

5、b取隨機值，范圍-1, +1。4、 網(wǎng)絡輸出：根據(jù)P、W、b來計算網(wǎng)絡的輸出Y。5、學習偏差：E=T-Y。6、新的網(wǎng)絡參數(shù)：W = W + E×PT 、 = + E （5） 反復訓練，直到達到目標，或達到最大的訓練次數(shù)。圖1 感知器算法流程圖四、 實驗結(jié)果與分析本次實驗先產(chǎn)生了三組服從正態(tài)分布的樣本，通過感知器算法畫出了他們的判別函數(shù)如圖2所示：圖2 畫出的判別面得到的判別函數(shù)分別是:d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872 x2-48.0000d3=-252.8807x1-224.7119x2 -72.0000通過分析上述

6、實驗結(jié)果，雖然由于感知器算法是倆倆比較，并且是線性分類，所以第三條判別函數(shù)可能會穿過第三類樣本，但可以看出判別函數(shù)把三類樣本兩兩分開，達到了實驗的目的，也掌握了感知器算法的原理。五、 總結(jié)本文通過研究基于感知器算法進行樣本分類，用MATLAB語言設計了程序，結(jié)果表明該系統(tǒng)基本實現(xiàn)了要求的功能，但系統(tǒng)也存在第三條判別函數(shù)不理想的情況，這也是感知器算法無法實驗非線性分類的結(jié)果，以后學習其他算法后可以改進。參考文獻1夏東盛, 李永濤, 張曉,等. 模式線性可分時的一種單層感知器算法C/ 中國計算機學會第一屆全國Web信息系統(tǒng)及其應用學術(shù)會議. 2004:29-31.2劉建偉, 申芳林, 羅雄麟. 感

7、知器學習算法研究J. 計算機工程, 2010, 第7期(7):190-192.3易中凱. 感知器網(wǎng)絡學習算法研究與應用D. 北京理工大學, 2001.附錄程序源代碼clear;clc;mu1=1 2;S1=0.25 0;0 0.7 ;data1=mvnrnd(mu1,S1,100);mu2=4 6;S2=0.5 0 ;0 0.45 ;data2=mvnrnd(mu2,S2,100);mu3=-5 5;S3=0.7 0;0 0.4 ;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三組服從正態(tài)分布的樣本one=zeros(100,1);one

8、(:,1)=1;X1=data1 one;X2=data2 one;X3=data3 one;%增廣矩陣W1=0,0,0;W2=0,0,0;W3=0,0,0;%初始權(quán)向量while truecounter=0;for i=1:100%對第一組訓練樣本迭代d11=W1*X1(i,:)' d12=W2*X1(i,:)' d13=W3*X1(i,:)' if d11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:); endendfor

9、 i=1:100%對第二組訓練樣本迭代d21=W1*X2(i,:)' d22=W2*X2(i,:)' d23=W3*X2(i,:)' if d22>d21&&d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:); endendfor i=1:100%對第三組訓練樣本迭代d31=W1*X3(i,:)' d32=W2*X3(i,:)' d33=W3*X3(i,:)' if d33>d31&&d33>

10、;d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:); endendif counter=300breakendendplot(data(:,1),data(:,2),'b.','MarkerSize',6);%繪出三組聚類點 hold on;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,2

11、5,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函數(shù)y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);hold on;plot(x,y1,'c',x,y2,'r',x,y3,'b')%繪出判決面axis(-10 10 -2 10);hold on; grid on;7 Too late為時太晚The plane was late and detectives were waiting at the

12、 airport all morning. They were expecting a valuable parcel of diamonds from South Africa. A few hours earlier, someone had told the police that thieves would try to steal the diamonds.When the plane arrived, some of the detectives were waiting inside the main building while others were waiting on t

13、he airfield. Two men took the parcel off the plane and carried it into the Customs House.While two detectives were keeping guard at the door, two others opened the parcel.To their surprise, the precious parcel was full of stones and sand!飛機誤點了，偵探們在機場等了整整一上午。他們正期待從南非鉆石的貴重包裹。幾個小時前，有人告訴警察，小偷想偷鉆石。當飛機到達時

14、，一些偵探等候在主樓內(nèi)，另一部分則等在停機坪。兩個男人帶著包裹下了飛機，進了海關(guān)。當兩個偵探把住門口，另外兩個打開包裹。令他們吃驚的是，那珍貴的包裹里面裝的全是石頭和沙子！The best and the worst最好的和最差的Joe Sanders has the most beautiful garden in our town. Nearly everybody enters for 'The Nicest Garden Competition' each year, but Joe wins every time. Bill Frith's garden is larger than Joe's. Bill works harder than Joe and grows more flowers and vegetables, but Joe's garden is more interesting. He has made neat paths and has built a wooden bridge over a pool. I like gardens too, but I do not like hard work. Every year I enter for the garden c