線性分類器設計與非線性分類器設計

1、作業(yè)1：線線性分類類器設計計1、問題描描述將4個輸入入矢量分分為兩類類，其中中兩個矢矢量對應應的目標標值為11，另兩兩個矢量量對應的的目標值值為0。輸輸入矢量量為P-00.5 -0.5 00.3 0 -0.5 00.5 -0.3 11目標分類矢矢量為TT11 1 0 002、算法描描述采用單一感感知器神神經元來來解決這這個簡單單的分類類問題。感感知器（pperccepttronn）是由由美國學學者F.Rossenbblattt于119577年提出出的，它它是一個個具有單單層計算算神經元元的神經經網絡，并并由線性性閾值單單元組成成。當它它用于兩兩類模式式的分類類時，相相當于在在高維樣樣本空間間中

2、，用用一個超超平面將將兩類樣樣本分開開。兩類樣本線線性情況況下，線線性判別別函數可可描述為為，其中是權向向量，是是閾值。假設兩類樣本線性可分，則一定存在一個由定義的超平面，滿足，其中。定義感知器器代價函函數為，其其中Y是訓練練向量的的子集，是是權向量量w定義的的超平面面錯誤分分類的部部分。變變量；。為了了計算出出代價函函數的最最小迭代代值，利利用梯度度下降法法設計迭迭代方案案，即其中，代入入得這種算法稱稱為感知知器算法法。這個個算法從從任意權權向量ww(0)開始初初始化，通通過錯誤誤分類特特征形成成修正向向量。如如此重復復到算法法收斂于于解，即即所有的的特征向向量都正正確的分分類?？煽梢宰C明明

3、，如果果兩類模模式是線線性可分分的，則則算法一一定收斂斂。感知知器特別別適合用用于簡單單的模式式分類問問題。3、算法的的實現Matlaab源程程序如下下：0.5 00.3 0;-0.55 0.5 -0.55 1;t=1 1 00 0;w,b=innitpp(p,t) 初始始化感知知器plotppv(pp,t) 繪繪制輸入入矢量plotppc(ww,b) 繪制分分類線pauseew,b,epoochss,errrorrs=traainpp(w,b,pp,t,-1) 訓訓練感知知器pauseeploteerr(errrorss); 繪繪制誤差差圖4、分類結結果和討討論圖1為分類類結果，圖圖中的實實

4、線將兩兩類分開開。經過過6步達達到誤差差要求，訓訓練結束束。誤差差變化曲曲線如圖圖2所示示。 圖圖1 圖圖2經過訓練后后，網絡絡的權值值和閾值值分別為為w =-22.98871 -0.446300b=-0.35772訓練結束后后，驗證證p=-00.5;0.2;a=simmup(p,ww,b)運行結果為為a11屬1類類可見，單層層感知器器算法可可用于簡簡單的線線性分類類問題。作業(yè)2：非非線性分分類器設設計1、問題描描述設計分類器器實現同同或運算算。同或或問題的的真值表表為 X1X2同或運算結結果類0011010010001111用一條直線線是不能能將這兩兩類分開開的，可可考慮非非線性分分類算法法

5、設計分分類器。2、算法描描述（1）雙層層感知器器算法 單單層感知知器神經經網絡不不能解決決線性不不可分的的輸入矢矢量的分分類問題題，解決決這一問問題的辦辦法是輸輸入的線線性不可可分矢量量進行預預處理。雙雙層感知知器算法法就是采采用兩層層感知器器神經元元，先將將線性不不可分問問題轉化化為線性性可分問問題，再再進行分分類的。算法分為兩兩個階段段，第一一階段的的映射將將非線性性可分問問題轉換換為線性性可分問問題，通通過第一一層的神神經元完完成第一一階段的的計算，它它們構成成隱層（hhiddden layyer），將將輸入向向量x映射到到新向量量y，即第二階段是是基于轉轉換數據據實現分分類，通通過第二

6、二層神經經元實現現運算，構構成輸出出層（ooutpput layyer），得得出決策策方程。即即（2）徑向向基函數數算法若定義函數數變量為為從中心心點ci與輸入入向量的的歐式距距離，即即，則稱稱該函數數為徑向向基函數數（Raadiaal BBasiis FFuncctioon，RRBF）。函函數f可可有多種種形式，例例如高斯形式被被廣泛使使用。徑向基函數數網絡的的結構包包括兩層層，即隱隱層和輸輸出層，隱隱層為徑徑向基層層（raadbaas），利利用徑向向基函數數將非線線性問題題轉換為為線性問問題，輸輸出層為為線性層層（puurellinee），將將轉換后后的樣本本用線性性分類方方法進行行分類。

7、3、算法的的實現與與分類結結果（1）雙層層感知器器算法Matlaab源程程序為：p=0 0 11 1;0 11 0 1;t=1 0 00 1;s1=2;w1,bb1=iniitp(p,ss1)w2,bb2=iniitp(s1,t)plotppv(pp,t)plotppc(ww1,bb1)pauseea1=siimupp(p,w1,b1);w2,bb2,eepocchs,errrorss=ttraiinp(w2,b2,a1,t,-1);ploteerr(errrorss);運行結果：圖3為分類類結果，誤誤差變化化曲線如如圖4所所示。 圖3 圖44訓練結束后后，兩兩層網絡絡的權值值和閾值值分別為為

8、w1=11 1;1 11；b1=-00.5;-1.5w2=11 -11 ；b2=-0.5; （2）徑向向基函數數算法Matlaab源程程序為：p=0 0;00 1;1 00;1 1;t=1 0 00 1;c=1 0;11 0;n=disst(pp,c)a=raddbass(n)a1=aw,b=innitpp(a11,t)subpllot(2111)plotppv(aa1,tt)plotppc(ww,b)w,b,epoochss,errrorrs=traainpp(w,b,aa1,tt,-11)subpllot(2122)ploteerr(errrorss)運行結果：分類結果和和誤差變變化曲線線

9、如圖55所示。圖5訓練結束后后，網絡絡的權值值和閾值值分別為為w =11.69973 1.998866b =-11.78863作業(yè)3: 非線性性分類器器設計1、問題描描述將5個輸入入矢量分分為兩類類，其中中兩個矢矢量對應應的目標標值為11，另三三個矢量量對應的的目標值值為0。輸輸入矢量量為P-00.5 -0.5 00.3 -0.1 -0.88 -0.5 00.5 -0.5 11.0 0目標分類矢矢量為TT11 11 00 00 002、算法及及實現（1）采用用單層感感知器算算法clearrp=-00.5 -0.5 00.3 -0.1 -0.88;-00.5 0.55 -00.5 1.00 0;

10、t=1 1 00 0 0;plotppv(pp,t);pauseew,b=innitpp(p,t)pauseeplotppv(pp,t)plotppc(ww,b)pauseew,b,epoochss,errrorrs=traainpp(w,b,pp,t,-1);ploteerr(errrorss)（2）采用用雙層感感知器算算法p=-00.5 -0.5 00.3 -0.1 -0.88;-00.5 0.55 -00.5 1.00 0;t=1 1 00 0 0;plotppv(pp,t);pausees1=2;w1,bb1=iniitp(p,ss1)w2,bb2=iniitp(s1,t)pauseeplotppv(pp,t)plotppc(ww1,bb1)pauseea1=siimupp(p,w1,b1);w2,bb2,eepocchs,errrorss=ttraiinp(w2,b2,a1,t,-1);ploteerr(errrorss)3、分類結結果和討討論（1）單層層感知器器算法圖6為分類類結果，誤誤差變化化曲線如如圖7所所示。圖6圖7訓練結束后后，網絡絡的權值值和閾值值分別為為w =00.80096 0.113844b =0.26336（2）雙層層感知器器算法分類結果如如圖8所所示。圖8