黃慶明模式識別與機(jī)器學(xué)習(xí)第三章作業(yè)

1、·在一個10類的模式識別問題中，有3類單獨(dú)滿足多類情況1，其余的類別滿足多類情況2。問該模式識別問題所需判別函數(shù)的最少數(shù)目是多少？應(yīng)該是其中加一是分別3類 和 7類·一個三類問題，其判別函數(shù)如下：d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1(1)設(shè)這些函數(shù)是在多類情況1條件下確定的，繪出其判別界面和每一個模式類別的區(qū)域。(2) 設(shè)為多類情況2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。繪出其判別界面和多類情況2的區(qū)域。(3)設(shè)d1(x), d2(x)和d3(x)是在多類情況3的條件下確定的

2、，繪出其判別界面和每類的區(qū)域。·兩類模式，每類包括5個3維不同的模式，且良好分布。如果它們是線性可分的，問權(quán)向量至少需要幾個系數(shù)分量？假如要建立二次的多項式判別函數(shù)，又至少需要幾個系數(shù)分量？（設(shè)模式的良好分布不因模式變化而改變。）如果線性可分，則4個建立二次的多項式判別函數(shù)，則個·(1)用感知器算法求下列模式分類的解向量w:1: (0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T2: (0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T將屬于2的訓(xùn)練樣本乘以（-1），并寫成增廣向量的形式。x=(0 0 0 1)T, x=(1

3、 0 0 1)T, x=(1 0 1 1)T, x=(1 1 0 1)Tx=(0 0 -1 -1)T, x=(0 -1 -1 -1)T, x=(0 -1 0 -1)T, x=(-1 -1 -1 -1)T第一輪迭代：取C=1，w(1)=(0 0 0 0) T 因w T (1) x =(0 0 0 0)(0 0 0 1) T =0 0，故w(2)=w(1)+ x =(0 0 0 1)因w T(2) x =(0 0 0 1)(1 0 0 1) T =1>0，故w(3)=w(2)=(0 0 0 1)T因wT(3)x=(0 0 0 1)(1 0 1 1)T=1>0，故w(4)=w(3) =(

4、0 0 0 1)T因wT(4)x=(0 0 0 1)(1 1 0 1)T=1>0，故w(5)=w(4)=(0 0 0 1)T因wT(5)x=(0 0 0 1)(0 0 -1 -1)T=-10，故w(6)=w(5)+ x=(0 0 -1 0)T因wT(6)x=(0 0 -1 0)(0 -1 -1 -1)T=1>0，故w(7)=w(6)=(0 0 -1 0)T因wT(7)x=(0 0 -1 0)(0 -1 0 -1)T=00，故w(8)=w(7)+ x=(0 -1 -1 -1)T因wT(8)x=(0 -1 -1 -1)(-1 -1 -1 -1)T=3>0，故w(9)=w(8) =

5、(0 -1 -1 -1)T因為只有對全部模式都能正確判別的權(quán)向量才是正確的解，因此需進(jìn)行第二輪迭代。第二輪迭代：因wT(9)x=(0 -1 -1 -1)(0 0 0 1)T=-10，故w(10)=w(9)+ x =(0 -1 -1 0)T因wT(10)x=(0 -1 -1 0)( 1 0 0 1)T=00，故w(11)=w(10)+ x =(1 -1 -1 1)T因wT(11)x=(1 -1 -1 1)( 1 0 1 1)T=1>0，故w(12)=w(11) =(1 -1 -1 1)T因wT(12)x=(1 -1 -1 1)( 1 1 0 1)T=1>0，故w(13)=w(12)

6、=(1 -1 -1 1)T因wT(13)x=(1 -1 -1 1)(0 0 -1 -1)T=00，故w(14)=w(13)+ x =(1 -1 -2 0)T因wT(14)x=(1 -1 -2 0)( 0 -1 -1 -1)T=3>0，故w(15)=w(14) =(1 -1 -2 0)T因wT(15)x=(1 -1 -2 0)( 0 -1 0 -1)T=1>0，故w(16)=w(15) =(1 -1 -2 0)T因wT(16)x=(1 -1 -2 0)( -1 -1 -1 -1)T=2>0，故w(17)=w(16) =(1 -1 -2 0)T因為只有對全部模式都能正確判別的權(quán)向

7、量才是正確的解，因此需進(jìn)行第三輪迭代。第三輪迭代：w(25)=(2 -2 -2 0);因為只有對全部模式都能正確判別的權(quán)向量才是正確的解，因此需進(jìn)行第四輪迭代。第四輪迭代：w(33)=(2 -2 -2 1)因為只有對全部模式都能正確判別的權(quán)向量才是正確的解，因此需進(jìn)行第五輪迭代。第五輪迭代：w(41)=(2 -2 -2 1)因為該輪迭代的權(quán)向量對全部模式都能正確判別。所以權(quán)向量即為(2 -2 -2 1),相應(yīng)的判別函數(shù)為(2)編寫求解上述問題的感知器算法程序。見附件·用多類感知器算法求下列模式的判別函數(shù)：1: (-1 -1)T2: (0 0)T3: (1 1)T將模式樣本寫成增廣形式

8、：x=(-1 -1 1)T, x=(0 0 1)T, x=(1 1 1)T取初始值w1(1)=w2(1)=w3(1)=(0 0 0)T，C=1。第一輪迭代（k=1）：以x=(-1 -1 1)T 作為訓(xùn)練樣本。d1(1)=x=(0 0 0)(-1 -1 1)T=0d2(1)=x=(0 0 0)(-1 -1 1)T=0d3(1)=x=(0 0 0)(-1 -1 1)T=0因d1(1)d2(1)，d1(1)d3(1)，故w1(2)=w1(1)+x=(-1 -1 1)Tw2(2)=w2(1)-x=(1 1 -1)Tw3(2)=w3(1)-x=(1 1 -1)T第二輪迭代（k=2）：以x=(0 0 1)

9、T作為訓(xùn)練樣本d1(2)=x=(-1 -1 1)(0 0 1)T=1d2(2)=x=(1 1 -1)(0 0 1)T=-1d3(2)=x=(1 1 -1)(0 0 1)T=-1因d2(2)d1(2)，d2(2)d3(2)，故w1(3)=w1(2)-x=(-1 -1 0)Tw2(3)=w2(2)+x=(1 1 0)Tw3(3)=w3(2)-x=(1 1 -2)T第三輪迭代（k=3）：以x=(1 1 1)T作為訓(xùn)練樣本d1(3)=x=(-1 -1 0)(1 1 1)T=-2d2(3)=x=(1 1 0)(1 1 1)T=2d3(3)=x=(1 1 -2)(1 1 1)T=0因d3(3)d2(3)，

10、故w1(4)=w1(3) =(-1 -1 0)Tw2(4)=w2(3)-x=(0 0 -1)Tw3(4)=w3(3)+x=(2 2 -1)T第四輪迭代（k=4）：以x=(-1 -1 1)T作為訓(xùn)練樣本d1(4)=x=(-1 -1 0)(-1 -1 1)T=2d2(4)=x=(0 0 -1)(-1 -1 1)T=-1d3(4)=x=(2 2 -1)(-1 -1 1)T=-5因d1(4)>d2(4)，d1(4)>d3(4)，故w1(5)=w1(4) =(-1 -1 0)Tw2(5)=w2(4) =(0 0 -1)Tw3(5)=w3(4) =(2 2 -1)T第五輪迭代（k=5）：以x=

11、(0 0 1)T作為訓(xùn)練樣本d1(5)=x=(-1 -1 0)(0 0 1)T=0d2(5)=x=(0 0 -1)(0 0 1)T=-1d3(5)=x=(2 2 -1)(0 0 1)T=-1因d2(5) d1(5)，d2(5) d3(5)，故w1(6)=w1(5)-x =(-1 -1 -1)w2(6)=w2(5)+x=(0 0 0)w3(6)=w3(5)-x=(2 2 -2)第六輪迭代（k=6）：以x=(1 1 1)T作為訓(xùn)練樣本d1(6)=x=(-1 -1 -1)(1 1 1)T=-3d2(6)=x=(0 0 0)(1 1 1)T=0d3(6)=x=(2 2 -2)(1 1 1)T=2因d3

12、(6)>d1(6)，d3(6)>d2(6)，故w1(7)=w1(6)w2(7)=w2(6)w3(7)=w3(6)第七輪迭代（k=7）：以x=(-1 -1 1)T作為訓(xùn)練樣本d1(7)=x=(-1 -1 -1)(-1 -1 1)T=1d2(7)=x=(0 0 0)(-1 -1 1)T=0d3(7)=x=(2 2 -2)(-1 -1 1)T=-6因d1(7)>d2(7)，d1(7)>d3(7)，分類結(jié)果正確，故權(quán)向量不變。由于第五、六、七次迭代中x、x、x均已正確分類，所以權(quán)向量的解為：w1=(-1 -1 -1)Tw2=(0 0 0)Tw3=(2 2 -2)T三個判別函數(shù)：

13、d1(x)=- x1 -x2-1d2(x)=0d3(x)=2x1+2x2-2·采用梯度法和準(zhǔn)則函數(shù)式中實數(shù)b>0，試導(dǎo)出兩類模式的分類算法。其中，當(dāng)時，則w(k+1) = w(k)，此時不對權(quán)向量進(jìn)行修正；當(dāng)時，則，需對權(quán)向量進(jìn)行校正，初始權(quán)向量w(1)的值可任選。即用二次埃爾米特多項式的勢函數(shù)算法求解以下模式的分類問題1: (0 1)T, (0 -1)T2: (1 0)T, (-1 0)T（1）按第一類勢函數(shù)定義，得到勢函數(shù)其中，（2）通過訓(xùn)練樣本逐步計算累積位勢K(x)給定訓(xùn)練樣本：1類為x=(0 1)T, x=(0 -1)T2類為x=(1 0)T, x=(-1 0)T累積

14、位勢K(x)的迭代算法如下第一步：取x=(0 1)T1，故第二步：取x=(0 -1)T1，故K1(x)=5因K1(x)>0且x1，故K2(x)=K1(x)第三步：取x=(1 0)T2，故K2(x)=9因K2(x)>0且x2，故第四步：取x=(-1 0)T2，故K3(x)=4因K3(x)>0且x2，將全部訓(xùn)練樣本重復(fù)迭代一次，得第五步：取x=x=(0 1)T1，K4(x)=27>0故K5(x)=K4(x)第六步：取x=x=(0 -1)T1，K5(x)=-13<0故第七步：取x=x=(1 0)T2，K6(x)=-32<0故K7(x)=K6(x)第八步：取x=x=

15、(-1 0)T2，K7(x)=-32<0故K8(x)=K7(x) 第九步：取x=x=(0 1)T1 ，K8(x)=32>0 故K9(x)=K8(x) 第十步：取x=x =(0 -1)T1，K9(x)=32>0 故K10(x)=K9(x)其中第七步到第十步的迭代過程中對全部訓(xùn)練樣本都能正確分類，因此算法收斂于判別函數(shù)·用下列勢函數(shù)求解以下模式的分類問題1: (0 1)T, (0 -1)T2: (1 0)T, (-1 0)T取=1，在二維情況下勢函數(shù)為這里：1類為x=(0 1)T, x=(0 -1)T2類為x=(1 0)T, x=(-1 0)T可以看出，這兩類模式是線性

16、不可分的。算法步驟如下：第一步：取x=(0 1)T1，則第二步：取x=(0 -1)T1因K1(x)=e-(4+0)=e-4>0，故K2(x)=K1(x)第三步：取x=(1 0)T2因K2(x)=e-(1+1)=e-2>0，故第四步：取x=(-1 0)T2 因K3(x)=e-(1+1) - e-(4+0) =e-2 - e-4>0，故 第五步：取x=(0 1)T1 因K4(x)=1-e-(1+1) - e-(1+1) =1-e-2 - e-2>0，故K5(x)=K4(x)第六步：取x=(0 -1)T1因K5(x)= e-(0+4) - e-(1+1) - e-(1+1) =e-4 - e-2- e-2<0，故第七步：取x=(1 0)T2 因K6(x)= e-(1+1) + e-(1+1)1- e-(4+0) =e-2 +e-2-1-e-4<0故第八步：取x=(