模式識別實驗指導書

1、信 息 工 程 學 院模式識別實 驗 指 導 書王文華，徐蔚然編著2007年3月目 錄 TOC o 1-3 h z u HYPERLINK l _Toc179705811 實驗課概況 PAGEREF _Toc179705811 h 1 HYPERLINK l _Toc179705812 實驗一、Bayes分類器設計 PAGEREF _Toc179705812 h 2 HYPERLINK l _Toc179705813 實驗二、基于Fisher準則線性分類器設計 PAGEREF _Toc179705813 h 5 HYPERLINK l _Toc179705814 實驗三、基于感知函數準則線性分

2、類器設計 PAGEREF _Toc179705814 h 10 HYPERLINK l _Toc179705815 實驗四、近鄰法分類器設計 PAGEREF _Toc179705815 h 12 HYPERLINK l _Toc179705816 實驗五、動態(tài)聚類 PAGEREF _Toc179705816 h 21實驗課概況課程名稱：模式識別適應專業(yè)：信息工程、自動化、信息安全、信息科學、數字媒體藝術實驗學時：8開科學期：5學期實驗的性質、任務和基本要求實驗課的性質模式識別實驗課是一門非獨立的實驗課，是同學對模式識別理論內容進行充分的理解的基礎上，根據相應的原理，設計實驗內容，完成實驗任務，

3、是理論知識實踐化的方式，利于學生更好的吸收，領悟模式識別的原理與應用，培養(yǎng)學生的動手實踐的能力。實驗課的基本要求理解模式識別的基本概念掌握各種算法的流程，以及相應的優(yōu)缺點。會使用相應的模式識別分類器等算法處理實驗問題。實驗的分配情況序號實驗內容學時選作1Bayes分類器算法2必做2Fisher線性分類器設計， 2二選一3感知器設計24近鄰法4二選一5動態(tài)聚類4實驗一、Bayes分類器設計1.1實驗類型：基礎型：Bayes分類器設計1.2實驗目的：本實驗旨在讓同學對模式識別有一個初步的理解，能夠根據自己的設計對貝葉斯決策理論算法有一個深刻地認識，理解二類分類器的設計原理。1.3實驗條件：matl

4、ab軟件1.4實驗原理： 最小風險貝葉斯決策可按下列步驟進行：(1)在已知，i=1,，c及給出待識別的的情況下，根據貝葉斯公式計算出后驗概率：j=1,，x (2)利用計算出的后驗概率及決策表，按下面的公式計算出采取,i=1,，a的條件風險,i=1,2,a(3)對(2)中得到的a個條件風險值,i=1,，a進行比較，找出使其條件風險最小的決策，即則就是最小風險貝葉斯決策。1.5實驗內容：假定某個局部區(qū)域細胞識別中正常（）和非正常（）兩類先驗概率分別為正常狀態(tài)：P（）=0.9；異常狀態(tài)：P（）=0.1。現有一系列待觀察的細胞，其觀察值為：-3.9847 -3.5549 -1.2401 -0.9780

5、 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知先驗概率是的曲線如下圖：類條件概率分布正態(tài)分布分別為（-2，0.25）（2,4）試對觀察的結果進行分類。1.6 實驗要求：用matlab完成分類器的設計，要求程序相應語句有說明文字，要求有子程序的調用過程。根據例子畫出后驗概率的分布曲線以及分類的結果示意圖。如果是最小風險貝葉斯決策，決

6、策表如下：最小風險貝葉斯決策表：狀態(tài)決策106210請重新設計程序，畫出相應的后驗概率的分布曲線和分類結果,并比較兩個結果。實驗二、基于Fisher準則線性分類器設計2.1實驗類型：設計型：線性分類器設計（Fisher準則）2.2實驗目的：本實驗旨在讓同學進一步了解分類器的設計概念，能夠根據自己的設計對線性分類器有更深刻地認識，理解Fisher準則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理。2.3實驗條件：matlab軟件2.4實驗原理：線性判別函數的一般形式可表示成 其中 根據Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，

7、類內樣本投影盡可能密集的要求，用以評價投影方向W的函數為： 上面的公式是使用Fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換，其中式一個向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個d維的向量。向量就是使Fisher準則函數達極大值的解，也就是按Fisher準則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權和的權值。以上討論了線性判別函數加權向量W的確定方法，并討論了使Fisher準則函數極大的d維向量 的計算方法，但是判別函數中的另一項尚未確定，一般可采用以下幾種方法確定如或者 或當與已知時可用當W0

8、確定之后，則可按以下規(guī)則分類，使用Fisher準則方法確定最佳線性分界面的方法是一個著名的方法，盡管提出該方法的時間比較早，仍見有人使用。2.5實驗內容：已知有兩類數據和二者的概率已知=0.6， =0.4。中數據點的坐標對應一一如下： 數據：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5

9、838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1

10、.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數據點的對

11、應的三維坐標為x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.82

12、00 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915

13、 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數據的樣本點分布如下圖：2.6實驗要求：請把數據作為樣本，根據Fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內樣本投影盡可能密集的要求，求出評價投影方向的函數，并在圖形表示出來。并在實驗報告中表示出來，并求使

14、取極大值的。用matlab完成Fisher線性分類器的設計，程序的語句要求有注釋。根據上述的結果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數據分類相應的結果圖，要求畫出其在上的投影?；卮鹑缦聠栴}，分析一下的比例因子對于Fisher判別函數沒有影響的原因。實驗三、基于感知函數準則線性分類器設計3.1 實驗類型：設計型：線性分類器設計（感知函數準則）3.2 實驗目的：本實驗旨在讓同學理解感知準則函數的原理，通過軟件編程模擬線性分類器，理解感知函數準則的確定過程，掌握梯度

15、下降算法求增廣權向量，進一步深刻認識線性分類器。3.3 實驗條件：matlab軟件3.4 實驗原理：感知準則函數是五十年代由Rosenblatt提出的一種自學習判別函數生成方法，由于Rosenblatt企圖將其用于腦模型感知器，因此被稱為感知準則函數。其特點是隨意確定的判別函數初始值，在對樣本分類訓練過程中逐步修正直至最終確定。感知準則函數利用梯度下降算法求增廣權向量的做法，可簡單敘述為： 任意給定一向量初始值，第k+1次迭代時的權向量等于第k次的權向量加上被錯分類的所有樣本之和與的乘積?？梢宰C明，對于線性可分的樣本集，經過有限次修正，一定可以找到一個解向量，即算法能在有限步內收斂。其收斂速度

16、的快慢取決于初始權向量和系數。3.5 實驗內容已知有兩個樣本空間w1和w2，這些點對應的橫縱坐標的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：（plot(x1,y1,x2,y2)）3.6 實驗任務：用matlab完成感知準則函數確定程序的設計。請確定sample=(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0.5),( 0.5,-0.5);屬于哪個樣本空間,

17、根據數據畫出分類的結果。請分析一下和對于感知函數準則確定的影響，并確定當=1/2/3時，相應的k的值，以及不同時，k值得變化情況。根據實驗結果請說明感知準則函數是否是唯一的，為什么？實驗四、近鄰法分類器設計4.1 實驗類型：設計型：近鄰法分類器設計4.2 實驗目的：本實驗旨在讓同學理解近鄰法的原理，通過軟件編程分段線性分類器的極端情況，理解k-近鄰法和剪輯近鄰的設計過程，掌握影響k-近鄰法錯誤率的估算因素等。4.3 實驗條件：matlab軟件4.4 實驗原理：最近鄰法可以擴展成找測試樣本的k個最近樣本作決策依據的方法。其基本規(guī)則是，在所有N個樣本中找到與測試樣本的k個最近鄰者，其中各類別所占個

18、數表示成,則決策規(guī)劃是：如果則決策X (3-63)k近鄰一般采用k為奇數，跟投票表決一樣，避免因兩種票數相等而難以決策。剪輯近鄰法的基本思想是從這樣一個現象出發(fā)的，即當不同類別的樣本在分布上有交迭部分的，分類的錯誤率主要來自處于交迭區(qū)中的樣本。當我們得到一個作為識別用的參考樣本集時，由于不同類別交迭區(qū)域中不同類別的樣本彼此穿插，導致用近鄰法分類出錯。因此如果能將不同類別交界處的樣本以適當方式篩選，可以實現既減少樣本數又提高正確識別率的雙重目的。為此可以利用現有樣本集對其自身進行剪輯。下面以兩類別問題為例說明這種方法的原理。假設現有一個樣本集N，樣本數量為N。我們將此樣本集分成兩個互相獨立的樣本

19、子集。一個被當作考試集，另一個作為參考集，數量分別為與，+N。將中的樣本表示成，而在中的樣本表示為。將一個樣本集分成兩個相互獨立的樣本子集是指，分完以后的兩個子集具有相同的分布例如將一個樣本集分成兩個相互獨立的對等子集，則在每個特征空間的子區(qū)域，兩個子集都有相同的比例，或說各類數量近似相等。要注意指出的是每個子區(qū)域(從大空間到小空間)實際做時要用從總的集合中隨機抽取的方式進行。剪輯的過程是： 首先對中每一個Xi在中找到其最近鄰的樣本Yi(Xi)，用Yi(Xi)表示Yi是Xi的最近鄰參考樣本。如果Yi與Xi不屬于同一類別，則將Xi從中刪除，最后從中得到一個經過剪輯的樣本集，稱為剪輯樣本集。可用來

20、取代原樣本集，作為參考樣本集對待識別樣本進行分類。經過剪輯后，要作為新的訓練樣本集，則是對其性能進行測試的樣本，如發(fā)現中的某個訓練樣本對分類不利，就要把它剪輯掉。實際上剪輯樣本的過程也可以用k-近鄰法進行，即對中的每個樣本Xi，找到在中的k個近鄰，用k-近鄰法判斷Xi是否被錯分類。從而決定其取舍，其它過程與前述方法完全一樣。剪輯近鄰法也可用到多類別情況。剪輯過程也可不止一次。重復多次的稱為重復剪輯近鄰法。4.5 實驗內容如下面的matlab程序闡述的一樣，有兩個類別，x，y，樣本的分布規(guī)律服從正態(tài)分布，其均值和方差分別為（2，2），（2，4），每個類別里面分別有樣本100個，如下面的數據所列（

21、第一行為橫坐標，相應的下一行對應的是縱坐標），圖形所示clear allclose allx = 2 + sqrt(2) * randn(2,100)y = -2 + sqrt(4) * randn(2,100) plot(x(1,:),x(2,:),ro);hold on plot(y(1,:),y(2,:),b*);grid onx1 = 1 + sqrt(2) * randn(2,2)y1 = -1 + sqrt(4) * randn(2,3) plot(x1(1,:),x1(2,:),gs);hold on plot(y1(1,:),y1(2,:),gd);x = Columns 1

22、through 8 2.3393 3.0777 1.8737 2.7339 2.3723 2.0607 2.7958 1.1613 4.0497 2.7254 2.9687 1.2959 0.4281 2.7207 1.9812 2.2180 Columns 9 through 16 1.5151 2.8422 0.6955 1.9956 -1.4693 3.1027 2.0873 1.5888 1.3233 1.8781 4.1631 1.6972 0.4532 0.6957 4.4584 2.4472 Columns 17 through 24 1.2210 2.7702 5.3554 2

23、.5755 3.1579 1.4299 2.6070 0.5714 5.0188 1.7864 1.2680 1.4595 1.4049 2.2075 2.9997 2.4271 Columns 25 through 32 1.6260 2.3400 0.7291 1.4722 2.7524 3.1380 3.7800 0.9639 2.4397 2.5036 -0.1208 1.6814 0.1167 0.9358 0.9934 1.0406 Columns 33 through 40 1.6377 0.6335 0.5944 0.6900 2.7269 0.7390 -0.9497 2.2

24、660 1.1267 0.9308 -0.2890 5.5362 1.9855 2.0577 0.2602 -2.1053 Columns 41 through 48 0.7235 0.8765 1.2597 -0.1537 5.8664 1.4564 0.8619 1.2108 1.8883 2.6320 1.5465 0.4295 4.6099 2.7126 0.8788 3.3248 Columns 49 through 56 1.7689 3.9543 2.1305 3.5910 3.4501 2.8476 2.2794 1.7877 1.2711 1.4769 0.6973 2.78

25、46 2.4393 2.0672 3.1551 1.4484 Columns 57 through 64 3.9710 1.9122 3.8749 3.1035 2.1726 1.0068 3.2602 3.4937 -0.2553 3.2665 3.2834 1.1804 3.9009 4.2703 2.6435 3.7896 Columns 65 through 72 1.8904 0.9381 2.6499 1.1209 -0.7602 0.9878 3.3209 2.6825 2.2168 1.6666 0.6734 -0.2885 3.4517 -0.8319 3.5121 1.23

26、36 Columns 73 through 80 1.3980 1.7750 3.0315 4.3814 0.0746 1.0233 0.7370 2.3106 2.8502 2.4497 2.4605 2.5328 1.8479 1.9284 1.9925 2.9242 Columns 81 through 88 1.6755 2.5795 2.0735 1.2835 4.4952 2.1099 1.5293 4.2977 1.6345 4.2585 4.4371 3.7047 3.7777 2.2204 1.7801 2.4882 Columns 89 through 96 0.5578

27、2.3503 1.9332 2.8394 1.9185 1.1366 2.6934 3.6876 2.7108 2.2008 3.1586 1.0979 2.2828 1.1050 0.7363 6.0314 Columns 97 through 100 0.8630 4.8719 0.7702 1.1824 2.5452 0.9279 2.4000 2.9063y = Columns 1 through 8 -4.0741 -2.2019 0.2772 2.5119 -2.6005 -2.7258 -0.9535 -2.6182 -3.6242 1.8317 -0.3543 -1.3855

28、-1.0020 -2.2239 -0.4317 -2.0749 Columns 9 through 16 1.1157 -2.9820 -0.7157 -4.8064 -2.1368 0.0204 -4.6403 -1.4024 -1.1429 -1.9817 -1.0701 3.5301 -0.3107 -2.6776 -3.6135 -3.0649 Columns 17 through 24 1.0383 0.0278 -3.8224 -1.7426 -0.8970 -3.1769 -2.6497 -1.0395 -2.4134 -3.3121 -3.0811 -2.6541 -0.712

29、5 -3.1175 -1.9918 -2.0607 Columns 25 through 32 -2.9279 -5.6277 -3.2913 -0.3836 -6.5657 -6.9075 -4.9407 -2.4313 -3.3265 -2.0005 -1.7682 -2.1453 -0.7046 -3.2416 0.6713 -1.8313 Columns 33 through 40 1.1533 0.0380 -0.9046 0.4450 2.1135 -0.9418 -0.3634 0.2072 -0.2502 -1.9232 -1.7691 -3.5266 -1.1793 -2.3

30、955 -1.7491 -2.2116 Columns 41 through 48 -2.7789 -0.4264 -1.5418 -4.5961 -3.1488 -3.2813 0.1521 0.3201 -2.8753 -3.1971 -5.1734 -1.7970 -1.2165 1.0112 1.8658 0.6457 Columns 49 through 56 1.7258 2.4568 1.0064 -2.8329 -2.2510 -2.2932 -0.4625 -2.1996 -3.2806 -1.3224 -1.5015 -3.4684 -3.3073 -1.0344 1.30

31、12 -4.8685 Columns 57 through 64 -0.3933 -4.4781 -0.8298 -2.7694 -4.4012 -2.3012 -2.7238 4.4696 -1.9525 -3.9448 -4.2802 -2.8949 -7.0979 -1.7046 -2.1852 -2.5313 Columns 65 through 72 -0.2649 -0.5083 1.2236 -4.0723 -2.7961 -3.8391 -6.0491 -1.2649 0.8744 -3.6436 -1.7198 -1.0935 -1.5580 -0.2845 -1.1005

32、-7.1413 Columns 73 through 80 -0.7904 -4.9162 -0.8173 -3.0191 -1.5423 -3.4648 -3.9127 -1.0085 -0.1674 -1.8316 -1.9920 -6.5079 -1.1666 -3.2242 -2.6278 -1.7200 Columns 81 through 88 -3.0868 -2.2972 -3.3748 -1.1780 -3.1821 -3.7845 -1.4982 -1.7623 -0.3149 -4.3529 -1.3920 -1.1284 -0.0297 -5.7240 -2.0337

33、-2.7306 Columns 89 through 96 -2.0356 -3.1204 -1.6235 -1.6992 -4.8063 -2.9712 -5.5903 -3.5470 -2.3859 -0.1046 -0.6685 -3.2670 -0.1880 1.7160 -4.2020 -3.9663 Columns 97 through 100 -1.6145 2.1930 -2.3963 -5.2112 -0.5505 -5.9320 1.6841 -3.7229請使用k-近鄰法判斷下列sample中樣本的分類情況（-0.7303，2.1624），（1.4445，-0.1649）

34、，（-1.2587，0.9187），（1.2617，-0.2086），（0.7302，1.6587） 4.6 實驗要求：要求用matlab編程，來確定分類的情況，并以圖形的方式表示出來。分析k值的不同對分類的情況是否有影響，并把結果用圖形的方式表示出來?；卮鹣铝袉栴}設在一個二維空間，A類有三個訓練樣本，圖中用紅點表示，B類四個樣本，圖中用藍點表示。 試問：（1） 按近鄰法分類，這兩類最多有多少個分界面（2） 畫出實際用到的分界面（3） A1與B4之間的分界面沒有用到請根據剪輯方法近鄰的原理，對樣本的空間進行剪輯，再確定上述樣本點的分類情況。并對兩種分類結果進行分析（選作）。實驗五、動態(tài)聚類5.

35、1 實驗類型：設計型：C-均值動態(tài)聚類算法5.2 實驗目的：本實驗旨在讓同學理解動態(tài)聚類算法的原理，掌握C-均值算法，并能利用C-均值算法解決實際的分類問題。5.3 實驗條件：matlab軟件5.4 實驗原理：動態(tài)聚類方法的任務是將數據集劃分成一定數量的子集，例如將一個數據集劃分成三個子集，四個子集等。因此要劃分成多少個子集往往要預先確定，或大致確定，當然這個子集數目在理想情況現能體現數據集比較合理的劃分。這里要解決的問題是:1 怎樣才能知道該數據集應該劃分的子集數目2 如果劃分數目已定，則又如何找到最佳劃分。因為數據集可以有許多種不同的劃分方法，需要對不同的劃分作出評價，并找到優(yōu)化的劃分結果。由于優(yōu)化過程是從不甚合理的劃分到“最佳”劃分，是一個動態(tài)的迭代過程，故這種方法稱為動態(tài)聚類方法。我們先討論在子集數目已定條件下的聚類方法，然后在討論如何確定合理的子集數目。一個動態(tài)聚類算法需要有以下幾個要點：1.選定某種距離度量作為樣本間的相似性度量；2.確定樣本合理的初始分類，包括代表點的選擇，初始分類的方法選擇等。3.確定某種評價聚類