《模式識(shí)別與人工智能》

1、. 模式識(shí)別與人工智能（2015 2016學(xué)年第二學(xué)期）姓 名： 學(xué) 號(hào)： 專(zhuān) 業(yè)： 控制科學(xué)與工程 成績(jī)?cè)u(píng)定： 2016年 5 月 9 日引言模式識(shí)別與人工智能是60年代迅速發(fā)展起來(lái)的一門(mén)學(xué)科，屬于信息，控制和系統(tǒng)科學(xué)的范疇。模式識(shí)別就是利用計(jì)算機(jī)對(duì)某些物理現(xiàn)象進(jìn)行分類(lèi)，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與事物相符。模式識(shí)別技術(shù)主要分為兩大類(lèi)：基于決策理論的統(tǒng)計(jì)模式識(shí)別和基于形式語(yǔ)言理論的句法模式識(shí)別。模式識(shí)別的原理和方法在醫(yī)學(xué)、軍事等眾多領(lǐng)域應(yīng)用十分廣泛。模式識(shí)別與人工智能事實(shí)上是典型的多學(xué)科交叉：數(shù)學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、控制科學(xué)、生理 學(xué)、心理學(xué)、認(rèn)知科學(xué)和哲學(xué)等。正

2、由于此，吸引了眾多學(xué)科的科學(xué)家、工程技術(shù)人員致力于模式識(shí)別的研究和開(kāi)發(fā)。模式識(shí)別 研究模式的自動(dòng)處理和判讀的數(shù)學(xué)技術(shù)科學(xué)。 模式識(shí)別中的最基本的問(wèn)題是解決模式的分類(lèi)。 較全面地看，研究模式的描述、分析、分類(lèi)、理解和綜合。 更高層次的模式識(shí)別應(yīng)該還包括對(duì)模式的學(xué)習(xí)、判斷、自適應(yīng)、自尋優(yōu)和自動(dòng) 發(fā)現(xiàn)規(guī)律等。 所以模式識(shí)別在某種意義上和人工智能中的“學(xué)習(xí)”或“概念形成”相近。模式識(shí)別與機(jī)器智能的結(jié)合將開(kāi)辟?gòu)V闊的前景。模式識(shí)別分類(lèi)主要有數(shù)據(jù)預(yù)處理，特征提取、分類(lèi)器，特征預(yù)測(cè)評(píng)估等。主要研究為貝葉斯決策、線(xiàn)性判別函數(shù)，非線(xiàn)性判別函數(shù)，近鄰法、特

3、征提取、聚類(lèi)分析等。模式識(shí)別的研究是確定一個(gè)樣本的類(lèi)別屬性（模式類(lèi)）的過(guò)程，即把某一樣本歸屬于多個(gè)類(lèi)型中的某個(gè)類(lèi)型。是指對(duì)表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關(guān)系的)信息進(jìn)行處理和分析,以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類(lèi)和解釋的過(guò)程,是信息科學(xué)和人工智能的重要組成部分。模式識(shí)別與統(tǒng)計(jì)學(xué)、心理學(xué)、語(yǔ)言學(xué)、 計(jì)算機(jī)科學(xué) 、生物學(xué)、控制論等都有關(guān)系。它與 人工智能 、 圖像處理 的研究有交叉關(guān)系。例如自適應(yīng)或自組織的模式識(shí)別系統(tǒng)包含了人工智能的學(xué)習(xí)機(jī)制。又如模式識(shí)別中的預(yù)處理和特征抽取環(huán)節(jié)應(yīng)用圖像處理的技術(shù)；圖像處理中的圖像分析也應(yīng)用模式識(shí)別的技術(shù)。目錄引言2第一題 K均值算法4第二題

4、感知準(zhǔn)則函數(shù)7第三題 KPCA方法在ORL人臉數(shù)據(jù)庫(kù)中實(shí)現(xiàn)人臉識(shí)別10程序附錄14第一題 K均值算法已知數(shù)據(jù)樣本為：(x1,x2,x20)=（0，0），（1，0），（0，1），（1，1），（2，1），（1，2），（2，2），（3，2），（6，6），（7，6），（8，6），（6，7），（7，7），（8，7），（9，7），（7，8），（8，8），（9，8），（8，9），（9，9），試用C（C=2）均值法進(jìn)行分類(lèi)，給出程序和每一次類(lèi)心的變化過(guò)程，匯出動(dòng)態(tài)聚類(lèi)過(guò)程。1原理K均值算法使用的聚類(lèi)準(zhǔn)則函數(shù)是誤差平方和準(zhǔn)則，通過(guò)反復(fù)迭代優(yōu)化聚類(lèi)結(jié)果，使所有樣本到各自所屬類(lèi)別的中心的距離平方和達(dá)到最小。2步驟第

5、一步：K=2，選初始聚類(lèi)中心為 第二步：將待分類(lèi)的模式特征集xi中的模式逐個(gè)按最小距離原則劃分給K類(lèi)中的某一類(lèi)，即：第三步：計(jì)算重新分類(lèi)后的各聚類(lèi)中心，即： 第四步： 3實(shí)驗(yàn)結(jié)果圖像顯示用Matlab 做仿真，圖像如下：z1 = 1.2500 1.1250z2 = 7.6667 7.3333Y1 = 1.0000 1.2500 1.2500 0 1.1250 1.1250Y2 = 9.0000 7.6667 7.6667 9.0000 7.3333 7.3333G1 = 0 1 0 1 2 1 2 3 0 0 1 1 1 2 2 2G2 = Columns 1 through 9 6 7 8

6、6 7 8 9 7 8 6 6 6 7 7 7 7 8 8 Columns 10 through 12 9 8 9 8 9 9第二題 感知準(zhǔn)則函數(shù) 有兩類(lèi)樣本1=（x1,x2）=(1,0,1) T,(0,1,1) T， 2=（x3,x4）=(1,1,0) T,(0,1,0) T編寫(xiě)程序，用感知準(zhǔn)則函數(shù)法求判別函數(shù)。1. 原理感知器是用于線(xiàn)性可分的的模式分類(lèi)中的一種最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，它由美國(guó)Rosenblatt于1957年提出的有監(jiān)督學(xué)習(xí)(有導(dǎo)師學(xué)習(xí))神經(jīng)網(wǎng)絡(luò)模型，其學(xué)習(xí)算法于1958年提出。所以這一類(lèi)感知器也稱(chēng)為Rosenblatt感知器，它是由一個(gè)線(xiàn)性組合器和一個(gè)限幅器組成。其信號(hào)流圖模

7、型如下圖所示：圖2-1感知器模型的求和節(jié)點(diǎn)作用于輸入與權(quán)值的線(xiàn)性組合同時(shí)也合并外部作用的偏置。求和節(jié)點(diǎn)計(jì)算的得到的結(jié)果，也就是誘導(dǎo)局部域，被作用于硬限幅器，相應(yīng)地，當(dāng)硬限幅器輸入為正時(shí)，其輸出為+1，反之為-1。在感知器模型中，為感知器的權(quán)值，為感知器的輸入。為外部偏置。從而感知器的誘導(dǎo)局部域?yàn)?(2.1) 感知器的目的是把外部作用正確地分為兩類(lèi)，分類(lèi)的規(guī)則是如果感知器輸出的y是+1則將表示的分類(lèi)點(diǎn)分配給類(lèi)，如果感知器輸出y為-1，則將表示的分類(lèi)分配給類(lèi)。最簡(jiǎn)單的感知器中存在著被一個(gè)超平面分開(kāi)的兩個(gè)決策區(qū)域，此超平面的定義為 (2.2)其決策面的示意圖如下圖所示：圖2-2在此圖中，表示感知器的

8、輸入，和表示所分的類(lèi)。決策面的邊界即為。2. 步驟感知器能夠正確地工作的前提條件是和所表示的類(lèi)必須是線(xiàn)性可分的。而且類(lèi)間間距越大越好，類(lèi)內(nèi)間距越小越好，即能夠得到的決策面是線(xiàn)性的平面。為了便于計(jì)算，將圖2-1中的信號(hào)流圖的模型繪制成如下形式：圖2-3 等價(jià)感知器信號(hào)流圖在這個(gè)信號(hào)流圖中，偏置被當(dāng)做一個(gè)等于+1的固定輸入量所驅(qū)動(dòng)的突觸權(quán)值。因此定義個(gè)輸入向量為這里表示使用算法迭代的步數(shù)，相應(yīng)地個(gè)權(quán)向量定義為因此線(xiàn)性組合器的輸出可以寫(xiě)為如下形式 (2.3)由于和是線(xiàn)性可分的，現(xiàn)在假設(shè)有，屬于類(lèi)，屬于類(lèi)。存在一個(gè)權(quán)值向量滿(mǎn)足如下條件 對(duì)于屬于類(lèi)的每個(gè)輸入向量 對(duì)于屬于類(lèi)的每個(gè)輸入向量 (2.4)下面

9、通過(guò)迭代的方式找出能夠正確分類(lèi)的權(quán)值向量。在式(2.4)中，我們假設(shè)訓(xùn)練樣本集的第個(gè)成員根據(jù)上式算法的權(quán)值向量能夠正確分類(lèi)，那么權(quán)值向量的第此迭代就不用修改，即 假如且屬于類(lèi) 假如且屬于類(lèi) (2.5)如果根據(jù)式(2.4),第個(gè)成員不能夠正確分類(lèi)，那么我們對(duì)權(quán)值向量做如下修改 假如且屬于類(lèi) 假如且屬于類(lèi) (2.6)其中為學(xué)習(xí)效率。上式(2.4)在所給的樣本是線(xiàn)性可分的情況下，可以證明存在一個(gè)最大的迭代次數(shù)使得收斂。具體算法步驟如下(1) 將+1添加到向量x1,x2,x3,x4的首項(xiàng)，為權(quán)值向量賦初值，為學(xué)習(xí)效率賦初值；(2) 根據(jù)式(2.4)，判斷向量是否滿(mǎn)足式(2.5)的條件，如果滿(mǎn)足則不更新

10、權(quán)值向量，否則根據(jù)式(2.6)更新權(quán)值向量。3.運(yùn)行結(jié)果：w = -0.2933 0.5619 -0.3954 0.7749Xw = 1.0435 0.0862 -0.1268 -0.6887第三題 KPCA方法在ORL人臉數(shù)據(jù)庫(kù)中實(shí)現(xiàn)人臉識(shí)別1. KPCA簡(jiǎn)介KPCA(Kernel based Principle Component Analysis)即基于核的主成分分析，基于核函數(shù)的基本原理，通過(guò)非線(xiàn)性映射將輸入空間投影到高維特征空間，然后在高位特征空間中對(duì)映射數(shù)據(jù)做主成分分析，具有很強(qiáng)的非線(xiàn)性處理能力。KPCA原理如下：輸入空間的M個(gè)樣本，使（中心

11、化保證均值為零），則其協(xié)方差矩陣為而對(duì)于一般的PCA方法，即通過(guò)求解特征方程獲得貢獻(xiàn)率最大的特征值及與之相對(duì)應(yīng)的特征向量;引入非線(xiàn)性映射函數(shù)，使輸入空間的樣本點(diǎn)變換成特征空間的樣本點(diǎn)并滿(mǎn)足中心化條件則其在特征空間的協(xié)方差矩陣為則在特征空間的PCA是求解下列方程的特征值和特征向量進(jìn)而有由于特征向量可以由數(shù)據(jù)集線(xiàn)性表示，則V可以由線(xiàn)性表示，即定義矩陣K則有顯然滿(mǎn)足通過(guò)對(duì)上式的求解，可以得到要求的特征值和特征向量。2. MATLAB程序?qū)崿F(xiàn)應(yīng)用KPCA方法實(shí)現(xiàn)在ORL人臉數(shù)據(jù)庫(kù)中實(shí)現(xiàn)人臉識(shí)別，要求KPCA中核函數(shù)采用多項(xiàng)式核函數(shù)：（1） 以訓(xùn)練圖像的個(gè)數(shù)為橫坐標(biāo)（訓(xùn)練圖像為2,3,4,5,6,7,8

12、,9個(gè)）畫(huà)出識(shí)別率圖像； 通過(guò)測(cè)試不同數(shù)量的訓(xùn)練樣本，可以得到相應(yīng)的各種識(shí)別率。圖3-1 改變訓(xùn)練樣本數(shù)時(shí)的識(shí)別率（2） ，以核函數(shù)的C（0.510，變化步長(zhǎng)為0.5）為變量，畫(huà)出相對(duì)應(yīng)的識(shí)別率。在訓(xùn)練樣本數(shù)為5，以核函數(shù)的C（0.510，變化步長(zhǎng)為0.5）為變量，d為1時(shí)，得到的識(shí)別率是不變的總是為0.915，識(shí)別率如下所示，圖3-2 改變c步長(zhǎng)識(shí)別率變化（3） ，以核函數(shù)的d（0.55，變化步長(zhǎng)為0.5）為變量，畫(huà)出與其對(duì)應(yīng)的識(shí)別率圖像。在訓(xùn)練樣本數(shù)為5，測(cè)試樣本數(shù)為5的條件下，以核函數(shù)的d（0.55，變化步長(zhǎng)為0.5）為變量，c為1時(shí)，得到的其識(shí)別率的變化值為圖3-3 改變d步長(zhǎng)識(shí)別率變

13、化程序附錄第一題程序%Initializationclear all;close all;clc;x=0 1 0 1 2 1 2 3 6 7 8 6 7 8 9 7 8 9 8 9;0 0 1 1 1 2 2 2 6 6 6 7 7 7 7 8 8 8 9 9;%given samplec=2;com1=x(:,2);% for comparingcom2=x(:,20);z1=x(:,2);z2=x(:,20);Y1(:,1)=z1;Y2(:,1)=z2;plot(x(1,:),x(2,:),'+');hold on;%plot samplen=0;p=0; %Caculat

14、e n=0;p=0;for t=1:1:20 for m=1:1:20 v1=x(:,m)-z1; L1=norm(v1); %calculation of two-norm to z1 v2=x(:,m)-z2; L2=norm(v2); %calculation of two-norm to z2 if L1<L2 n=n+1; G1(:,n)=x(:,m); %if L1<L2, then x(:,m) belongs to G1 else p=p+1; G2(:,p)=x(:,m); %if L1>=L2, then x(:,m) belongs to G2 end

15、end b=n; d=p; m=0; %reassign the value of m n=0; %reassign the value of n p=0; %reassign the value of p z1=mean(G1')' %calculate the average of G1 z2=mean(G2')' %calculate the average of G2 Y1(:,t+1)=mean(G1')' ; %note the center of G1 everytime Y2(:,t+1)=mean(G2')' %

16、note the center of G2 everytime if z1=com1 break; %when the parameters are not changed,get out of the loop end G1=zeros(2,b); G2=zeros(2,d); com1=z1; mom2=z2;end %Outputt-1 %timesz1=mean(G1')'z2=mean(G2')'Y1(:,t+1)=mean(G1')' %show the center of G1 everytimeY2(:,t+1)=mean(G2&

17、#39;)' %show the center of G2 everytimeG1 %show the elements of G1 G2 %show the elements of G2plot(Y1(1,:),Y1(2,:),'r'); %plot the change of the center of G1 plot(Y2(1,:),Y2(2,:),'k'); %plot the change of the center of G2 第三題程序% -% 感知器算法：在本例程中，我們先給權(quán)值向量賦一個(gè)隨機(jī)值，學(xué)習(xí)效率設(shè)定為0.3% 在這里我們將偏置b包含在權(quán)值向量中來(lái)，相應(yīng)地將添加一個(gè)正的輸入+1.% w(n),權(quán)值向量,% X(n),訓(xùn)練樣本% eta(n)，學(xué)習(xí)效率% b為偏置% -% -程序代碼w=rand(4,1);Xw=zeros(1,4);x1=1 1 0 1' %x1 x2屬于L1類(lèi)x2=1 0 1 1' x3=1 1 1 0' %x3 x4屬于L2類(lèi)x4=1 0 1 0'eta=0.2; %學(xué)習(xí)效率X=x1,x2,x3,x4;index=1; %分類(lèi)成功標(biāo)志位，如果分類(lèi)成功，則其值為零，否則其值為1.while index for i=1:2 while w'*X(: