人工智能實(shí)驗(yàn)報(bào)告

.資料.《— 人工智能方向?qū)嵙?xí)—》實(shí)習(xí)報(bào)告專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)班級：12419013學(xué)號：姓名： 江蘇科技大學(xué)計(jì)算機(jī)學(xué)院2016年3月實(shí)驗(yàn)一數(shù)據(jù)聚類分析一、實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)數(shù)據(jù)聚類的算法。二、實(shí)驗(yàn)內(nèi)容k-means聚類算法。三、實(shí)驗(yàn)原理方法和手段 k-means算法接受參數(shù)k；然后將事先輸入的n個(gè)數(shù)據(jù)對象劃分為k個(gè)聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高.四、實(shí)驗(yàn)條件Matlab2014b五、實(shí)驗(yàn)步驟初始化k個(gè)聚類中心。計(jì)算數(shù)據(jù)集各數(shù)據(jù)到中心的距離，選取到中心距離最短的為該數(shù)據(jù)所屬類別。計(jì)算(2)分類后，k個(gè)類別的中心（即求聚類平均距離）繼續(xù)執(zhí)行(2)(3)直到k個(gè)聚類中心不再變化(或者數(shù)據(jù)集所屬類別不再變化)六、實(shí)驗(yàn)代碼%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%main.m%k-meansalgorithm%@authormatcloud%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%clear;closeall;loadfisheriris;X=[meas(:,3)meas(:,4)];figure;plot(X(:,1),X(:,2),'ko','MarkerSize',4);title('fisheririsdataset','FontSize',18,'Color','red');[idx,ctrs]=kmeans(X,3);figure;subplot(1,2,1);plot(X(idx==1,1),X(idx==1,2),'ro','MarkerSize',4);holdon;plot(X(idx==2,1),X(idx==2,2),'go','MarkerSize',4);holdon;plot(X(idx==3,1),X(idx==3,2),'bo','MarkerSize',4);holdon;plot(ctrs(:,1),ctrs(:,2),'kx','MarkerSize',12);title('officialkmeans','FontSize',16,'Color','red');[idx,ctrs]=my_kmeans(X,3);subplot(1,2,2);plot(X(idx==1,1),X(idx==1,2),'ro','MarkerSize',4);holdon;plot(X(idx==2,1),X(idx==2,2),'go','MarkerSize',4);holdon;plot(X(idx==3,1),X(idx==3,2),'bo','MarkerSize',4);holdon;plot(ctrs(:,1),ctrs(:,2),'kx','MarkerSize',12);title('customkmeans','FontSize',16,'Color','red');function[idx,ctrs]=my_kmeans(m,k)[rowcol]=size(m);%initkcentroidsp=randperm(size(m,1));fori=1:kctrs(i,:)=m(p(i),:);endidx=zeros(row,1);%idexispointerofgroupwhile1d=dist2matrix(m,ctrs);[z,g]=min(d,[],2);if(g==idx)break;elseidx=g;end%updatectroidsfori=1:kv=find(g==i);ifvctrs(i,:)=mean(m(v,:),1);endendendendfunction[idx,ctrs]=my_kmeans(m,k)[rowcol]=size(m);%initkcentroidsp=randperm(size(m,1));fori=1:kctrs(i,:)=m(p(i),:);endidx=zeros(row,1);%idexispointerofgroupwhile1d=dist2matrix(m,ctrs);[z,g]=min(d,[],2);if(g==idx)break;elseidx=g;end%updatectroidsfori=1:kv=find(g==i);ifvctrs(i,:)=mean(m(v,:),1);endendendend七、實(shí)驗(yàn)結(jié)果 圖1-1未聚類數(shù)據(jù)圖1-2聚類后實(shí)驗(yàn)分析算法的時(shí)間復(fù)雜度上界為O(n*k*t),其中t是迭代次數(shù)。k-means算法是一種基于樣本間相似性度量的間接聚類方法，屬于非監(jiān)督學(xué)習(xí)方法。此算法以k為參數(shù)，把n個(gè)對象分為k個(gè)簇，以使簇內(nèi)具有較高的相似度，而且簇間的相似度較低。相似度的計(jì)算根據(jù)一個(gè)簇中對象的平均值（被看作簇的重心）來進(jìn)行。此算法首先隨機(jī)選擇k個(gè)對象，每個(gè)對象代表一個(gè)聚類的質(zhì)心。對于其余的每一個(gè)對象，根據(jù)該對象與各聚類質(zhì)心之間的距離，把它分配到與之最相似的聚類中。然后，計(jì)算每個(gè)聚類的新質(zhì)心。重復(fù)上述過程，直到準(zhǔn)則函數(shù)收斂。k-means算法是一種較典型的逐點(diǎn)修改迭代的動(dòng)態(tài)聚類算法，其要點(diǎn)是以誤差平方和為準(zhǔn)則函數(shù)。逐點(diǎn)修改類中心：一個(gè)象元樣本按某一原則，歸屬于某一組類后，就要重新計(jì)算這個(gè)組類的均值，并且以新的均值作為凝聚中心點(diǎn)進(jìn)行下一次象元素聚類；逐批修改類中心：在全部象元樣本按某一組的類中心分類之后，再計(jì)算修改各類的均值，作為下一次分類的凝聚中心點(diǎn)。實(shí)驗(yàn)二主成分分析一、實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)主成分的算法。二、實(shí)驗(yàn)內(nèi)容PCA主成分分析算法。三、實(shí)驗(yàn)原理方法和手段PCA的原理就是將原來的樣本數(shù)據(jù)投影到一個(gè)新的空間中，相當(dāng)于我們在矩陣分析里面學(xué)習(xí)的將一組矩陣映射到另外的坐標(biāo)系下。通過一個(gè)轉(zhuǎn)換坐標(biāo)，也可以理解成把一組坐標(biāo)轉(zhuǎn)換到另外一組坐標(biāo)系下，但是在新的坐標(biāo)系下，表示原來的原本不需要那么多的變量，只需要原來樣本的最大的一個(gè)線性無關(guān)組的特征值對應(yīng)的空間的坐標(biāo)即可。四、實(shí)驗(yàn)條件Matlab2014b五、實(shí)驗(yàn)步驟求dataAdjust矩陣求dataAdjust的協(xié)方差矩陣協(xié)方差公式協(xié)方差矩陣求協(xié)方差矩陣的特征向量及特征值取特征值最大的的特征向量eigenVectors降維矩陣finalData=dataAdjust*eigenVectors六、實(shí)驗(yàn)代碼data=[2.52.4;0.50.7;2.22.9;1.92.2;3.13.0;2.32.7;21.6;11.1;1.51.6;1.10.9];dim1_mean=mean(data(:,1));dim2_mean=mean(data(:,2));dataAdjust=[data(:,1)-dim1_mean,data(:,2)-dim2_mean];c=cov(dataAdjust);[vectors,values]=eig(c);values=values*ones(2,1);[max_v,max_idx]=max(values,[],1);eigenVectors=vectors(:,max_idx);finalData=dataAdjust*eigenVectors;七、實(shí)驗(yàn)結(jié)果圖2-1實(shí)驗(yàn)結(jié)果八、實(shí)驗(yàn)分析主成分分析，是考察多個(gè)變量間相關(guān)性一種多元統(tǒng)計(jì)方法，研究如何通過少數(shù)幾個(gè)主成分來揭示多個(gè)變量間的內(nèi)部結(jié)構(gòu)，即從原始變量中導(dǎo)出少數(shù)幾個(gè)主成分，使它們盡可能多地保留原始變量的信息，且彼此間互不相關(guān).通常數(shù)學(xué)上的處理就是將原來P個(gè)指標(biāo)作線性組合，作為新的綜合指標(biāo)。實(shí)驗(yàn)三最近鄰分類器一、實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)最近鄰分類器算法。二、實(shí)驗(yàn)內(nèi)容最近鄰分類器算法，這里采用k近鄰算法。三、實(shí)驗(yàn)原理方法和手段 最近鄰分類為監(jiān)督學(xué)習(xí)方法，已知n個(gè)類別，判定給定樣本屬于哪個(gè)類別。四、實(shí)驗(yàn)條件 Matlab2014b五、實(shí)驗(yàn)步驟計(jì)算樣本到各數(shù)據(jù)集點(diǎn)的距離D=1\*GB3①歐式距離c=2\*GB3②絕對值距離=3\*GB3③明氏距離=4\*GB3④馬氏距離(為對應(yīng)的特征值)=5\*GB3⑤余弦距離對D排序給定k值(即鄰居數(shù))，從D中選取k個(gè)數(shù)據(jù)，統(tǒng)計(jì)k個(gè)數(shù)據(jù)中所屬類別的個(gè)數(shù)C。C中值最大的便是該樣本所屬類別。六、實(shí)驗(yàn)代碼closeall;clear;clc;red=randn(100,2)+ones(100,2);red=[redones(100,1)];green=randn(100,2)-ones(100,2);green=[greenones(100,1)*2];data=[red;green];figure;plot(red(:,1),red(:,2),'ro','MarkerSize',4);holdon;plot(green(:,1),green(:,2),'go','MarkerSize',4);blue_sample=randn(1,2);holdon;plot(blue_sample(:,1),blue_sample(:,2),'bo','MarkerSize',4);%giveakvaluek=input('inputneighborscount');[row,col]=size(data);fori=1:rowd(:,i)=norm(data(i,1:2)-blue_sample(1,:));end[d,idx]=sort(d);fori=1:kk_vector(:,i)=idx(:,i);end%caculatecategoryredCount=0;greenCount=0;fori=1:ktag=data(k_vector(1,i),3);if(tag==1)redCount=redCount+1;elseif(tag==2)greenCount=greenCount+1;endendendif(redCount>greenCount)blue_sample=[blue_sample1];disp('sampleisred');elseblue_sample=[blue_sample2];disp('sampleisgreen');end七、實(shí)驗(yàn)結(jié)果 圖3-1實(shí)驗(yàn)結(jié)果八、實(shí)驗(yàn)分析KNN算法本身簡單有效，它是一種lazy-learning算法，分類器不需要使用訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練時(shí)間復(fù)雜度為0。KNN分類的計(jì)算復(fù)雜度和訓(xùn)練集中的文檔數(shù)目成正比，也就是說，如果訓(xùn)練集中文檔總數(shù)為n，那么KNN的分類時(shí)間復(fù)雜度為O(n)。實(shí)驗(yàn)四貝葉斯分類器一、實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)貝葉斯分類器算法。二、實(shí)驗(yàn)內(nèi)容貝葉斯分類器算法。三、實(shí)驗(yàn)原理方法和手段 已知類別，給定一樣本判定樣本所屬類別。四、實(shí)驗(yàn)條件 Matlab2014b五、實(shí)驗(yàn)步驟已知k個(gè)類別計(jì)算k個(gè)類別所占全體的比重Pr(k)給定值radius，在二維空間，以樣本點(diǎn)為圓心以radiu為半徑作圓。統(tǒng)計(jì)圓內(nèi)k個(gè)類別的分布情況(在圓內(nèi)包含該類多少個(gè)數(shù)據(jù)點(diǎn))記為C(k)計(jì)算圓內(nèi)分布比重Pr_c(k)根據(jù)貝葉斯公式計(jì)算各類最終比重，取值大的作為樣本類別。六、實(shí)驗(yàn)代碼clear;closeall;%inittwoclutersrH=randi([80,100]);gH=randi([80,100]);red=randn(rH,2)+ones(rH,2);green=randn(gH,2)-ones(gH,2);red=[redones(rH,1)];green=[greenones(gH,1)*2];data=[red;green];total=rH+gH;pr_red=rH/(total);pr_green=gH/(total);%initasamplesample_blue=randn(1,2);plot(red(:,1),red(:,2),'ro','MarkerSize',4);holdon;plot(green(:,1),green(:,2),'go','MarkerSize',4);holdon;plot(sample_blue(:,1),sample_blue(:,2),'b*','MarkerSize',6);fori=1:totalp=data(i,1:2);tmp=sample_blue-p;d(:,i)=sqrt(dot(tmp,tmp));end%selectancircle(centerissample_blue)radius=5;redCount=0;greenCount=0;fori=1:totalif(d(:,i)<=radius)if(data(i,3)==1)%redclusterredCount=redCount+1;elseif(data(i,3)==2)%greenclustergreenCount=greenCount+1;endendendendpr_redInCircle=redCount/rH;pr_greenInCircle=greenCount/gH;pr_redFinal=pr_red*pr_redInCircle;pr_greenFinal=pr_green*pr_greenInCircle;fprintf('finalredpr=%f\n',pr_redFinal);fprintf('finalgreenpr=%f\n',pr_greenFinal);if(pr_redFinal>=pr_greenFinal)disp('sampleisredcluster');elsedisp('sampleisgreencluster');end七、實(shí)驗(yàn)結(jié)果圖4-1實(shí)驗(yàn)結(jié)果八、實(shí)驗(yàn)分析對于某些類型的概率模型，在監(jiān)督式學(xué)習(xí)的樣本集中能獲取得非常好的分類效果。在許多實(shí)際應(yīng)用中，樸素貝葉斯模型參數(shù)估計(jì)使用最大似然估計(jì)方法；換而言之，在不用到貝葉斯概率或者任何貝葉斯模型的情況下，樸素貝葉斯模型也能奏效。實(shí)驗(yàn)五特征提取算法一、實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)特征提取算法。二、實(shí)驗(yàn)內(nèi)容harris特征提取算法。三、實(shí)驗(yàn)原理方法和手段圖像中的特征點(diǎn)即為圖像邊緣直線形成夾角而成的角點(diǎn)。圖像中較突出的尖銳點(diǎn)和其它有特殊意義的點(diǎn)，這些點(diǎn)反映了地物的特征，對研究具有重要意義。在點(diǎn)特征提取的算法中，主要包含了Susan算法、Harris算法和Moravec算法，這些算法可以對圖像中角點(diǎn)進(jìn)行提取，從而應(yīng)用于實(shí)踐生產(chǎn)中，例如對建筑物角點(diǎn)提取，人臉中眼睛部位角點(diǎn)的提取。四、實(shí)驗(yàn)條件 Matlab2014b五、實(shí)驗(yàn)步驟(1)計(jì)算圖像I(x,y)在x和y方向的梯度,. (2)計(jì)算圖像兩個(gè)方向梯度的乘積(3)使用高斯函數(shù)對(4)計(jì)算每個(gè)像素的Harris響應(yīng)值R，并對小于某一閾值t的R置為零(5)在3*3或5*5的鄰域內(nèi)進(jìn)行非最大值抑制，局部最大值點(diǎn)即為圖像中的角點(diǎn)六、實(shí)驗(yàn)代碼%function:%Harris角點(diǎn)檢測%注意：%matlab自帶的corner函數(shù)即可實(shí)現(xiàn)harris角點(diǎn)檢測。但考慮到harris角點(diǎn)的經(jīng)典性，本程序?qū)⑵鋵?shí)現(xiàn)，純粹出于學(xué)習(xí)目的，了解特征點(diǎn)檢測的方法。%其中所有參數(shù)均與matlab默認(rèn)保持一致%%清空變量，讀取圖像clear;closeallsrc=imread('images/girl.jpg');gray=rgb2gray(src);gray=im2double(gray);%縮放圖像，減少運(yùn)算時(shí)間gray=imresize(gray,0.2);%計(jì)算X方向和Y方向的梯度及其平方X=imfilter(gray,[-101]);X2=X.^2;Y=imfilter(gray,[-101]');Y2=Y.^2;XY=X.*Y;%生成高斯卷積核，對X2、Y2、XY進(jìn)行平滑h=fspecial('gaussian',[51],1.5);w=h*h';A=imfilter(X2,w);B=imfilter(Y2,w);C=imfilter(XY,w);%k一般取值0.04-0.06k=0.04;RMax=0;size=size(gray);height=size(1);width=size(2);R=zeros(height,width);forh=1:heightforw=1:width%計(jì)算M矩陣M=[A(h,w)C(h,w);C(h,w)B(h,w)];