智能信息處理技術(shù)實(shí)驗(yàn)報告

1、智能信息處理技術(shù)實(shí)驗(yàn)報告學(xué)院（部）： 班 級： 學(xué) 號： 姓 名： 指導(dǎo)老師： 實(shí)驗(yàn)一 感知器實(shí)驗(yàn)一、 實(shí)驗(yàn)?zāi)康?、 理解線性分類器的分類原理2、 掌握感知器算法，利用它對輸入的數(shù)據(jù)進(jìn)行分類二、 實(shí)驗(yàn)原理 感知器算法是通過訓(xùn)練模式的迭代和學(xué)習(xí)算法，產(chǎn)生線性可分的模式判別函數(shù)。感知器算法就是通過對訓(xùn)練模式樣本集的“學(xué)習(xí)”得出判別函數(shù)的系數(shù)解。三、 實(shí)驗(yàn)內(nèi)容（1）簡單分類問題（Percept1）：設(shè)計單一感知器神經(jīng)元來解決一個簡單的分類問題：將4個輸入向量分為兩類，其中兩個輸入向量對應(yīng)的目標(biāo)值為1，另兩個對應(yīng)的目標(biāo)值為0.輸入向量為：P=-1 -0.5 0.2 -0.1; -0.3 0.5 -0.

2、5 1.0目標(biāo)向量為：T=1 1 0 0程序如下：P=-1 -0.5 0.2 -0.1; -0.3 0.5 -0.5 1.00;T=1 1 0 0;plotpv(P,T);pause;net=newp(-1 1; -1 1,1);watchon;cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net=init(net);linehandle=plotpc(net.IW1,net.b1); while(sse(E) net,Y,E=adapt(net,P,T); linehandle=plotpc(net.IW1,net.b1); dr

3、awnow;end;pause;watchoff; p=-0.5;1.2;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,'type','line');set(ThePoint,'Color','red');hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;disp('End of percept1');實(shí)驗(yàn)截圖： （2）多個感知器神經(jīng)元的分類問題（Percept2）：將上例的輸入向量擴(kuò)充為10組，將輸入向量分為4類，

4、即輸入向量為：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3 輸出向量為：T=1 1 1 0 0 1 1 1 0 0; 0 0 0 0 0 1 1 1 1 1程序如下：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3;T=1 1 1 1 1 0 0 0 0 0; 0 0 0 0 0 1 1 1 1 1;plotpv(P,T);net=newp(

5、-1.5 1;-1.5 1,2);figure;watchon;cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E) net,Y,E=adapt(net,P,T); linehandle=plotpc(net.IW1,net.b1,linehandle); drawnow;end;watchoff;figure;p=2;-1;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,&#

6、39;type','line');set(ThePoint,'Color','red');hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;disp('End of percept2');實(shí)驗(yàn)截圖： （3）輸入奇異樣本對網(wǎng)絡(luò)訓(xùn)練的影響（Percept3）當(dāng)網(wǎng)絡(luò)的輸入樣本中存在奇異樣本時（即該樣本向量相對其他所有樣本向量特別大或特別小），此時網(wǎng)絡(luò)訓(xùn)練時間將大大增加，如：輸入向量為：P=-0.5 -0.5 0.3 -0.1 -40; -0.5 0.5 -0.5 1.0 50

7、 ;輸出向量為：T=1 1 0 0 1;解決此問題只需用標(biāo)準(zhǔn)化感知器學(xué)習(xí)規(guī)則訓(xùn)練即可大大縮短訓(xùn)練時間原始感知器學(xué)習(xí)規(guī)則的權(quán)值調(diào)整為： 標(biāo)準(zhǔn)化感知器學(xué)習(xí)規(guī)則的權(quán)值調(diào)整為：，由函數(shù)learnpn()實(shí)現(xiàn)實(shí)驗(yàn)程序：P=-0.5 -0.5 0.3 -0.1 -40; -0.5 0.5 -0.5 1.0 50;T=1 1 0 0 1;plotpv(P,T);net=newp(-40 1; -1 50,1);pause;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1

8、);E=1;net.adaptParam.passes=1net=init(net);linehandle=plotpc(net.IW1,net.b1); while(sse(E) net,Y,E=adapt(net,P,T); linehandle=plotpc(net.IW1,net.b1,linehandle); drawnow;end;pause; p=0.7;1.2;a=sim(net,p);plotpv(p,a); ThePoint=findobj(gca,'type','line');set(ThePoint,'Color',

9、9;red');hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2 2);disp('End of percept3'); （4）線性不可分的輸入向量（Percept5）定義向量P=-0.5 -0.5 0.3 -0.1 -0.8; -0.5 0.5 -0.5 1.0 0.0 ;T=1 1 0 0 0;用感知器對其分類程序如下：P=-0.5 -0.5 0.3 -0.1 -400; -0.5 0.5 -0.5 1.0 500;T=1 1 0 0 1;plotpv(P,T);pause;

10、net=newp(-400 1; -1 500,1,'hardlim','learnpn');%net=newp(-400 1; -1 500,1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1); E=1;net.adaptParam.passes=1;net=init(net);linehandle=plotpc(net.IW1,net.b1); while(sse(E) net,Y,E=adapt(net,P,T); linehandle=plotpc(net.IW1,net.b1,linehandle)

11、; drawnow;end;pause; p=0.7;1.2;a=sim(net,p);plotpv(p,a); ThePoint=findobj(gca,'type','line');set(ThePoint,'Color','red');hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2 2);disp('End of percept4'); （5）實(shí)驗(yàn)練習(xí)：1、設(shè)計一個matlab程序?qū)崿F(xiàn)教材p25例3.1 2、即輸入向

12、量為：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3輸出向量為：T=1 1 1 0 0 1 1 1 0 0對其進(jìn)行分類程序如下：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3T=1 1 1 0 0 1 1 1 0 0plotpv(P,T);net=newp(-40 1; -1 50,1);pause;plotpv(P,T);linehandl

13、e=plotpc(net.IW1,net.b1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net.adaptParam.passes=1net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E) net,Y,E=adapt(net,P,T); linehandle=plotpc(net.IW1,net.b1,linehandle); drawnow;end;pause; p=0.7;1.2;a=sim(net,p);plotpv(p,a); ThePoint=fin

14、dobj(gca,'type','line');set(ThePoint,'Color','red');hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2 2);disp('End of percept3'); 實(shí)驗(yàn)二 BP感知器一、實(shí)驗(yàn)?zāi)康?.理解線性分類器的分類原理。2.掌握BP算法，利用它對輸入的數(shù)據(jù)進(jìn)行分類。3.理解BP算法，使用BP算法對輸入數(shù)據(jù)進(jìn)行分類。二、實(shí)驗(yàn)原理由于硬限幅函數(shù)是非可微函數(shù),不能實(shí)現(xiàn)多層神經(jīng)網(wǎng)絡(luò)的

15、一種有效的LMS學(xué)習(xí)算法。而BP算法中所用到的是Sigmoid型函數(shù)，它既具有完成分類所需的非線性特性，又具有實(shí)現(xiàn)LMS算法所需的可微特性。采用S型函數(shù)的神經(jīng)元的輸入和輸出之間的關(guān)系為 四、 實(shí)驗(yàn)內(nèi)容1根據(jù)實(shí)驗(yàn)內(nèi)容推導(dǎo)出輸出的計算公式以及誤差的計算公式2使用Matlab編程實(shí)現(xiàn)BP多層感知器3調(diào)節(jié)學(xué)習(xí)率及隱結(jié)點(diǎn)的個數(shù)，觀察對于不同的學(xué)習(xí)率、不同的隱結(jié)點(diǎn)個數(shù)時算法的收斂速度4改用批處理的方法實(shí)驗(yàn)權(quán)值的收斂，并加入動量項(xiàng)來觀察批處理以及改進(jìn)的的算法對結(jié)果和收斂速度的影響。內(nèi)容一程序如下：close all clear echo on clc pause clc P=-1, -1, 2, 1; -1

16、, 4, 5, -3;T=0, 1, 1, 0;pause; clc net=newff(minmax(P),3,1,'tansig','purelin','traingdm')inputWeights=net.IW1,1 inputbias=net.b1 layerWeights=net.LW2,1 layerbias=net.b2 pause clc net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; net.trainParam.epoch

17、s = 600; net.trainParam.goal = 1e-9 ; pause clc net,tr=train(net,P,T); pause clc A = sim(net,P) E = T - A MSE=mse(E) pause clc echo off figure;plot(1:4),T,'-*',(1:4),A,'-o');figure;plot(1:4),T,'*',(1:4),A,'o');實(shí)驗(yàn)截圖： 內(nèi)容二實(shí)驗(yàn)程序：close all clear echo on clc pause clc P = -1

18、:0.05:1; randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P);plot(P,T,'+'); echo off hold on; plot(P,sin(2*pi*P),'-'); echo on clc pause clc pause clc net=newff(minmax(P),5,1,'tansig','purelin','traingdx'); pause clc net.trainParam.epochs = 5000;

19、 net = init(net); pause clc net,tr=train(net,P,T); pause clc A = sim(net,P); E = T - A; MSE=mse(E) pause clc close all; plot(P,A,P,T,'*',P,sin(2*pi*P),'+'); pause; clc echo off 實(shí)驗(yàn)截圖： 實(shí)驗(yàn)三 聚類分析實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康?在科學(xué)技術(shù)、經(jīng)濟(jì)管理中常常要按一定的標(biāo)準(zhǔn)（相似程度或親疏關(guān)系）進(jìn)行分類。例如，根據(jù)生物的某些性狀可對生物分類，根據(jù)土壤的性質(zhì)可對土壤分類等。對所研究的事物按一定標(biāo)準(zhǔn)進(jìn)行

20、分類的數(shù)學(xué)方法稱為聚類分析，它是多元統(tǒng)計“物以類聚”的一種分類方法。由于科學(xué)技術(shù)、經(jīng)濟(jì)管理中的分類界限往往不分明，因此采用模糊聚類方法通常比較符合實(shí)際。二、模糊聚類分析的一般步驟1、第一步：數(shù)據(jù)標(biāo)準(zhǔn)化（1） 數(shù)據(jù)矩陣 設(shè)論域?yàn)楸环诸悓ο螅總€對象又有個指標(biāo)表示其性狀，即 ，于是，得到原始數(shù)據(jù)矩陣為 。其中表示第個分類對象的第個指標(biāo)的原始數(shù)據(jù)。（2） 數(shù)據(jù)標(biāo)準(zhǔn)化 在實(shí)際問題中，不同的數(shù)據(jù)一般有不同的量綱，為了使不同的量綱也能進(jìn)行比較，通常需要對數(shù)據(jù)做適當(dāng)?shù)淖儞Q。但是，即使這樣，得到的數(shù)據(jù)也不一定在區(qū)間上。因此，這里說的數(shù)據(jù)標(biāo)準(zhǔn)化，就是要根據(jù)模糊矩陣的要求，將數(shù)據(jù)壓縮到區(qū)間上。通常有以下幾種變換：

21、 平移·標(biāo)準(zhǔn)差變換 其中 ， 。 經(jīng)過變換后，每個變量的均值為0，標(biāo)準(zhǔn)差為1，且消除了量綱的影響。但是，再用得到的還不一定在區(qū)間上。 平移·極差變換 ，顯然有，而且也消除了量綱的影響。 對數(shù)變換 取對數(shù)以縮小變量間的數(shù)量級。2、第二步：標(biāo)定（建立模糊相似矩陣） 設(shè)論域，依照傳統(tǒng)聚類方法確定相似系數(shù)，建立模糊相似矩陣，與的相似程度。確定的方法主要借用傳統(tǒng)聚類的相似系數(shù)法、距離法以及其他方法。具體用什么方法，可根據(jù)問題的性質(zhì)，選取下列公式之一計算。（1） 相似系數(shù)法 夾角余弦法 。 最大最小法 。 算術(shù)平均最小法 。 幾何平均最小法 。以上3種方法中要求，否則也要做適當(dāng)變換。

22、數(shù)量積法 ，其中 。 相關(guān)系數(shù)法 ，其中 ，。 指數(shù)相似系數(shù)法 ，其中 ，而 。（2） 距離法 直接距離法 ，其中為適當(dāng)選取的參數(shù)，使得，表示他們之間的距離。經(jīng)常用的距離有 海明距離 。 歐幾里得距離 。 切比雪夫距離 。 倒數(shù)距離法 。其中為適當(dāng)選取的參數(shù)，使得。 指數(shù)距離法 。3、第三步：聚類（求動態(tài)聚類圖）（1）基于模糊等價矩陣聚類方法 傳遞閉包法 根據(jù)標(biāo)定所得的模糊矩陣還要將其改造稱模糊等價矩陣。用二次方法求的傳遞閉包，即=。再讓由大變小，就可形成動態(tài)聚類圖。 布爾矩陣法 布爾矩陣法的理論依據(jù)是下面的定理： 定理2.2.1 設(shè)是上的一個相似的布爾矩陣，則具有傳遞性（當(dāng)是等價布爾矩陣時）

23、矩陣在任一排列下的矩陣都沒有形如的特殊子矩陣。 布爾矩陣法的具體步驟如下： 求模糊相似矩陣的截矩陣. 若按定理2.2.1判定為等價的，則由可得在水平上的分類，若判定為不等價，則在某一排列下有上述形式的特殊子矩陣，此時只要將其中特殊子矩陣的0一律改成1直到不再產(chǎn)生上述形式的子矩陣即可。如此得到的為等價矩陣。因此，由可得水平上的分類 （2） 直接聚類法 所謂直接聚類法，是指在建立模糊相似矩陣之后，不去求傳遞閉包，也不用布爾矩陣法，而是直接從模糊相似矩陣出發(fā)求得聚類圖。其步驟如下： 取（最大值），對每個作相似類，且 =，即將滿足的與放在一類，構(gòu)成相似類。相似類與等價類的不同之處是，不同的相似類可能有

24、公共元素，即可出現(xiàn) ,.此時只要將有公共元素的相似類合并，即可得水平上的等價分類。 取為次大值，從中直接找出相似度為的元素對（即），將對應(yīng)于的等價分類中所在的類與所在的類合并，將所有的這些情況合并后，即得到對應(yīng)于的等價分類。 取為第三大值，從中直接找出相似度為的元素對（即），將對應(yīng)于的等價分類中所在的類與所在的類合并，將所有的這些情況合并后，即得到對應(yīng)于的等價分類。 以此類推，直到合并到成為一類為止。三、最佳閾值的確定 在模糊聚類分析中對于各個不同的，可得到不同的分類，許多實(shí)際問題需要選擇某個閾值，確定樣本的一個具體分類，這就提出了如何確定閾值的問題。一般有以下兩個方法： 按實(shí)際需要，在動態(tài)聚類圖中，調(diào)整的值以得到適當(dāng)?shù)姆诸?，而不需要事先?zhǔn)確地估計好樣本應(yīng)分成幾類。當(dāng)然，也可由具有豐富經(jīng)驗(yàn)的專家結(jié)合專業(yè)知識確定閾值，從而得出在水平上的等價分類 用F統(tǒng)計量確定最佳值。11 設(shè)論域?yàn)闃颖究臻g（樣本總數(shù)為），而每個樣本有個特征：，。于是得到原始數(shù)據(jù)矩陣，如下表所示，其中，稱為總體樣本的中心向量。四、實(shí)驗(yàn)內(nèi)容