用MATLAB實現(xiàn)數(shù)據(jù)挖掘的一種算法

1、一、數(shù)據(jù)挖掘的目的數(shù)據(jù)挖掘 （Data Mining） 階段首先要確定挖掘的任務或目的。數(shù)據(jù)挖掘的目的就是得出隱藏在數(shù)據(jù)中的有價值的信息。 數(shù)據(jù)挖掘是一門涉及面很廣的交叉學科，包括器學習、數(shù)理統(tǒng)計、神經(jīng)網(wǎng)絡、數(shù)據(jù)庫、模式識別、粗糙集、模糊數(shù)學等相關(guān)技術(shù)。它也常被稱為“知識發(fā)現(xiàn)” 。知識發(fā)現(xiàn)（KDD） 被認為是從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個過程。數(shù)據(jù)挖掘被認為是KDD 過程中的一個特定步驟，它用專門算法從數(shù)據(jù)中抽取模式（patter,如數(shù)據(jù)分類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)或序列模式發(fā)現(xiàn)等。數(shù)據(jù)挖掘主要步驟是：數(shù)據(jù)準備、數(shù)據(jù)挖掘、結(jié)果的解釋評估。二、數(shù)據(jù)挖掘算法說明確定了挖掘任務后， 就要決定使用什么樣的挖掘

2、算法。 由于條件屬性在各樣本的分布特性和所反映的主觀特性的不同 , 每一個樣本對應于真實情況的局部映射。 建立了粗糙集理論中樣本知識與信息之間的對應表示關(guān)系 , 給出了由屬性約簡求約簡決策表的方法。 基于后離散化策略處理連續(xù)屬性, 實現(xiàn)離散效率和信息損失之間的動態(tài)折衷。 提出相對值條件互信息的概念衡量單一樣本中各條件屬性的相關(guān)性, 可以充分利用現(xiàn)有數(shù)據(jù)處理不完備信息系統(tǒng)。本次數(shù)據(jù)挖掘的方法是兩種， 一是找到若干條特殊樣本， 而是找出若干條特殊條件屬性。最后利用這些樣本和屬性找出關(guān)聯(lián)規(guī)則。 （第四部分詳細講解樣本和屬性的選擇）三 數(shù)據(jù)預處理過程數(shù)據(jù)預處理一般包括消除噪聲、 推導計算缺值數(shù)據(jù)、 消

3、除重復記錄、 完成數(shù)據(jù)類型轉(zhuǎn)換（如把連續(xù)值數(shù)據(jù)轉(zhuǎn)換為離散型數(shù)據(jù)，以便于符號歸納，或是把離散型數(shù)據(jù)轉(zhuǎn)換為連續(xù)）。本文使用的數(shù)據(jù)來源是名為CardiologyCategorical”的exceUt件中的“源數(shù)據(jù)” 。該數(shù)據(jù)表共303行， 14個屬性。即共有303個樣本。將該數(shù)據(jù)表的前200行設(shè)為訓練樣本，剩下后的103行作為測試樣本，用基于粗糙集理論的屬性約簡的方法生成相應的規(guī)則，再利用測試樣本對這些規(guī)則進行測試。首先對源數(shù)據(jù)進行預處理，主要包括字符型數(shù)據(jù)的轉(zhuǎn)化和數(shù)據(jù)的歸一化。數(shù)據(jù)預處理的第一步是整理源數(shù)據(jù)，為了便于 matlab 讀取數(shù)據(jù)，把非數(shù)字數(shù)據(jù)轉(zhuǎn)換為離散型數(shù)字數(shù)據(jù)。生成lisanhua.

4、xsl文件。這一部分直接在excel工作 表中直接進行。步驟如下：將屬性“sex的“Male用1”表示，“Female1 2”表示；將屬性 "chespain type”中的 “Asymptomatic用 1”表示，“AbnormaAngina”用2”表示，“Angina用3”表示，“NoTan訓4”表示；將屬性 "Fastingblood suga<120”與屬性 "angin#的 “FALSE用 1”表示，“TRUE用2”表示；將屬性 "resting ecg的 “Hyp'用 1” 表示，“Normal用 2”表示，“Abnormal”

5、 用3”表示；將屬性"slope?的“Down用1”表示，“FlatW 2”表示，“U洲3”表示,； 將屬性“tha中的“ReV用1”表示，“Normal用2”表示，“Fix用3”表示； 將屬性“clas和的“Healthy ”1蓑示，”Sick用2”表示；數(shù)據(jù)預處理的第二步：使用dm=xlsread('lisanhua');導入isanhua'.xls文件，在MATLAB中對一些連續(xù)屬性值離散化。如下：1、29,48=1, 48,62=2, 62,77=34、94,110=1, 110,143=2, 143,200=35、126,205=1, 205,293

6、=2, 293, 564=38、71,120=1, 120,175=2, 175,202=310、0,1.5=1, 1.5,2.5=2, 2.5,6.2=3。然后對數(shù)據(jù)進行歸一化處理：由于不同屬性之間的屬性值相同，所以利用下面語句對一共13個條件屬性中的38個屬性進行如下賦值，使每條屬性唯一確定。從而得到 38個條件屬性，只不 過38個里面有且只能出現(xiàn)13個。程序如下：m1=0,3,2,4,3,3,2,3,3,2,3,3,4,3;k=1;w=m1(k);dm3=dm2;for i=1:3939dm3(i)=dm2(i)+w;if rem(i,303)=0k=k+1;w=w+m1(k);ende

7、nd從而得到dm(3)矩陣。而且決策屬性分為1: healthy; 2： sick。并且在38個條件屬性中沒有值為0o四、挖掘算法1、特殊樣本首先在前200條樣本中分別找出三條對應兩種決策屬性的重要樣本， 樣本必 須滿足在同類決策屬性下其他199條的13條決策屬性中和它的13條條件屬性數(shù) 目大于等于10的前3條樣本。2、特殊條件屬性值其次分別對應兩條決策屬性值的 5條重要條件屬性值(在38個條件屬性里 找)，特殊屬性值必須滿足：(1)在對應相同決策屬性下，此決策屬性支持率必須 在前五，(2)而且如果不同決策屬性出現(xiàn)相同條件屬性。如果相同決策屬性同時 出現(xiàn)在不同決策屬性中，刪除這條后找支持率第六

8、的條件屬性，以此類推。挖掘算法在MATLAB里列出并做了標注。五、驗證程序1、預處理在驗證程序里面分別對測試數(shù)據(jù)和六條樣本做了對比，又對其屬性值和特殊 屬性值做了對比，最后利用加權(quán)求和算法判斷測試樣本的決策屬性正確率。其中：nc, mc代表測試數(shù)據(jù)分別和兩類樣本屬性中相同數(shù)是否大于等于9時的加權(quán)值。ncc,mcc代表測試數(shù)據(jù)分別和兩類特殊屬性滿足幾條數(shù)目的加權(quán)值。2、關(guān)聯(lián)規(guī)則 (1)、如果(nc>=0.9&ncc>=8)|(ncc>=10&nc>=0.6)得到?jīng)Q策屬性 healthy如果(mc>=0.9|mcc>=8)|(mcc>=9&

9、amp;mc>=0.6)得到?jīng)Q策如果 nc>=(mc+0.3)|ncc>=(mcc+2)得到?jīng)Q策屬性(2)、不滿足以上條件的話屬性sick。healthy。(4)、不滿足以上條件的話(5)、不滿足以上條件的話 (6)、不滿足以上條件的話(7)、不滿足以上條件的話 六、正確率及結(jié)果分析(3)、不滿足以上條件的話如果mc>nc得到?jīng)Q策屬性為sick。如果ncc>mcc得到?jīng)Q策屬性為healthy如果mcc>ncc得到?jīng)Q策屬性為sick。得到?jīng)Q策屬性為sick。正確率為82.5% 結(jié)果分析：由于采用了兩類約束方法，所以效果還可以七、程序如下頁所示clear;%數(shù)據(jù)

10、預處理程序 %dm=xlsread('lisanhua');% 載入數(shù)據(jù)% z1=dm(:,1);%離散化第一列數(shù)據(jù)fo門=1:303if z1(i)>=29&z1(i)<48 z1(i)=1;elseif z1(i)>=48&z1(i)<62z1(i)=2;else z1(i)=3; endendz2=dm(:,2);fo門=1:303if z2(i)=0z2(i)=1;else z2(i)=2;endendz3=dm(:,3);fo門=1:303z3(i)=z3(i)+1;endz4=dm(:,4);fo門=1:303if z4(i)

11、>=94&z4(i)<110 z4(i)=1;elseif z4(i)>=110&z4(i)<143 z4(i)=2;else z4(i)=3;endendz5=dm(:,5);fo門=1:303if z5(i)>=126&z5(i)<205z5(i)=1;elseif z5(i)>=205&z5(i)<293 z5(i)=2;else z5(i)=3;endendz6=dm(:,6);fo門=1:303z6(i)=z6(i)+1;endz7=dm(:,7);fo門=1:303z7(i)=z7(i)+1;endz8

12、=dm(:,8);for i=1:303if z8(i)>=71&z8(i)<120z8(i)=1;elseif z8(i)>=120&z8(i)<175 z8(i)=2;else z8(i)=3;endendz9=dm(:,9);fo門=1:303z9(i)=z9(i)+1;endz10=dm(:,10);fo門=1:303if z10(i)>=0&z10(i)<1.5 z10(i)=1;elseif z10(i)>=1.5&z10(i)<2.5 z10(i)=2;else z10(i)=3;endendz11=

13、dm(:,11);fo門=1:303z11(i)=z11(i)+1;endz12=dm(:,12);fo門=1:303z12(i)=z12(i)+1;endz13=dm(:,13);for i=1:303z13(i)=z13(i)+1;endz14=dm(:,14);fo門=1:303z14(i)=z14(i)+1;enddm2=z1,z2,z3,z4,z5,z6,z7,z8,z9,z10,z11,z12,z13,z14;% %m1=0,3,2,4,3,3,2,3,3,2,3,3,4,3;k=1;w=m1(k);dm3=dm2;for i=1:3939dm3(i)=dm2(i)+w;if re

14、m(i,303)=0k=k+1;w=w+m1(k);endend%預處理結(jié)束%挖掘算法%找6條樣本前的預處理dm4=zeros(200,14);dm5=zeros(200,14);fo門=1:200if dm3(i,14)=1dm4(i,1:13)=dm3(i,1:13);else dm5(i,1:13)=dm3(i,1:13);endenda1=zeros(38,1);a2=zeros(38,1);for k=1:38fo門=1:13for j=1:200if dm4(j,i)=k&dm4(j,i)=0 a1(k)=a1(k)+1;endif dm5(j,i)=k&dm5(j

15、,i)=0 a2(k)=a2(k)+1;endendendenda5=a1;a6=a2;a3=zeros(5,1);a4=zeros(5,1);j=1；while j<6a11=0;a11=max(a1);fo門=1:38if a1(i)=a11a3(j)=a11;j=j+1;if j>5break;enda1(i)=0;endendendj=1;while j<6a22=0;a22=max(a2);for i=1:38if a2(i)=a22 a4(j)=a22;j=j+1;if j>5break;enda2(i)=0;endendend% 構(gòu)造 hl h2 矩陣h1

16、=zeros(200,14);h2=zeros(1,200);y1=0;y2=0;y3=0;y4=0;for j=1:200x=0;fo門=1:200h1(i,1:13)=dm3(j,1:13)=dm3(i,1:13);h1(i,14)=dm3(j,14)=dm3(i,14);if sum(h1(i,1:13)>=10&h1(i,14)=1 x=x+1;endendh2(j)=x;end% 篩選h2矩陣 得到h3 h4矩陣 h3=zeros(1,200);h4=zeros(1,200);fo門=1:200if z14(i)=1h3(i)=h2(i);else h4(i)=h2(i

17、);歡迎下載9endend% h5=h3;h6=h4;% 找六條重要樣本 % y1=max(h5);fo門=1:200if h5(i)=y1 h5(i)=0;t1=i;endendy2=max(h5);fo門=1:200if h5(i)=y2 h5(i)=0;t2=i;endendy3=max(h5);fo門=1:200if h5(i)=y3 h5(i)=0;t3=i;endendy4=max(h6);fo門=1:200if h6(i)=y4 h6(i)=0;t4=i;endendy5=max(h6);for i=1:200if h6(i)=y5歡迎下載10h6(i)=0;t5=i;enden

18、dy6=max(h6);fo門=1:200if h6(i)=y6 h6(i)=0;t6=i;endend% %找特殊樣本結(jié)束% 找特殊屬 性值dm4=zeros(200,14);dm5=zeros(200,14);fo門=1:200if dm3(i,14)=1dm4(i,1:13)=dm3(i,1:13);else dm5(i,1:13)=dm3(i,1:13); endenda1=zeros(38,1);a2=zeros(38,1);for k=1:38fo-=1:13for j=1:200if dm4(j,i)=k&dm4(j,i)=0a1(k)=a1(k)+1;endif dm5

19、(j,i)=k&dm5(j,i)=0a2(k)=a2(k)+1;endendendenda5=a1;a6=a2;a3=zeros(6,1);a4=zeros(6,1);j=1;while j<7a11=0;a11=max(a1);fo門=1:38if a1(i)=a11 a3(j)=a11;j=j+1；if j>6break;enda1(i)=0;endendendj=1;while j<7a22=0;a22=max(a2);for i=1:38if a2(i)=a22 a4(j)=a22;j=j+1;if j>6break;enda2(i)=0;endende

20、ndb1=zeros(6,1);b2=zeros(6,1);for j=1:6for i=1:38if a5(i)=a3(j)b1(j)=i； endendendfor j=1:6fo門=1:38if a6(i)=a4(j)b2(j)=i；endendendb3(1:5,1)=b1(2:6,1);b4(1:5,1)=b2(1:5,1);% 尋找 結(jié)束% 驗證程序開始h7=zeros(103,14);h8=zeros(103,14);tc=0;fo門=1:103h7(i,1:13)=dm3(200+i,1:13);end% 特殊樣本fo門=1:103nc=0;mc=0;ncc=0;mcc=0;h

21、8(i,1:13)=h7(i,1:13)=dm3(t1,1:13);if sum(h8(i,1:13)>=9nc=nc+0.3;endh8(i,1:13)=h7(i,1:13)=dm3(t2,1:13);if sum(h8(i,1:13)>=9nc=nc+0.3;endh8(i,1:13)=h7(i,1:13)=dm3(t3,1:13);if sum(h8(i,1:13)>=9nc=nc+0.3;endh8(i,1:13)=h7(i,1:13)=dm3(t4,1:13);if sum(h8(i,1:13)>=9mc=mc+0.3;endh8(i,1:13)=h7(i,1:13)=dm3(t5,1:13);if sum(h8(i,1:13)>=9mc=mc+0.3;endh8(i,1:13)=h7(i,1:13)=dm3(t6,1:13);if sum(h8(i,1:13)>=9mc=mc+0.3;end% 樣本結(jié) 束% 特殊屬 性值ncc=0;mcc=0;for j=1:13if h7(i,j)=b3(1)ncc=ncc+3;else if