數(shù)據(jù)倉庫與數(shù)據(jù)挖掘?qū)嶒炛笇?dǎo)

1、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘課程實驗本實驗是數(shù)據(jù)倉庫與數(shù)據(jù)挖掘課 程的驗證 性實驗環(huán)節(jié)課程共計 8學(xué)時。實驗?zāi)繕?biāo)：1、掌握建立和配置數(shù)據(jù)倉庫的基本操作技能。主要包括數(shù)據(jù)倉庫 系統(tǒng)的安裝。2、掌握數(shù)據(jù)倉庫 中數(shù)據(jù)的 處理技術(shù)。主要包括數(shù)據(jù)倉庫的建模、事務(wù) 數(shù)據(jù)的轉(zhuǎn) 換、備份數(shù)據(jù)的恢復(fù)。3、掌握基于數(shù)據(jù)倉庫 的自動數(shù)據(jù)分析技 術(shù)的基本操作技能。包括多維 數(shù)據(jù)分析 和數(shù)據(jù)挖掘。4、掌握一種專 用數(shù)據(jù)挖掘 軟件,用以分析處理文本或 電子表格的數(shù)據(jù)。實驗環(huán)境：l Microsoft SQLServer2000l Microsoft SQLServer2000Analysis Servcel DBMiner2.0l

2、 Microsoft SQLServer2000PACK4l JAVA 運行時環(huán)境： JRE5.0l WEKA3.55實驗項 目 ：l 實驗 1:安裝數(shù)據(jù) 倉庫系統(tǒng)平臺 1.5 學(xué)時l 實驗 2:構(gòu)建數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境 1.5學(xué)時l 實驗 3:多維數(shù)據(jù)分析 1.5 學(xué)時l 實驗 4:基于數(shù)據(jù) 倉庫的數(shù)據(jù)挖掘 實驗 2.0 學(xué)時l 實驗 5:數(shù)據(jù)挖掘平臺 應(yīng)用實驗 1.5 學(xué)時實驗 1:安裝數(shù)據(jù) 倉庫系統(tǒng)平臺l 實驗 任務(wù):1. 掌握Microsoft Server2000數(shù)據(jù)倉庫系統(tǒng)的安裝與配置2. 安裝實驗分析環(huán)境:1 安裝 Microsoft Server2000analysisServic

3、e2 安裝 DBMiner2.03安裝Java運行時環(huán)境JRE5.04 安裝 WEKAl 實驗 準(zhǔn)備:請從黑板或網(wǎng)上 獲取安裝文件所在的網(wǎng) 絡(luò)地址。并記 在下面 :網(wǎng)絡(luò)資料的地址是 :本實驗不得超過1 .5學(xué)時。l 實驗 指導(dǎo):Lab1.1 檢查并安裝 Microsoft Server2000單元目標(biāo):確保完整正確的數(shù)據(jù) 倉庫實驗環(huán) 境工作步驟:1. 檢查你所使用的 電腦上是否有 MicrosoftServer200（。如果有,啟動并檢查 Microsoft Server2000是否安裝了 Server Pack3以上的補丁文件。2. 如果以上都沒 問題,則本實驗結(jié)束。3. 下載相應(yīng)的系統(tǒng)文件

4、安裝。先安裝 Microsoft Server2000再安裝Server Pack3 或 ServerPack4Lab1.2 檢查 并安裝數(shù)據(jù)分析 環(huán)境單元目標(biāo):確保安裝了相 應(yīng)的數(shù)據(jù)分析 軟件工作步驟:1. 檢查 你所使用的 電腦是否安裝了 Microsoft Server2000analysisService,DBMi ner2.0,JRE5.0,WEKA3.5.5。如果都已安裝且能正常 運行,則本實驗結(jié)束。否則進 入以下步 驟。2. 如果沒有安裝以上 軟件。請 按以下次序從網(wǎng) 絡(luò)資料地址上下 載軟件完成 安裝。完成Labl.1和Lab1,2后,本實驗結(jié)束。實驗 2:構(gòu)建數(shù)據(jù) 倉庫數(shù)據(jù)環(huán)境

5、l 實驗 任務(wù):本實驗主要驗證 ETL 的數(shù)據(jù) 處理過程。主要實驗 任務(wù)有:1. 構(gòu)建數(shù)據(jù)倉庫模型,并在數(shù)據(jù) 倉庫系統(tǒng)中生成相應(yīng)的數(shù)據(jù)表。2. 將事務(wù)數(shù)據(jù)庫中的數(shù)據(jù) 轉(zhuǎn)入數(shù)據(jù) 倉庫中。3. 還原備份和還原的數(shù)據(jù) 倉庫中的數(shù)據(jù)。l 實驗 準(zhǔn)備:請從黑板或網(wǎng)上 獲取數(shù)據(jù)文件所在的網(wǎng) 絡(luò)地址。并記 在下面 :數(shù)據(jù)文件的地址是 :本實驗不得超過 1.5學(xué)時。本實驗 將使用 MicrosoftSQLServer的示例數(shù)據(jù)庫:Northwind,這是一個商貿(mào)公司的銷售數(shù)據(jù)庫。我們將這個事 務(wù)型的數(shù)據(jù)導(dǎo)入到分析型的數(shù)據(jù) 倉庫中去。l 實驗 指導(dǎo):Lab2.1用caseStudio2.15建立數(shù)據(jù)倉庫的星型模

6、型單元目標(biāo):建立 Northwind_DW 的數(shù)據(jù)倉庫模型。如下圖所示。并根據(jù)該 模型生成相 應(yīng)的數(shù) 據(jù)倉庫的維表和事實表的結(jié)構(gòu)。工作步驟:1. 按下圖樣式建立 Northwind_DW 的昨型數(shù)據(jù)模型 ,請根據(jù)原事務(wù)數(shù)據(jù)庫中相應(yīng)字段的數(shù)據(jù) 類型和寬度,對應(yīng)地設(shè)計相應(yīng)字段的數(shù)據(jù) 類型和寬度。2.安裝并啟動CaseStudio2.15設(shè)計以上模型。3. 運行生成腳本（Generatescript生成相應(yīng)的SQL代碼。Lab2.2將事務(wù)型數(shù)據(jù)加載到分析數(shù)據(jù)環(huán)境中單元目標(biāo)：根據(jù)以上實驗單元建立的數(shù)據(jù)模型,在MicrosoftSQL2000中建立相應(yīng)的物理數(shù) 據(jù)倉庫。工作步驟：1. 請從教師課件中 數(shù)

7、據(jù)倉庫與數(shù)據(jù)挖掘”目錄下的Lab2008中下載文檔多維數(shù)據(jù)分析操作演練.pdf”2. 用Adobe reader打開該文檔。3. 在數(shù)據(jù)倉庫創(chuàng)建部分，可以使用Lab2.1中的模型進行創(chuàng)建和轉(zhuǎn)化4. 按照上面所列步 驟進行操作。最終 完成事實表和維表的數(shù)據(jù) 轉(zhuǎn)移Lab2.3數(shù)據(jù)倉庫中數(shù)據(jù)的備份與恢復(fù)單元目標(biāo):1. 將已生成的數(shù)據(jù) 倉庫的數(shù)據(jù)進行備份。2 .利用備份文件向新的數(shù)據(jù) 庫中還原數(shù)據(jù)倉庫的數(shù)據(jù)。工作步驟:1、備份打開Sqlserver企業(yè)管理器,在需要備份的數(shù)據(jù)庫上點鼠標(biāo)右鍵,所有任務(wù)中選備 份數(shù)據(jù)庫。再從Sqlserver安裝目錄中的Data目錄下，拷貝出要備份的數(shù)據(jù)庫文件*mdf,*

8、ldf, 并備份這兩個文件2、還原將要還原的數(shù)據(jù)庫文件*.mdf,*ldf拷貝到Sqlserver安裝目錄下的Data目錄下。打 開Sqlserver企業(yè)管理器,新建一個數(shù)據(jù)庫，在數(shù)據(jù)庫這一項上點鼠標(biāo)右鍵,在所有任務(wù) 中選導(dǎo)入數(shù)據(jù)庫，以拷貝到Data目錄下的mdf恢復(fù)數(shù)據(jù)庫。還原過程中,如果有什么異常 ,請參考“數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技 術(shù)上機 ”目錄下的 數(shù)據(jù)倉庫實習(xí)指導(dǎo).pdf中的還原部分的內(nèi)容。實驗 3:多維數(shù)據(jù)分析l 實驗任務(wù):本實驗主要驗證OLAP多維分析的過程。主要包括完成OLAP數(shù)據(jù)庫的創(chuàng)建，多 維數(shù)據(jù)集的 創(chuàng)建。存儲和處理多維數(shù)據(jù),瀏覽多維數(shù)據(jù)集等實驗任務(wù)。l 實驗 準(zhǔn)備:本實驗使

9、用的操作參考為Lab2.2中下載的文檔,多維數(shù)據(jù)分析操作演練.pdf 本實驗不得超過 1.5學(xué)時。l 實驗指導(dǎo):Lab3.1多維數(shù)據(jù)分析實驗單元目標(biāo):1. 掌握Microsoft analysisService的中對OALP數(shù)據(jù)庫的操作步驟2. 在使用過程中熟悉和理解相 應(yīng)的概念。工作步驟:1. 在多維數(shù)據(jù)分析操作演練.pdf”中從P85開始進行相應(yīng)的操作演練。2. 在實驗過程中,如果對相應(yīng)的操作還不是很理解 ,請在”數(shù)據(jù)倉庫 與數(shù)據(jù)挖掘技術(shù)上機”目錄下有“Sqlserve數(shù)據(jù)分析.rar”文檔，解 壓后,有詳細的幫助和演 練信息。實驗 4:基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘 實驗l 實驗任務(wù):1. 基于

10、 Microsoft SQLserver2000AnalysesService 的數(shù)據(jù)挖掘模型對數(shù)據(jù)倉庫中的數(shù)據(jù) 進行決策樹分析和聚類分析;2. 使用 DBMiner2.0 對數(shù)據(jù)倉庫中的數(shù)據(jù)進行聚類、關(guān)聯(lián) 分析;3. 使用 DBMiner2.0 對數(shù)據(jù)倉庫的數(shù)據(jù)分析 進行可視化l實驗準(zhǔn)備:本實驗的實驗指導(dǎo)參考資料在網(wǎng)上,請下載參考。本實驗不得超過1.5學(xué)時。l實驗指導(dǎo)：Lab4.1 基于 Microsoft SQLserver2000AnalysesService 的數(shù)據(jù)挖掘單元目標(biāo)：掌握 Microsoft SQLserver2000AnalysesService的數(shù)據(jù)挖掘模型的使用步驟工

11、作步驟：.rar請在”數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)上機”目錄下有“Sqlserve數(shù)據(jù)分析 ”文檔,解壓后，按下圖所指，完成 數(shù)據(jù)挖掘”的演練。MkrosoftSQL Server 2000Analysis Servicesrrri!eaamss“也蜜他與.xt-TKjtrCiiuR.qi嗆山 hi； wt 護 mKfni 百出甲 + 疋碗P - IffiECT* TO ft MWtff -F.t&31SH.E THlX 否*祖1T*K可鼻 M.h TO t： ,C-15 &KtWT( 1，雷曲il二訥時h省4耐備* 阪，K fK-Lab4.2基于DBMiner2.0的數(shù)據(jù)挖掘（選做單元目標(biāo):掌握

12、DBminer2.0 對數(shù)據(jù)倉庫中的數(shù)據(jù) 進行可視化分類、聚類、關(guān)聯(lián) 分析由于時間有限,指導(dǎo)教師將進行一些現(xiàn)場的演練指導(dǎo)。工作步驟:1. 在”數(shù)據(jù) 倉庫與數(shù)據(jù)挖掘技 術(shù)”目錄下下載相應(yīng)的操作手冊“ DBMinerManual.pd”文檔，閱讀第一、二章。2. 對多維數(shù)據(jù)集進行可視化分析。 (chapter43. 對多維數(shù)據(jù)集 進行關(guān)聯(lián)分析。 (chapter64. 對多維數(shù)據(jù)集 進行分類挖掘。 (chapter75. 對多維數(shù)據(jù)集 進行聚類分析。 (chapter8實驗 5:數(shù)據(jù)挖掘平臺 應(yīng)用實驗l 實驗 任務(wù):1.熟悉 WEKA 數(shù)據(jù)挖掘平臺的基本功能。2. 能夠?qū)Υ嬗谖谋净?電子表格中的數(shù)

13、據(jù) 進行數(shù)據(jù)挖掘分析3. 本實驗為選做,對畢業(yè)論 文分析數(shù)據(jù)有利用價 值。l 實驗 準(zhǔn)備:1.下載Java運行時環(huán)境JRE152. 下載 WEKA 并安裝運行3.在”數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)”目錄下下載“WEKA中文使用手冊.pdf ”T,較詳細的使用 說明4. 所需要的數(shù)據(jù)存放在 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)WEKA_DATA”下。I實驗指導(dǎo):Lab5.1用WEKA進行決策樹分析單元目 標(biāo):掌握 WEKA 進行決策樹分析的步 驟。工作步驟:WEKA把分類（Classification和回歸（Regression都放在“Classify選項卡中，這是 有原因的。在這兩個任務(wù)中，都有一個目標(biāo)屬性（輸出變

14、量。我們希望根據(jù)一個樣本（WEKA 中稱作實例的一組特征（輸入變量,對目標(biāo)進行預(yù)測。為了實現(xiàn)這一目的 ,我們需要有 一個訓(xùn)練數(shù)據(jù)集,這個數(shù)據(jù)集中每個 實例的輸入和輸出都是已知的。觀 察訓(xùn)練集中的 實例,可以建立起 預(yù)測的模型。有了這 個模型,我們就可以新的 輸出未知的 實例進行 預(yù)測了。衡量模型的好壞就在于 預(yù)測的準(zhǔn)確程度。在 WEKA 中,待預(yù)測的目標(biāo)（輸出被稱 作Class屬性，這應(yīng)該是來自分類任務(wù)的類” 一般的若Class屬性是分類型時我們的 任務(wù)才叫分類,Class屬性是數(shù)值型時我們的任務(wù)叫回歸。選擇算法我們使用C4.5決策樹算法對bank-data建立起分類模型。我們來看原來的“ba

15、nk data.csv文件?！癐D屬性肯定是不需要的。由于 C4.5算法可以處理數(shù)值型的屬性，我 們不用像前面用關(guān) 聯(lián)規(guī)則那樣把每個變量都離散化成分 類型。盡管如此，我們還是把“Children屬性轉(zhuǎn)換成分類型的兩個值“YES和“NO。另 外,我們的訓(xùn)練集僅取原來數(shù)據(jù)集 實例的一半;而從另外一半中抽出若干條作 為待預(yù) 測的實例,它們的“pePS性都設(shè)為缺失值。經(jīng)過了這些處理的訓(xùn)練集數(shù)據(jù)在這里下 載;待預(yù)測集數(shù)據(jù)在這里下載。我們用“ Explore打開訓(xùn)練集“ bank.arff觀察，一下它是不是按照前面的要求 處 理好了。切換到“Classify選項卡，點擊“Choos按鈕后可以看到很多分 類

16、或者回歸的 算法分門別類的列在一個樹型框里。3.5版的 WEKA 中,樹型框下方有一個 “Filter.按鈕,。點擊可以根據(jù)數(shù)據(jù)集的特性過濾掉不合適的算法。我們 數(shù)據(jù)集的輸入屬性中有“ Bin ary型（即只有兩個 類的分類型和數(shù)值型的屬性，而Class變量是“ Bin ary的;于是我們勾選“ Binary attributes 。“ Nuamtterirbicutes 和“。 Binaryclass 。點“0K后回到樹形圖，可以發(fā)現(xiàn)一些算法名稱變紅了，說明它們不能用。選擇“tre es下的“ J48這就是我們需要的C4.5算法，還好它沒有變紅。點擊“Chooser邊的文本框,彈出新窗口為該

17、算法設(shè)置各種參數(shù)。點“More查看 參數(shù)說明，點“ Cap abilities是查看算法適用范圍。這里我們把參數(shù)保持默認?，F(xiàn)在來 看左中的 “ TestOption 。我們沒有專門設(shè)置檢驗數(shù)據(jù)集,為了保證生成的模型的準(zhǔn)確性而不至于出現(xiàn)過擬合（overfitting的現(xiàn)象，我們有必要采用10折交叉驗證（10-fold crossvalidation來選擇和評估模型。若不明白交叉驗證 的含義可以Google一下。建模結(jié)果OK, 選上“ Cros-svalidation并在“Folds框填上“ 10。點“Star按鈕開始讓算法生成決策樹模型。很快, 用文本表示的一棵決策 樹，以及對這個決策樹的誤差分

18、析等等結(jié)果出現(xiàn)在右邊的“Cl assifieroutput 中。同時左下的 “Resultslist 出現(xiàn)了一個項目顯示剛才的時間和算法名稱。如果換 一個模型或者換個參數(shù),重 新“Star一次，則“Resultsst又會多出一項。我們看到“ J48算法交叉驗證的結(jié)果之一為Correctly Classified Instances206 68.6667% 也就是說這個模型的準(zhǔn)確度只有 69%左右。也許我們需要對原屬性 進行處理,或者修改算法的參數(shù)來提高準(zhǔn)確度。但這 里我 們不管它,繼續(xù)用這個模型。右鍵點擊“ResultSst剛才出現(xiàn)的那一項,彈出菜單中選擇“Visualizetree ”新,窗

19、口里可以看到 圖形模式的決策樹。建議把這個新窗口最大化 ,然后點右鍵, 選“Fito screen 可以把這個樹看清楚些。看完后截圖或者關(guān)掉。這里我們解釋一下“ConfusioriMatrix ”勺含義。= Confusion Matrix =ab R，我 們常用支持度(Support)和置信度Confidenee)來衡量它的重要性。規(guī)則 的支持度是用來估計在一個購物籃中同時觀察到L和R的概率P(L,R,而規(guī)則的置信 度是估計購物欄中出現(xiàn)了 L時也出會現(xiàn)R的條件概率P(R|L。關(guān)聯(lián)規(guī)則的目標(biāo)一般是產(chǎn)生支持度和置信度都 較高的規(guī)則。 有幾個類似的度量代替置信度來衡量 規(guī)則的關(guān)聯(lián)程度，它們分別是

20、Lift (提升度？)P(L,R/(P(LP(R Lift=1時表示L和R獨立。這個數(shù)越大，越表明L和：R存在在一 個購物籃中不是偶然現(xiàn)象。Leverage(不知道怎么翻譯)：P(L,R-P(LP(R 它和Lift的含義差不多。Leverage=0時L 和R獨立，Leverage越大L和R 的關(guān)系越密切。 Conviction (更不知道譯了) P(LP(!R/P(L,!R (!R ：表示 R 沒有發(fā)生) Conviction也是用來衡量L和R的獨立性。從它和lift的關(guān)系 對R取反，代入Lift 公式后求倒數(shù))可以看出，我們也希望 這個值越大越好。 值得注意的是，用 Lift 和 Lever

21、age作標(biāo)準(zhǔn)時，L和R是對稱的，Con fide nee和Conv iction則不然。參數(shù)設(shè)置 現(xiàn)在我們計劃挖掘出支持度在 10%到 100%之間，并且 lift 值超過 1.5且 lift 值排在前 100位的那些關(guān) 聯(lián)規(guī)則。我們把 “l(fā)owerBoundMinSupport和 “upperBoundMinSuppor分別設(shè)為 0.1 和 1,“ metricTypeS 為 lift， “ min Metric 設(shè)為 1.5， “n umRuleS” 為 100。其他選項保持默認即可?！癘K之后在“Explorer中點擊“Star開始運行算 法，在右邊窗口顯示數(shù)據(jù)集摘要和挖掘 結(jié)果。 下面

22、是挖掘出來的 lift 排前 5的規(guī)則。 Bestrulesfound: 1 . age=52_maxsave_act=YEScurrent_act=YES 1 1 3 = income=43759_max61 conf:(0.54 lev:(0.0 45 conv:(1.852.income=43759_max80 = age=52_maxsave_act=YEScurrent_act=YES61 conf:(0.76 lev:(0.0 45 conv:(3.253. income=43759_maxcurrent_act=YES63 = age=52_maxsave_act=YES61 c

23、onf:(0.97 lev:(0.0 45 conv:(15.724. age=52_maxsave_act=YES151 = income=43759_maxcurrent_act=YES61 conf:(0.4 lev:(0.0 45 conv:(1.495. age=52_maxsave_act=YES151 = income=43759_max76conf:(0.5 lev:(0.09 55 conv:(1.72 對于挖掘出的每條 規(guī)則， WEKA 列出了它 們關(guān)聯(lián)程度的四 項指標(biāo)。 命令行方式 我們也可以利用命令行來完成挖掘任 務(wù)，在“SimlpcCLI”模塊中輸入如下格式 的命令：

24、java weka.associations.Apriorioptions -t directory-pathbank-data-final.arff 即可完成 Apriori 算法。 注意， “-t ”參數(shù)后的文件路徑中不能含有空格。 在前面我們使用的 option 為 -N 100-T 1 -C 1.5-D 0.05-U 1.0-M 0.1 -S -1.0 命令行中使用 這些參數(shù)得到的 結(jié)果和前面利用 GUI 得到的一 樣。 我們還可以加上 I ”“- 參數(shù)，得到不同項數(shù)的頻繁項集。 我用的命令如下： java weka.associations.Apriori-N 100 -T 1 -C

25、 1.5-D 0.05-U 1.0-M 0.1 -S-1.0 -I -t d:wekabank-data-final.arff挖掘結(jié)果在上方顯示。Lab5.3用WEKA進行聚類分析 單元目標(biāo)：掌握 WEKA 進行聚類分析的步 驟。工作步驟：聚類分析中的 類” cluster)和前面分類的 類” class)是不同的， cluster對更加準(zhǔn)確的翻譯應(yīng)該是 簇” 。聚類的任務(wù)是把所有的 實例分配到若干的簇，使得 同一個簇的 實例聚集在一個簇中心的周 圍 ，它們之間距離的比 較近；而不同簇實 例之間的距離比較遠。對于由數(shù)值型屬性刻畫的 實例來說，這個距離通常指歐氏 距離。現(xiàn)在我們對前面的“ ban

26、 data”作聚類分析，使用最常見的K均值K- mean算法。下面我們簡單描述一下K均值聚類的步驟。K 均值算法首先隨機的指定 K 個簇中心。然后： 1將每個實例分配到距它最近的簇中心，得到 K 個簇；2計分 別計算各簇中所有實例的均值，把它們作為各簇新的簇中心。重復(fù)1和2,直到K 個簇中心的位置都固定，簇的分配也固定。 上述 K 均值算法只能 處理數(shù)值型的 屬性，遇到分類型的屬性時要把它變?yōu)槿舾蓚€取值0和 1 的屬性。 WEKA 將自動 實施這個分類型到數(shù)值型的變換，而且WEKA會自動對數(shù)值型的數(shù)據(jù)作標(biāo)準(zhǔn)化。 因此，對于原始數(shù)據(jù)“bandata.csv，我們所做的預(yù)處理只是刪去屬性“id；保存為 ARFF格式后，修改屬性“ childrer為分類型。這樣得到的數(shù)據(jù)文件為“ bank.arff，含 600條實例。用“ Explorer打開剛才得到的“ bank.arff并切換到，“ Cluster點”。“Choose按鈕選擇“SimpleKMeans；這是WEKA中實現(xiàn)K均值的算法。點擊旁邊的文本框，修改“numClusters為6,說明我們希望把這600條實例聚成6 類，即K=6。下面的“see參數(shù)是要設(shè)置一個隨機種子，依此產(chǎn)