數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術-試題答案.doc

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術答案一、簡答1.為什么需要對數(shù)據(jù)進行預處理？數(shù)據(jù)預處理主要包括哪些工作（需要對數(shù)據(jù)進行哪些方面預處理）? （1）現(xiàn)實世界的數(shù)據(jù)是雜亂的，數(shù)據(jù)多了什么問題會出現(xiàn)。數(shù)據(jù)庫極易受到噪音數(shù)據(jù)(包含錯誤或孤立點）、遺漏數(shù)據(jù)（有些感興趣的屬性缺少屬性值或僅包含聚集數(shù)據(jù)）和不一致數(shù)據(jù)（在編碼或者命名上存在差異）的侵擾，因為數(shù)據(jù)庫太大，常常多達幾G或更多。進行數(shù)據(jù)預處理，提高數(shù)據(jù)質(zhì)量，從而提高挖掘結果質(zhì)量。 （2）數(shù)據(jù)預處理主要包括：數(shù)據(jù)清理：去除數(shù)據(jù)中的噪音、糾正不一致；數(shù)據(jù)集成：將數(shù)據(jù)由多個源合并成一致的數(shù)據(jù)存儲，如數(shù)據(jù)倉庫或數(shù)據(jù)方；數(shù)據(jù)交換：規(guī)范化或聚集可以改進涉及距離度量的挖掘算法精度和有效性；數(shù)據(jù)歸約：通過聚集、刪除冗余特征或聚類等方法來壓縮數(shù)據(jù)。數(shù)據(jù)離散化：屬于數(shù)據(jù)歸約的一部分，通過概念分層和數(shù)據(jù)的離散化來規(guī)約數(shù)據(jù)，對數(shù)字型數(shù)據(jù)特別重要。2. 什么叫有監(jiān)督學習？什么叫無監(jiān)督學習？ 監(jiān)督學習（Supervised learning） 是通過發(fā)現(xiàn)數(shù)據(jù)屬性和類別屬性之間的關聯(lián)模式，并通過利用這些模式來預測未知數(shù)據(jù)實例的類別屬性。監(jiān)督學習又稱為分類Classification或歸納學習Inductive Learning。 無監(jiān)督學習（Unsupervised learning）即聚類技術。在一些應用中，數(shù)據(jù)的類別屬性是缺失的，用戶希望通過瀏覽數(shù)據(jù)來發(fā)現(xiàn)其的某些內(nèi)在結構。聚類就是發(fā)現(xiàn)這種內(nèi)在結構的技術。3.什么是數(shù)據(jù)倉庫的星形模式？它與雪花模式有何不同？ 雪花模式與星形模式不同在于：雪花模式的維表可能是規(guī)范化形式，以便減少冗余。這種表易于維護，并節(jié)省存儲空間，因為當維結構作為列包含在內(nèi)時，大維表可能非常大。然而，與巨大的事實表相比，這種空間的節(jié)省可以忽略。此外，由于執(zhí)行查詢更多的連接操作，雪花結構可能降低瀏覽的性能。這樣系統(tǒng)的性能可能受影響。因此，在數(shù)據(jù)倉庫設計中，雪花模式不如星形模式流行。二、寫出偽代碼 三答：（1）所有頻繁項集為：E,K,O K,M K,Y(2) 關聯(lián)規(guī)則:O-E,K1.0E,O - K1.0K,O - E1.0M - K1.0Y - K 1.0答：a) 決策樹表示一種樹型結構，它由它的分來對該類型對象依靠屬性進行分類。每個決策樹可以依靠對源數(shù)據(jù)庫的分割進行數(shù)據(jù)測試。這個過程以遞歸的方式對樹進行修剪。當不能再分割時，遞歸完成。因此決策樹不會無限循環(huán)。b) 0c) sized) Children,SIN,classpublicclassBayesClassifierprivateTrainingDataManagertdm;/訓練集管理器privateStringtrainnigDataPath;/訓練集路徑privatestaticdoublezoomFactor=10.0f;/*默認的構造器，初始化訓練集*/publicBayesClassifier()tdm=newTrainingDataManager();/*計算給定的文本屬性向量X在給定的分類Cj中的類條件概率*ClassConditionalProbability連乘值*paramX給定的文本屬性向量*paramCj給定的類別*return分類條件概率連乘值，即*/floatcalcProd(StringX,StringCj)floatret=1.0F;/類條件概率連乘for(inti=0;iX.length;i+)StringXi=Xi;ret*=ClassConditionalProbability.calculatePxc(Xi,Cj)*zoomFactor;/再乘以先驗概率ret*=PriorProbability.calculatePc(Cj);returnret;/*去掉停用詞*paramtext給定的文本*return去停用詞后結果*/publicStringDropStopWords(StringoldWords)Vectorv1=newVector();for(inti=0;ioldWords.length;+i)if(StopWordsHandler.IsStopWord(oldWordsi)=false)/不是停用詞v1.add(oldWordsi);StringnewWords=newStringv1.size();v1.toArray(newWords);returnnewWords;/*對給定的文本進行分類*paramtext給定的文本*return分類結果*/SuppressWarnings(unchecked)publicStringclassify(Stringtext)Stringterms=null;terms=ChineseSpliter.split(text,).split();/中文分詞處理(分詞后結果可能還包含有停用詞）terms=DropStopWords(terms);/去掉停用詞，以免影響分類StringClasses=tdm.getTraningClassifications();/分類floatprobility=0.0F;Listcrs=newArrayList();/分類結果for(inti=0;iClasses.length;i+)StringCi=Classesi;/第i個分類probility=calcProd(terms,Ci);/計算給定的文本屬性向量terms在給定的分類Ci中的分類條件概率/保存分類結果ClassifyResultcr=newClassifyResult();cr.classification=Ci;/分類bility=probility;/關鍵字在分類的條件概率System.out.println(Inprocess.);System.out.println(Ci+：+probility);crs.add(cr);/對最后概率結果進行排序java.util.Collections.sort(crs,newComparator()publicintcompare(finalObjecto1,finalObjecto2)finalClassifyResultm1=(ClassifyResult)o1;finalClassifyResultm2=(ClassifyResult)o2;finaldoubleret=bility;if(ret0)return1;elsereturn-1;);/返回概率最大的分類returncrs.get(0).classification;（1）最臨近分類是基于要求的或懶散的學習法。因為它存放所有訓練樣本，并且直至新的樣本需要分類時才建立分類。begin 初始化 n x n距離矩陣D，初始化混淆矩陣C，設置t=0 , TotAcc = 0 , NumIterations為要迭代次數(shù)。計算所有輸入樣本和存儲在D矩陣中的距離。For t=1 to NumIterations doSet c = 0 , Ntotal=0將輸入樣本劃分為k個同等大小的分組For fold=1 to k do指定第fold個樣本進行測試，并且使用原來訓練樣本。設置Ntest為要測試樣本數(shù)量。Set Ntotal = Ntotal+NtestF